【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及一種基于cmpso_lstm_tlm模型的政府采購商品交易價格預(yù)測方法和裝置，屬于數(shù)據(jù)分析。
技術(shù)介紹
1、深度學(xué)習(xí)技術(shù)的快速發(fā)展為政采商品采購價格預(yù)測帶來了新的機(jī)遇。深度學(xué)習(xí)通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò)來模擬人腦的學(xué)習(xí)過程，與傳統(tǒng)方法相比，具有更強(qiáng)的非線性建模和自適應(yīng)能力，可以更好地處理復(fù)雜的時間序列數(shù)據(jù)。以往的研究提出了許多基于rnn的時間序列預(yù)測模型，其中包括長短期記憶（lstm）和門循環(huán)單元（gru），還包括與傳統(tǒng)方法的組合模型。近年來，基于自注意力機(jī)制的模型也被用于時間序列預(yù)測。群體智能優(yōu)化算法的發(fā)展，為模型準(zhǔn)確性預(yù)測提供了助力，旨在解決模型優(yōu)化問題，包括粒子群優(yōu)化算法、鯨魚優(yōu)化算法以及群智能融合算法。
2、然而，在政府采購商品價格預(yù)測領(lǐng)域，盡管時間序列預(yù)測技術(shù)具有巨大的應(yīng)用潛力，但仍面臨諸多挑戰(zhàn)。政府采購商品的采購價格序列為非線性、不平穩(wěn)序列，在多種因素的影響下表現(xiàn)出周期性、季節(jié)性、非對稱性等特征，使得價格預(yù)測成為了一個非常有挑戰(zhàn)性的任務(wù)。盡管時間序列難以預(yù)測，但它通常表明可預(yù)測性是一項必不可少的任務(wù)。
3、由于數(shù)據(jù)的爆炸增長和對預(yù)測精度的要求愈發(fā)苛刻，經(jīng)典的參數(shù)模型以及傳統(tǒng)機(jī)器學(xué)習(xí)算法難以滿足預(yù)測任務(wù)的高效率和高精度需求。cnn的預(yù)測精度與循環(huán)神經(jīng)網(wǎng)絡(luò)等其他網(wǎng)絡(luò)結(jié)構(gòu)相比已不占優(yōu)勢，lstm對長時間序列的預(yù)測性能差，transformer對特征與時間之間的關(guān)系不敏感。此外，模型優(yōu)化算法收斂速度慢，容易陷入局部最小值，而且一些智能優(yōu)化算法需要通過花費較長的運行時間來提高優(yōu)化性能。因此，需要
技術(shù)實現(xiàn)思路
1、本專利技術(shù)目的是提供了一種基于cmpso_lstm_tlm模型的政府采購商品交易價格預(yù)測方法和裝置，通過結(jié)合lstm和transformer模型的優(yōu)點，并利用粒子群優(yōu)化算法進(jìn)行參數(shù)調(diào)優(yōu)，以提高預(yù)測精度和效率。
2、本專利技術(shù)為實現(xiàn)上述目的，通過以下技術(shù)方案實現(xiàn)：
3、一種基于cmpso_lstm_tlm模型的政府采購商品交易價格預(yù)測方法，包括：
4、獲取政采合同中同一商品的采購價格歷史數(shù)據(jù)，并進(jìn)行預(yù)處理和歸一化后劃分為訓(xùn)練集和測試集；
5、構(gòu)建政府采購商品交易價格預(yù)測模型，所述政府采購商品交易價格預(yù)測模型依次包括輸入層、transformer編碼器層、transformer解碼器層，前一層的輸出作為后一層的輸入；所述輸入層包括lstm編碼器層、注意力層、lstm解碼器層和兩個數(shù)據(jù)嵌入層，所述lstm編碼器層輸出特征經(jīng)過第一數(shù)據(jù)嵌入層輸入transformer編碼器層，所述lstm編碼器層輸出特征依次經(jīng)過注意力層、lstm解碼器層和第二數(shù)據(jù)嵌入層輸入到transformer解碼器層；
6、采用基于粒子群優(yōu)化的改進(jìn)算法cmpso對政府采購商品交易價格預(yù)測模型進(jìn)行參數(shù)調(diào)優(yōu)；參數(shù)包括lstm隱藏層層數(shù)、lstm隱藏層單元數(shù)、學(xué)習(xí)率；
7、將測試集的數(shù)據(jù)分割后輸入訓(xùn)練完成的政府采購商品交易價格預(yù)測模型進(jìn)行預(yù)測，輸出結(jié)果反歸一化得到商品價格預(yù)測結(jié)果。
8、優(yōu)選的，所述預(yù)處理包括：對采購價格歷史數(shù)據(jù)的缺失值進(jìn)行線性插補，異常值用相鄰時間數(shù)據(jù)的平均值填充；提取日期數(shù)據(jù)中的時間數(shù)據(jù)特征，包括月份、星期、季度數(shù)、是否為節(jié)假日。
9、優(yōu)選的，所述transformer解碼器層由多個解碼塊組成，每個解碼塊依次包括：掩碼多頭注意力層、前饋神經(jīng)網(wǎng)絡(luò)層；
10、所述transformer編碼器層和第二數(shù)據(jù)嵌入層的輸出經(jīng)過掩碼多頭注意力層處理，掩碼多頭注意力層輸出特征與lstm解碼器層輸出特征殘差連接和層歸一化后輸入前饋神經(jīng)網(wǎng)絡(luò)層，前饋神經(jīng)網(wǎng)絡(luò)層輸出特征與掩碼多頭注意力層輸出特征與lstm解碼器層輸出特征殘差連接和層歸一化后特征再次殘差連接和層歸一化作為transformer解碼器層輸出。
11、優(yōu)選的，所述政府采購商品交易價格預(yù)測模型特征處理方法如下：
12、將前m天的時序數(shù)據(jù)輸入到單層lstm編碼器捕獲特征與時間的關(guān)系并擴(kuò)展特征的維度，通過移動窗口預(yù)測第m+1天的價格，迭代整個數(shù)據(jù)集；
13、通過第一數(shù)據(jù)嵌入層將lstm編碼器的輸出與擴(kuò)展的時間特征相加，得到該層處理后的輸經(jīng)過第一數(shù)據(jù)嵌入層處理后的特征；
14、將第一數(shù)據(jù)嵌入層的輸出特征送入到transformer編碼器模塊的多頭注意力層，再輸入到前饋神經(jīng)網(wǎng)絡(luò)層提煉更高級的特征，生成的k、v矩陣；
15、lstm編碼器的輸出作為注意力層的輸入，通過注意力機(jī)制提取關(guān)鍵信息，并通過lstm解碼器進(jìn)一步提煉特征與時間的關(guān)聯(lián)，再經(jīng)過第二數(shù)據(jù)嵌入層生成的q矩陣；
16、將transformer編碼器生成的k、v矩陣和lstm解碼器層生成的q矩陣共同輸入到transformer解碼器的掩碼多頭注意力層，再輸入前饋神經(jīng)網(wǎng)絡(luò)，通過linear&softmax變換得到模型的輸出結(jié)果。
17、優(yōu)選的，通過第一數(shù)據(jù)嵌入層將lstm編碼器的輸出與擴(kuò)展的時間特征相加，得到該層處理后的輸出特征，具體方式如下：
18、將時間數(shù)據(jù)特征求和得到全局時間戳，在第一數(shù)據(jù)嵌入層將時間序列的全局時間戳編碼加至lstm編碼器提取的特征中，得到在t時刻的第一數(shù)據(jù)嵌入層結(jié)果為：
19、，
20、其中，表示第一數(shù)據(jù)嵌入層輸出向量，即transformer編碼器層的輸入向量，表示表示時刻的隱藏層狀態(tài)向量，表示第個時間數(shù)據(jù)編碼向量，表示第個序列，是輸入序列長度，表示時間數(shù)據(jù)特征數(shù)。
21、優(yōu)選的，將transformer編碼器生成的k、v矩陣和lstm解碼器層生成的q矩陣共同輸入到解碼器的掩碼多頭注意力層，隨機(jī)產(chǎn)生一個上三角的值全為0的矩陣，作用到每一個序列上，計算公式如下：
22、，
23、，
24、，
25、，
26、其中，表示帶掩碼的輸入向量表示，表示掩碼多頭注意力機(jī)制操作，表示權(quán)重向量，表示轉(zhuǎn)置符號，表示掩碼注意力機(jī)制的輸出向量，、和表示可學(xué)習(xí)的權(quán)重，注意力機(jī)制應(yīng)用于輸入序列中的每個時間步，是掩碼多頭注意力層輸入的維度。
27、優(yōu)選的，所述政府采購商品交易價格預(yù)測模型訓(xùn)練過程如下：
28、隨機(jī)初始化粒子群參數(shù)，確定種群粒子數(shù)量、維度、學(xué)習(xí)因子、慣性權(quán)重、最大迭代次數(shù)，并限定調(diào)優(yōu)參數(shù)的取值范圍；
29、使用滑動窗口的方法對輸入數(shù)據(jù)進(jìn)行分割后輸入政府采購商品交易價格預(yù)測模型；
30、計算每個搜索粒子的適應(yīng)度，并將模型的均方誤差作為粒子的適應(yīng)度進(jìn)行超參數(shù)優(yōu)化；
31、在每次迭代中，根據(jù)適應(yīng)度值更新每個粒子個體的最優(yōu)解和全局最優(yōu)解；
32、更新速度和位置，速度和位置的更新公式如下式所示：
33、，
34、，
35、其中，為慣性權(quán)重，表示粒本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種基于CMPSO_LSTM_TLM模型的政府采購商品交易價格預(yù)測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于CMPSO_LSTM_TLM模型的政府采購商品交易價格預(yù)測方法，其特征在于，所述預(yù)處理包括：對采購價格歷史數(shù)據(jù)的缺失值進(jìn)行線性插補，異常值用相鄰時間數(shù)據(jù)的平均值填充；提取日期數(shù)據(jù)中的時間數(shù)據(jù)特征，包括月份、星期、季度數(shù)、是否為節(jié)假日。
3.根據(jù)權(quán)利要求1所述的基于CMPSO_LSTM_TLM模型的政府采購商品交易價格預(yù)測方法，其特征在于，所述Transformer解碼器層由多個解碼塊組成，每個解碼塊依次包括：掩碼多頭注意力層、前饋神經(jīng)網(wǎng)絡(luò)層；
4.根據(jù)權(quán)利要求3所述的基于CMPSO_LSTM_TLM模型的政府采購商品交易價格預(yù)測方法，其特征在于，所述政府采購商品交易價格預(yù)測模型特征處理方法如下：
5.根據(jù)權(quán)利要求4所述的基于CMPSO_LSTM_TLM模型的政府采購商品交易價格預(yù)測方法，其特征在于，通過第一數(shù)據(jù)嵌入層將LSTM編碼器的輸出與擴(kuò)展的時間特征相加，得到該層處理后的輸出特征，具體方式如下：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。