【技術實現步驟摘要】
本專利技術屬于爬蟲算法，具體涉及一種基于近端策略優化模型的服裝趨勢爬蟲改進系統。
技術介紹
1、在時尚服裝行業中，及時獲取和分析最新的趨勢數據對于設計和市場決策至關重要。現有的網絡爬蟲技術通常僅依賴于預定義的規則和關鍵詞，但是，這些規則和關鍵詞在網絡環境和信息快速變化的情況下可能很快失效。另外現有的網絡爬蟲技術的執行效率和數據處理速度較慢，難以實時或近實時地獲取和處理大量數據。
技術實現思路
1、本專利技術提供了一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，旨在解決現有技術中現有技術中的爬蟲算法數據抓取效果較差的問題。
2、為了解決上述技術問題，本專利技術所采用的技術方案為：
3、本專利技術提供了一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，包括：
4、關鍵詞接收單元，接收服裝關鍵詞信息；
5、強化學習單元，通過近端策略優化模型調整爬蟲策略；并引入獎勵機制，根據所述獎勵機制對爬蟲抓取到的服裝數據進行獎勵，驅動所述爬蟲抓取與所述服裝關鍵詞相對應具有時尚趨勢的目標服裝數據；
6、數據倉庫構建單元，對所述爬蟲抓取的目標服裝數據進行分類儲存。
7、進一步的方案：所述近端策略優化模型調整所述爬蟲策略包括以下步驟：
8、s100、分別定義爬蟲的狀態、動作和獎勵機制；
9、s200、爬蟲根據所述服裝關鍵詞信息按照所述策略抓取服裝數據，并對抓取到的所述服裝數據計算獎勵值；
10、s300
11、基于上述方案，通過所述近端策略優化模型使爬蟲能夠在不斷變化的網絡環境中進行自我調整和優化，另外設計獎勵機制，根據爬蟲抓取到的服裝進行獎勵，從而指導爬蟲在時尚趨勢變化時調整策略。
12、進一步的方案，在所述步驟s200中，所述獎勵機制采用組合獎勵函數計算爬蟲抓取到的所述服裝數據的獎勵值；
13、組合獎勵函數＝數據相關性獎勵函數+數據時效性獎勵函數+數據新穎性獎勵函數。
14、基于上述方案，通過所述組合獎勵函數使得所述爬蟲不僅能夠優先抓取與所述服裝關鍵詞信息相關的服裝數據，還能根據數據的時效性和新穎性對抓取到的服裝進行評估，有效指導爬蟲抓取更具價值的服裝數據。
15、進一步的方案：所述數據相關性獎勵函數的公式為：
16、rr＝similarity(p，t)；
17、其中，所述similarity()代表余弦相似度；所述p代表當前爬蟲抓取頁面的內容；所述t代表服裝關鍵詞信息；
18、若rr＞m，則向爬蟲抓取到的所述服裝數據給予正向獎勵；否則，向爬蟲抓取到的所述服裝數據給予零或負獎勵；其中，所述m代表設定的閾值；
19、所述數據時效性獎勵函數的公式為：
20、
21、其中，所述max()代表取最大值；所述tcurrent代表當前時間；所述tpage代表頁面內容的發布時間；所述tmax代表設定的最大時間差；
22、若rt≤tmax，則向爬蟲抓取到的所述服裝數據給予正向獎勵；否則，向爬蟲抓取到的所述服裝數據給予負獎勵；
23、所述數據新穎性獎勵函數的公式為：
24、
25、if?p∈d，rn＝-λ；
26、其中，所述p代表當前爬蟲抓取頁面的內容；所述d代表已有的服裝數據集；所述novelty?score(p，d)計算p與d的差異性；所述λ代表重復服裝數據的懲罰因子；
27、若所述p未被抓取過且與所述d的差異性較大，則向爬蟲抓取到的所述服裝數據給予正向獎勵；若所述p已存在所述d中，則向爬蟲抓取到的所述服裝數據給予負獎勵；
28、所述組合獎勵函數的公式為：
29、r＝αrr+βrt+γrn；
30、其中，所述α代表數據相關性獎勵rr的權重參數；所述β代表數據時效性獎勵rt的權重參數；所述γ代表數據新穎性獎勵rn的權重參數。
31、進一步的方案：在所述步驟s300中，通過策略網絡調整爬蟲的策略的步驟包括：
32、s301、計算爬蟲按照舊策略選擇各個動作的概率分布πθold(at|st)；
33、s302、根據爬蟲按照舊策略抓取的服裝數據的獎勵值訓練出當前策略，并計算爬蟲按照當前策略選擇各個動作的概率分布πθnew(at|st)；
34、s303、計算當前策略的動作概率分布和舊策略的動作概率分布之間的概率比通過所述概率比調整爬蟲的策略；
35、其中，所述at代表動作；所述st代表狀態；所述πθold代表舊策略；所述πθnew代表當前策略。
36、基于上述方案，通過比較所述舊策略的動嘴概率分布和所述當前策略的動作概率分布，可以更有效地評估當前策略相較于舊策略的改進程度，從而加速所述爬蟲學習和抓取數據過程，避免無效的探索。
37、進一步的方案，所述近端策略優化模型使用剪切目標函數限制策略調整的幅度，所述剪切目標函數公式為：
38、
39、其中，所述θ代表策略網絡的參數；所述at代表有事函數；所述clip()代表剪切目標函數用于限制概率比值的范圍；所述ε表示一個位于0.1～0.2之間的小常數。
40、基于上述方案，通過所述剪切目標函數避免爬蟲策略大幅度更新調整，保證了爬蟲策略更新過程中的穩定性。
41、進一步的方案：在所述步驟s100中，在定義爬蟲的狀態和動作時加入圖神經網絡；
42、所述圖神經網絡通過消息傳遞機制聚合節點和鄰居節點的特征，更新節點的狀態，獲得服裝時尚趨勢來源，驅動爬蟲在所述服裝時尚趨勢來源中抓取所述服裝數據。
43、基于上述方案，所述圖神經網絡能夠構建互聯網上的關系網絡，幫助所述爬蟲策略更智能地發現具有時尚趨勢的信息來源、優化數據獲取路徑、提升服裝數據獲取的效率和準確性。
44、進一步的方案：所述強化學習單元中還包括多模態模型，用于對所述爬蟲抓取出的目標服裝數據進行特征提取和分析。
45、進一步的方案：所述多模態模型包括文本編碼器、圖像編碼器和對比學習機制；
46、所述文本編碼器對爬蟲抓取到的所述目標服裝數據中的文字描述進行編碼，獲得文本特征向量；
47、所述圖像編碼器對爬蟲抓取到的所述目標服裝數據中的圖像內容進行編碼，獲得圖像特征向量；
48、通過對比學習機制將所述文本特征向量與所述圖像特征向量對齊，分析所述文本特征向量與所述圖像特征向量之間的關聯性。
49、基于上述方案，所述多模態模型通過對所述爬蟲抓取出的目標服裝數據中的文字和圖像進行提取和關聯性分析，能夠提高所述爬蟲在獲取時尚趨勢信息時的全面性和準確性，增強對非結構化服裝數據的理解和處理能力。
50、進一步的方案：在所述數據倉庫構建單元中，采用星型模式或雪花型本文檔來自技高網...
【技術保護點】
1.一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，包括：
2.根據權利要求1所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，所述近端策略優化模型調整所述爬蟲策略包括以下步驟：
3.根據權利要求2所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，在所述步驟S200中，所述獎勵機制采用組合獎勵函數計算爬蟲抓取到的所述服裝數據的獎勵值；
4.根據權利要求3所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，所述數據相關性獎勵函數的公式為：
5.根據權利要求2所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，在所述步驟S300中，通過策略網絡調整爬蟲的策略的步驟包括：
6.根據權利要求5所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，所述近端策略優化模型使用剪切目標函數限制策略調整的幅度，所述剪切目標函數公式為：
7.根據權利要求2所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，在所述步驟S100中，在定
8.根據權利要求1所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，所述強化學習單元中還包括多模態模型，用于對所述爬蟲抓取出的目標服裝數據進行特征提取和分析。
9.根據權利要求8所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，所述多模態模型包括文本編碼器、圖像編碼器和對比學習機制；
10.根據權利要求1所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，在所述數據倉庫構建單元中，采用星型模式或雪花型模式對爬蟲抓取的目標服裝數據進行分類儲存。
...【技術特征摘要】
1.一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，包括：
2.根據權利要求1所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，所述近端策略優化模型調整所述爬蟲策略包括以下步驟：
3.根據權利要求2所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，在所述步驟s200中，所述獎勵機制采用組合獎勵函數計算爬蟲抓取到的所述服裝數據的獎勵值；
4.根據權利要求3所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，所述數據相關性獎勵函數的公式為：
5.根據權利要求2所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其特征在于，在所述步驟s300中，通過策略網絡調整爬蟲的策略的步驟包括：
6.根據權利要求5所述的一種基于近端策略優化模型的服裝趨勢爬蟲改進系統，其...
【專利技術屬性】
技術研發人員：鄭澤宇，溫苗苗，何治，向忠，劉麗嫻，錢淼，
申請(專利權)人：杭州知衣科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。