【技術實現步驟摘要】
本專利技術涉及機器學習領域，尤其涉及一種基于多頭自集成的在線域適應學習方法。
技術介紹
1、深度神經網絡在許多領域表現出令人印象深刻的性能，例如圖像分類，語義分割和自然語言處理。在一定的條件下，特別是當訓練數據和測試數據從同一分布中采樣時，總是能保證高的準確性。在現實世界中，總是存在分布偏移在訓練數據和測試數據之間。例如，在自動駕駛場景中，制造商開發的控制系統可能會使用在晴朗天氣條件下收集的數據進行訓練，但會部署在更復雜和具有挑戰性的環境中，比如雨天和霧天。在這種情況下，神經網絡的性能通常會顯著下降，影響產品功能正常使用。
2、為了減輕分布變化的負面影響，測試時間適應(tta)成為一種重要的方法。與無監督域自適應(uda)不同，tta不需要任何標記的源數據。相反，它側重于在基于未標記測試數據的特定特征的推理過程中動態調整預訓練模型。這允許模型在遇到變化、看不見的例子或測試時變化的條件時改進其性能。使用集成可以大幅度提升在ood數據的性能，但是深度集成會成倍增加模型內整體尺寸和計算量。最近的研究探討了跨集成子模型共享和重用參數和處理的策略。雖然這些技術減少了內存開銷，但它們受到子模型多樣性減少和不確定性校準的影響。此外，它們的計算成本與樸素深度集成相似，因為仍然需要通過每個單獨的子模型進行推理。
3、因此，本領域的技術人員致力于開發一種基于多頭自集成的在線域適應學習方法。可以在幾乎不增加模型尺寸的情況下提升精度，并有望在其他結構中推廣并發揮其作用。使用貝葉斯優化對集成的權重進行最優搜索，不需要手動調參就能獲
技術實現思路
1、有鑒于現有技術的上述缺陷，本專利技術所要解決的技術問題是不增加參數量和計算量的情況下提升tta算法的精度。
2、為實現上述目的，本專利技術提供了一種基于多頭自集成的在線域適應學習方法，包括以下步驟：
3、步驟1、預訓練多頭模型的主干網絡；
4、步驟2、分別訓練多頭模型的分類頭；
5、步驟3、在噪聲數據集上做多頭模型自集成的tta；
6、步驟4、使用貝葉斯優化進行最優集成權重搜索；
7、步驟5、更新多頭模型權重。
8、進一步地，所述步驟1，在標準數據集上進行。
9、進一步地，所述步驟1，包括以下步驟：
10、步驟1.1、數據預處理；
11、步驟1.2、預訓練設置，超參數配置，損失函數選擇；
12、步驟1.3、模型訓練，預訓練主干網絡時凍結中間分類頭參數。
13、進一步地，所述步驟2，包括以下步驟：
14、步驟2.1、獨立訓練分類頭；
15、步驟2.2、優化目標，迭代訓練；
16、步驟2.3、訓練后驗證。
17、進一步地，所述步驟3，包括以下步驟：
18、步驟3.1、多頭模型自集成；
19、步驟3.2、提升在ood數據集上的精度；
20、步驟3.3、結果評估。
21、進一步地，所述步驟3.1，多頭模型自集成直接利用同一模型內的多個分類頭進行集成。
22、進一步地，所述步驟3.1，包括以下步驟：
23、步驟3.1.1、確定集成目標；
24、步驟3.1.2、生成多頭輸出；
25、步驟3.1.3、設置集成權重；
26、步驟3.1.4、集成預測結果。
27、進一步地，所述步驟4，包括以下步驟：
28、步驟4.1、構建代理模型；
29、步驟4.2、定義優化目標；
30、步驟4.3、評估權重組合；
31、步驟4.4、迭代優化；
32、步驟4.5、確定最優權重。
33、進一步地，所述步驟5，包括對多頭模型的各個分類頭和主干網絡進行權重調整。
34、進一步地，所述步驟5，權重更新方法包括批歸一化和最小化熵。
35、tta現有技術方法傳統集成增加大量存儲和計算量。本專利技術提出了自集成的基礎模型結構。利用網絡主干不同階段的高維信息提升在ood的性能。本專利技術較大幅度提升性能，為模型設計提供思路。
36、多頭自集成模型使用傳統訓練方法反而會變差。本專利技術預訓練多頭模型的主干，繼續分別訓練多頭的分類頭的訓練方法。保證主干的信息流不會被過早的壓縮。本專利技術使多頭自集成模型能夠生效。
37、多頭自集成模型不同于傳統集成方法，涉及到各個分類頭權重配比問題。本專利技術使用貝葉斯優化進行最優集成權重搜索。貝葉斯優化通過構建代理模型，迭代地選擇權重組合并評估其性能，從而高效地探索權重空間。本專利技術通過這一過程，可以確定每個分類頭在最終集成中的最優權重，使得集成結果在目標任務上達到最佳性能。
38、本專利技術與現有技術相比較，具有如下顯而易見的實質性特點和顯著優點：
39、1.本專利技術從結構和機理上進行創新，改善了傳統深度集成消耗大量內存和計算量的問題，能在幾乎不增加內存和計算量的情況下大幅度提升性能。
40、2.本專利技術可以使用在邊緣設備上進行在線終生學習，能夠適應各種天氣、光線變化的場景。
41、3.本專利技術在性能提升的基礎上，不增加計算量和功耗，對邊緣設備非常友好。有望在智能駕駛的邊緣芯片上部署，性能、功耗、內存都能達到平衡。
42、以下將結合附圖對本專利技術的構思、具體結構及產生的技術效果作進一步說明，以充分地了解本專利技術的目的、特征和效果。
本文檔來自技高網...【技術保護點】
1.一種基于多頭自集成的在線域適應學習方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟1，在標準數據集上進行。
3.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟1，包括以下步驟：
4.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟2，包括以下步驟：
5.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟3，包括以下步驟：
6.如權利要求5所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟3.1，多頭模型自集成直接利用同一模型內的多個分類頭進行集成。
7.如權利要求5所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟3.1，包括以下步驟：
8.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟4，包括以下步驟：
9.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟5，包括
10.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟5，權重更新方法包括批歸一化和最小化熵。
...【技術特征摘要】
1.一種基于多頭自集成的在線域適應學習方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟1，在標準數據集上進行。
3.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟1，包括以下步驟：
4.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟2，包括以下步驟：
5.如權利要求1所述的基于多頭自集成的在線域適應學習方法，其特征在于，所述步驟3，包括以下步驟：
6.如權利要求5所述的基于多頭自集成的在線域適應學習方法，...
【專利技術屬性】
技術研發人員：李冬陽，劉佩林，文飛，秦鳴悅，
申請(專利權)人：上海交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。