【技術實現步驟摘要】
本專利技術涉及計算機視覺領域，尤其涉及一種基于知識蒸餾技術的視覺模型壓縮方法。
技術介紹
1、具身智能設備需要實時完成視覺感知任務，但其資源（如存儲空間和計算能力）受限，傳統的大型深度學習模型難以直接部署。因此，開發輕量化的模型壓縮方法，既能滿足具身智能設備的計算資源限制，又能保持高性能，成為當前技術發展的重要方向。
2、模型能夠有效地從大型教師模型學習小型學生模型，它受到了社會越來越多的關注。知識蒸餾是典型的模型壓縮技術，利用一個較大的模型（教師模型）的知識來訓練一個較小的模型（學生模型），在保持模型性能的同時減小其規模，以適應邊緣環境。知識蒸餾在計算機視覺領域得到了廣泛的應用，尤其是在模型壓縮和加速方面，其核心思想是通過將大型預訓練模型（教師模型）中的知識傳遞給較小的模型（學生模型），從而提升學生模型的性能。
3、知識蒸餾作為一種模型壓縮技術，最早于2015年提出。最初的研究通過引入軟化的輸出概率分布，使得學生模型能夠更好地模仿教師模型的行為，從而在模型壓縮中展現出明顯的效果和應用前景。這一方法標志著知識蒸餾概念的誕生，并開啟了后續相關研究的新方向。
4、在隨后的發展中，有研究工作進一步擴展了這一概念，重點關注在學生模型中引入中間層提示信號。通過在學生模型的中間層融入教師模型的特征信息，這類方法能夠指導學生模型學習到更為復雜和精細的表示，從而在性能上實現顯著提升。這不僅優化了蒸餾過程，也加深了人們對深層神經網絡內部特征學習機制的理解。
5、隨著技術的不斷成熟，研究者們對知識蒸餾
6、近年來，更多新方法不斷涌現。例如，一些研究專注于學習樣本間關系，通過關系知識蒸餾提升學生模型對樣本之間關聯信息的理解；還有方法嘗試對蒸餾過程中不同因素進行解耦，以增強知識傳遞的靈活性和有效性。同時，也有工作提出了動態調整學習溫度（即課程溫度）的方法，旨在根據知識傳遞過程的動態性優化蒸餾效果，從而提高學生模型在復雜任務中的表現。
7、在特定應用領域方面，知識蒸餾技術也得到了深入探索。例如，在目標檢測任務中，通過系統分析教師模型與學生模型在檢測任務中的差異，相關研究為實際應用提供了新的思路。此外，新興方法如類注意力轉移策略和多目標知識蒸餾也陸續出現，它們分別通過關注特定類別信息和利用自反思機制，進一步提升了學生模型在多任務學習中的效果。
8、盡管知識蒸餾已在多個領域展現出顯著的潛力，現有方法仍面臨一些挑戰。首先，許多研究依賴于特定教師模型架構，使得其在異構環境中的應用受到限制。此外，知識選擇和傳遞機制的有效性仍需進一步優化，以提升學生模型對復雜任務的適應能力和準確性。尤其是在處理多任務學習時，知識蒸餾的效果往往受限于任務間的干擾，如何有效地進行知識的選擇和轉移，仍是一個亟待解決的問題。
9、此外，知識蒸餾在處理實際應用中的多樣性和復雜性時，往往面臨計算資源和時間效率的挑戰。雖然知識蒸餾可以顯著提高模型的推理速度和減小模型尺寸，但在一些高負載任務中，如何在保證性能的同時，降低計算和內存開銷仍需深入研究。
技術實現思路
1、為解決上述問題，本專利技術公開了一種面向具身智能設備的視覺模型壓縮方法，適用于具身智能設備如機器人、無人機和自動駕駛車輛中的高效視覺任務處理，可以能夠全面捕捉教師模型的各類知識、充分利用中間特征信息并且適用于具身智能資源受限場景的視覺模型壓縮方法。
2、為實現上述目的，本專利技術提出了一種面向具身智能設備的視覺模型壓縮方法，包括以下步驟：
3、步驟(1)：選擇一個表現出色的視覺模型作為教師模型；
4、步驟(2)：設計一個輕量級的學生模型；
5、步驟(3)：利用教師模型對數據集進行前向傳播，獲取教師模型的中間層特征表示與教師模型對于各個類別的原始得分；
6、步驟(4)：利用學生模型對數據集進行前向傳播，獲取學生模型的中間層特征表示與學生模型對于各個類別的原始得分；
7、步驟(5)：將教師模型對于各個類別的原始得分學生模型對于各個類別的原始得分分別經過函數激活為教師模型輸出的概率分布、學生模型輸出的概率分布；
8、步驟(6)：將教師模型輸出的概率分布和學生模型輸出的概率分布作比較，計算兩者之間的散度，作為響應損失；
9、步驟(7)：將教師模型的中間層特征表示與學生模型的中間層特征表示作比較，計算兩者之間的特征表示差異，作為對比損失；
10、步驟(8)：將學生模型輸出的概率分布與真實標簽作比較，計算兩者之間的交叉熵，作為硬損失；
11、步驟(9)：將響應損失、對比損失和硬損失按權相加，形成總損失函數，并對學生模型進行訓練；
12、步驟(10)：通過隨機梯度下降調整學生模型的參數，以最小化總損失函數，實現模型壓縮。
13、進一步的，在步驟(5)中，通過函數計算概率分布時，使用溫度參數來使概率分布平滑；教師模型輸出的概率分布和學生模型輸出的概率分布的具體計算公式分別為：
14、；
15、；
16、其中，和是教師模型對于各個類別的原始得分，和是學生模型對于各個類別的原始得分，是溫度參數，是分類任務的類別數。
17、進一步的，在步驟(6)中，響應損失的具體計算公式為：；其中，是分類任務的類別數，是教師模型輸出的概率分布，是學生模型輸出的概率分布。
18、進一步的，在步驟(7)中，對比損失的具體計算公式為：
19、；其中，表示第個輸入樣本，表示與成正樣本對的輸入樣本，表示教師模型對輸入的特征表示，表示學生模型對于輸入的特征表示，表示學生模型對輸入的特征表示，是樣本總數，是用于調整權重的平衡參數。
20、進一步的，在步驟(8)中，硬損失的具體計算公式為：；其中，是分類任務的類別數，真實標簽的一位有效編碼表示，是學生模型輸出的概率分布。
21、進一步的，在步驟(9)中，總損失函數計算公式為：
22、；其中，為溫度參數，、 、分別為響應損失、對比損失、硬損失的權重系數。
23、進一步的，在步驟(10)中，隨機梯度下降參數更新的具體計算公式為：
24、；其中，是在第t+1次迭代后的模型參數，是在第t次迭代后的模型參數，用于控制參數更新的步長的學習率，是損失函數關于參數的梯度，是小批量樣本的大小。
25、通過上述技術方案的實施，本專利技術的有益效果是：
26、（1）大幅減少學生模型的參數量和計算復雜度，使其適合資源受限的具身智能設備，如機器人、無人本文檔來自技高網...
【技術保護點】
1.一種面向具身智能設備的視覺模型壓縮方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種面向具身智能設備的視覺模型壓縮方法，其特征在于：在步驟(5)中，通過函數計算概率分布時，使用溫度參數來使概率分布平滑；教師模型輸出的概率分布和學生模型輸出的概率分布的具體計算公式分別為：
3.根據權利要求1所述的一種面向具身智能設備的視覺模型壓縮方法，其特征在于：在步驟(6)中，響應損失的具體計算公式為：；其中，是分類任務的類別數，是教師模型輸出的概率分布，是學生模型輸出的概率分布。
4.根據權利要求1所述的一種面向具身智能設備的視覺模型壓縮方法，其特征在于：在步驟(7)中，對比損失的具體計算公式為：
5.根據權利要求1所述的一種面向具身智能設備的視覺模型壓縮方法，其特征在于：在步驟(8)中，硬損失的具體計算公式為：；其中，是分類任務的類別數，真實標簽的一位有效編碼表示，是學生模型輸出的概率分布。
6.根據權利要求1所述的一種面向具身智能設備的視覺模型壓縮方法，其特征在于：在步驟(9)中，總損失函數計算公式為：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。