【技術實現步驟摘要】
本專利技術涉及物種分類，尤其涉及一種基于主動學習的開放世界物種分類方法。
技術介紹
1、野生動物資源調查與生物多樣性監測的規模不斷擴大，監測圖像數量日益增長。近年來我國的野生動物調查，尤其是針對陸生脊椎動物的調查，在調查規模(地理區域、動物類群覆蓋度)和調查手段上都取得了迅速發展。紅外觸發相機等技術提供了數據采集的有效手段，各國家公園、各級自然保護區及林業部門開展的野生動物資源調查與監測提供了豐富多樣的數據來源。
2、開放詞匯模型需要具備開放環境中的未知類別的處理能力，雖然開放詞匯模型基于文本特征的零樣本分類器具有靈活的類別數量，很好地適應了野生動物監測的開放環境中物種類別增加的場景，但開放詞匯模型在性能和計算資源需求上與監測圖像物種分類任務存在差距。開放詞匯模型的預訓練數據與監測圖像存在的顯著差異，因而缺乏在監測圖像中進行物種分類的領域知識，導致性能受限。野生動物監測源源不斷地產生新的數據，為模型的持續學習提供了良好條件，因此模型應當周期性地訓練以獲取最佳性能。然而計算密集型的開放詞匯模型不適合頻繁地訓練或微調，且可能導致模型遺忘從大規模預訓練中獲得的知識，甚至損害零樣本分類能力。因此，如何保留預訓練知識的同時獲取新數據的知識，實現對開放環境中未知類別的分類與持續學習，是有待解決的問題。鑒于此，本專利技術提出了針對開放監測環境中分類并持續學習新增類別的問題，提出一種基于主動學習的開放世界物種分類方法。
技術實現思路
1、(一)要解決的技術問題
2、本專利技
3、(二)技術方案
4、為了實現上述目的，本專利技術采用了如下技術方案：
5、本專利技術提出一種基于主動學習的開放世界物種分類方法，該方法將閉集分類模型和開放詞匯模型融合，其中，閉集分類模型由當前監測圖像數據集監督訓練以準確識別已知類別，開放詞匯模型經提示工程和視覺提示學習適應到物種分類任務；
6、在測試時，閉集模型將低置信度測試樣本路由給開放詞匯模型進行未知類別分類，集成開放詞匯分類結果和高置信度的閉集分類結果完成開放世界場景的物種分類；
7、將集成的結果作為閉集模型的弱監督標簽，通過主動學習進行標簽查詢提高偽標簽質量并發現新類別。隨著新類別出現以及樣本周期性地累積，重新訓練閉集模型并擴充物種分類器類別數量，將開放詞匯模型和專家標簽的知識周期性地注入到閉集模型中以達到最佳性能，充分利用有標簽數據的同時避免了計算密集的開放詞匯模型參數調整。下面進一步對本專利技術所提出的一種基于主動學習的開放世界物種分類方法進行說明，具體包括如下內容：
8、一種基于主動學習的開放世界物種分類方法，包括以下步驟：
9、s1、持續監測獲取開放環境野生動物監測數據，構建開集識別模型對所獲得的監測數據進行分類，獲得已知類別分類結果；
10、s2、基于最大logits分數實現未知類別檢測，利用提示工程和視覺提示分別獲得物種詞匯和未知類別樣本，構建開放詞匯模型，為未知類別樣本分配開放詞匯標簽，獲得開放詞匯分類結果；
11、s3、對s2中所得的開放詞匯分類結果進行標簽查詢，獲得高質量新增類別標簽，通過高質量新增類別標簽更新物種詞匯，并利用標簽置信度排名和標簽集成策略選取低置信度的新增類別標簽進行主動學習；
12、s4、綜合s1中所獲得的已知類別分類結果和s3中所獲得的高質量新增類別標簽，構建已處理的野生動物監測數據集，并將其存入監測圖像數據庫，利用監測圖像數據庫中的數據周期性地更新開集識別模型，將新增類別納入閉集分類范圍，實現開放世界野生動物監測圖像物種分類。
13、優選地，所述標簽置信度的計算方法包括以下步驟：
14、將閉集分類器由閾值轉換為開集分類器，將輸入樣本記為x，特征提取器記為φ(·)，對k個已知類別進行分類的閉集分類器權重矩陣記為wk，則模型輸出的最大置信度分數p公式為：
15、
16、其中，t表示轉置卷積；
17、假設模型對閉集樣本的預測的置信度高于開集樣本的預測的置信度，則閉集分類器由閾值擴展，公式為：
18、
19、其中，表示模型輸出的預測標簽；第k+1類表示未知類；threshold表示開集識別閾值；
20、當樣本預測分布中的最大值超過閾值時，將其作為閉集類別識別，否則預測為未知類別。
21、優選地，所述開放詞匯模型用于監測圖像物種分類，還包括以下步驟：
22、明確未知類別的范圍，并構造相應的文本輸入；
23、根據物種名稱為每個類別構造相應的文本輸入以進行分類；
24、針對特定物種的顯著視覺特征的文本描述由大語言模型(large?languagemodels，llms)llama?2基于維基百科相應物種頁面的動物描述進行總結得出；
25、將特征描述文本控制在30詞以內以滿足視覺語言模型的文本輸入限制，避免超過模型的token上限導致文本輸入被截斷。
26、優選地，利用視覺提示對圖像輸入進行調整，包括以下步驟：
27、基于視覺提示調整策略，通過繪制megadetector目標檢測框突出前景的提示；
28、采用模糊背景、去除背景色彩和完全去除背景來抑制背景信息并突出動物前景的提示；將原始圖像作為對照，平衡前景與背景的拓展檢測框裁剪圖像的提示；從監測圖像中分割出動物前景作為其他提示；
29、按照模型的圖像輸入尺寸，拓展檢測框的裁剪大小為336×336；
30、對于實驗數據集以外的監測圖像，利用上述方法或sam模型產生視覺提示所需的前景掩碼。
31、優選地，所述利用標簽置信度排名和標簽集成策略選取低置信度的新增類別標簽進行主動學習具體包括以下步驟：
32、通過調整溫度校準模型，然后將開放詞匯標簽按置信度排序，對低置信度區域進行標簽查詢；
33、將校準的概率分布記為q，校準前的預測分布記為s，溫度記為τ，公式為利用溫度縮放對樣本進行選擇性標簽查詢的過程：
34、
35、其中，表示最終為樣本分配的標簽；labeling表示由專家為樣本分配的標簽；threshold表示控制查詢專家標簽的頻率及其成本；
36、當樣本被兩個模型賦予相同標簽時，認為樣本被正確分類，不參與標簽查詢，否則為樣本分配主動學習后的開放詞匯標簽；
37、上述標簽集成策略為已知類別樣本分類提供了更大的靈活性，同時確保主動學習提供了更多未知類別知識。
38、(三)有益效果
39、與現有技術相比，本專利技術提供了一種基于主動學習的開放世界物種分類方法，具備以下有益效果：
40、針對野本文檔來自技高網...
【技術保護點】
1.一種基于主動學習的開放世界物種分類方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于主動學習的開放世界物種分類方法，其特征在于，所述標簽置信度的計算方法包括以下步驟：
3.根據權利要求2所述的一種基于主動學習的開放世界物種分類方法，其特征在于，所述開放詞匯模型用于監測圖像物種分類，還包括以下步驟：
4.根據權利要求3所述的一種基于主動學習的開放世界物種分類方法，其特征在于，利用視覺提示對圖像輸入進行調整，包括以下步驟：
5.根據權利要求4所述的一種基于主動學習的開放世界物種分類方法，其特征在于，所述利用標簽置信度排名和標簽集成策略選取低置信度的新增類別標簽進行主動學習具體包括以下步驟：
【技術特征摘要】
1.一種基于主動學習的開放世界物種分類方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于主動學習的開放世界物種分類方法，其特征在于，所述標簽置信度的計算方法包括以下步驟：
3.根據權利要求2所述的一種基于主動學習的開放世界物種分類方法，其特征在于，所述開放詞匯模型用于監測圖像物種分類，還包...
【專利技術屬性】
技術研發人員：張長春，孔孜亦，張軍國，田野，葛永泰，袁志浩，
申請(專利權)人：北京林業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。