【技術實現步驟摘要】
本專利技術涉及一般的圖像數據處理或產生，具體涉及一種基于單實例分布采樣的圖像數據增廣方法。
技術介紹
1、在構建人工智能識別系統過程中，需搜集大量目標數據，并經領域專家或相關標注人員精確標注，以構建龐大數據庫。
2、然而，在實際應用中，由于常見類別數據易搜集且出現頻次較高，罕見類別數據出現頻次較低，搜集難度較大，導致構建的數據庫存在較嚴重的長尾效應。例如，在自然場景下，少數類別擁有大量樣本，而大部分類別僅采集到少量數據，數據庫不同類別數量嚴重不均衡。在醫學領域，正常樣本占據數據庫樣本數量的絕大部分，而具有高診斷價值的異常樣本僅占極小部分，數據庫中充斥著大規模無價值數據。這種情況導致模型預測結果天然偏向數量較多的類別，嚴重影響價值高、數量較少類別的識別性能。同時，算法在實際應用中，會遇到大量訓練數據庫未涵蓋的樣本，致使模型面臨嚴重的泛化性問題，進而影響其實際應用價值。
3、現有方法一般盡可能對數據進行收集，構建訓練數據庫，價值低的少數類別樣本占據了數據庫的多數比例，致使訓練數據庫存在極端的數據不均衡問題；訓練數據庫數據不完備，未涵蓋所有可能存在的數據，采集到的數據嚴重缺乏多樣性；構建基于監督學習的深度學習識別模型，由深度神經網絡直接進行特征抽取和自動分類。
4、但是，現有方法構建的數據庫包含大量低價值的訓練數據，導致數據庫極度不均衡，致使模型識別結果天然的傾向于數量較多的類別，嚴重影響了模型對高價值、罕見、異常類別的識別能力；當構建的數據庫覆蓋面窄，涵蓋數據不全，缺乏多樣性，易導致模型對未知樣本
技術實現思路
1、本專利技術是為了解決圖像數據樣本覆蓋性的問題，提供一種基于單實例分布采樣的圖像數據增廣方法，基于單個實例服從的分布進行采樣，在樣本層面對稀有類別數據進行快速補充，緩解頭部類別對尾部類別的抑制作用，并保證了生成數據的多樣性，提升模型的泛化性能，避免模型對尾部類別數據過擬合。同時，可根據特定類別需求生成目標數據，進一步大規模、定向補充罕見類別樣本，快速構建全面、完備、多樣化的訓練數據庫，從根本上解決數據層面對模型訓練造成的負面影響，大幅度提升模型性能。
2、本專利技術提供一種基于單實例分布采樣的圖像數據增廣方法，包括以下步驟：
3、s1、構建初始數據庫，初始數據庫中包括自然圖像數據和/或醫學圖像數據；
4、s2、構建實例特征抽取模型，實例特征抽取模型通過提取待分析單實例的圖像塊特征向量、進行數據增強得到增強前-增強后的圖像對，增強前-增強后的圖像對作為正樣本對并得到正樣本圖像集合，從初始數據庫中隨機抽取指定數量圖像提取特征向量后得到負樣本圖像集合，通過損失函數減小正樣本對之間的距離、增大當前樣本和其他負樣本間的距離，最終得到單實例特有特征；
5、s3、對每個單實例特有特征進行建模得到實例特征分布學習模型，基于實例特征分布學習模型對所有單實例特有特征在特征層面進行分布估計得到每個實例服從的特征分布，基于每個實例服從的特征分布進行采樣得到單實例具體特征；
6、s4、構建特征解碼圖像生成模型，將單實例具體特征輸入特征解碼圖像生成模型得到和單實例屬同一類別但內容有差異的圖像；或者可對提取到的實例特征進行不同實例特征間的組合定向輸出同組合后實例特征相關的圖像；將特征解碼圖像生成模型生成的圖像擴充進數據庫得到擴充后數據庫，一種基于單實例分布采樣的圖像數據增廣方法完成。
7、本專利技術所述的一種基于單實例分布采樣的圖像數據增廣方法，作為優選方式，步驟s1中，通過電子顯微鏡、相差顯微鏡和光學顯微鏡進行醫學圖像獲取并利用顯微相機進行數據采集得到醫學圖像數據；
8、通過相機或網絡爬蟲進行自然圖像采集并將采集后的圖像進行清洗后得到自然圖像數據。
9、本專利技術所述的一種基于單實例分布采樣的圖像數據增廣方法，作為優選方式，步驟s2中，實例特征抽取模型為自注意力網絡模型；
10、步驟s2包括以下步驟：
11、s21、構建實例特征抽取模型，實例特征抽取模型將待分析單實例圖像劃分為圖像塊、每個圖像塊大小為16*16，使每一個圖像塊由一個特征向量進行表征；
12、s22、對待分析單實例圖像進行數據增強并劃分為16*16圖像塊得到增強后圖像塊，數據增強的方法包括旋轉、翻轉、圖像形變、對比度和亮度增強，提取增強后圖像塊的特征向量并與增強前圖像塊特征向量組合得到增強前-增強后的圖像對作為正樣本對，全部的正樣本對組成正樣本圖像集合；
13、s23、實例特征抽取模型從初始數據庫中隨機抽取指定數量圖像作為負樣本圖像，將負樣本圖像劃分為圖像塊、每個圖像塊大小為16*16，使每一個圖像塊由一個特征向量進行表征得到負樣本圖像集合；
14、s24、損失函數為：
15、；
16、其中，q為增強前圖像塊特征向量，為增強后圖像塊特征向量，為負樣本圖像塊特征向量，為控制相似度大小的超參數；
17、s24、通過優化損失函數減小正樣本對之間的距離、增大當前樣本和其他負樣本間的距離，當損失函數達到目標值后得到單實例特有特征，單實例特有特征為優化后得到的圖像塊特征向量。
18、本專利技術所述的一種基于單實例分布采樣的圖像數據增廣方法，作為優選方式，步驟s3中，實例特征分布學習模型為自注意力網絡的編碼-解碼結構；
19、訓練實例特征分布學習模型時，實例特征分布學習模型假設加噪后的單實例特有特征服從高斯分布，并對單實例特有特征進行逐級加噪直到單實例特有特征完全服從標準正態分布，單實例特有特征變為高斯噪聲；然后將變為高斯噪聲的單實例特有特征逐級去噪，逐步復原加噪聲之前的實例特征；
20、實例特征分布學習模型在加噪、去噪過程中學習單實例特有特征的具體分布并依據具體分布進行采樣得到單實例具體特征；
21、使用實例特征分布學習模型進行推理時，實例特征分布學習模型將單實例特有特征逐級去噪得到單實例具體特征。
22、本專利技術所述的一種基于單實例分布采樣的圖像數據增廣方法，作為優選方式，實例特征分布學習模型的訓練方法包括以下步驟：
23、s31、對每個單實例特有特征進行建模得到實例特征分布學習模型，實例特征分布學習模型對單實例特有特征進行加噪處理；
24、加噪方法為：對于輸入的單實例特有特征樣本逐步加入均值為0、方差為的高斯噪聲使條件分布變為高斯分布形式，在最后一個 t時刻，完全變為均值為零，方差為 i的多元標準正態分布， i為單位矩陣；
25、s32、基于多元標準正態分布逐級對所加噪聲進行去噪操作，逐步恢復原始單實例特征并經解碼本文檔來自技高網...
【技術保護點】
1.一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟S1中，通過電子顯微鏡、相差顯微鏡和光學顯微鏡進行醫學圖像獲取并利用顯微相機進行數據采集得到所述醫學圖像數據；
3.根據權利要求1所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟S2中，所述實例特征抽取模型為自注意力網絡模型；
4.根據權利要求1所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟S3中，所述實例特征分布學習模型為自注意力網絡的編碼-解碼結構；
5.根據權利要求4所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：所述實例特征分布學習模型的訓練方法包括以下步驟：
6.根據權利要求5所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟S31中，加噪的過程為：
7.根據權利要求6所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟S32中，去噪的過程為：
8.根據權利要求7
9.根據權利要求1所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟S4中，所述特征解碼圖像生成模型將所述單實例具體特征同特征向量詞表中的特征進行匹配，找到同詞表中最為相似的特征向量，將所有待分析單實例的圖像塊均以詞表中的特征向量進行替換；然后，依據語言模型規則，所述特征解碼圖像生成模型給定初始特征向量及對應的特征向量并逐步預測下一個正確的特征向量：
10.根據權利要求1所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟S4中，當將不同實例的特征向量進行加權融合時得到同時包含兩個實例特征的真實圖像以進行定向圖像生成：
...【技術特征摘要】
1.一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟s1中，通過電子顯微鏡、相差顯微鏡和光學顯微鏡進行醫學圖像獲取并利用顯微相機進行數據采集得到所述醫學圖像數據；
3.根據權利要求1所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟s2中，所述實例特征抽取模型為自注意力網絡模型；
4.根據權利要求1所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟s3中，所述實例特征分布學習模型為自注意力網絡的編碼-解碼結構；
5.根據權利要求4所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：所述實例特征分布學習模型的訓練方法包括以下步驟：
6.根據權利要求5所述的一種基于單實例分布采樣的圖像數據增廣方法，其特征在于：步驟s3...
【專利技術屬性】
技術研發人員：李柏蕤，連荷清，陳磊，
申請(專利權)人：北京小蠅科技有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。