【技術實現步驟摘要】
本專利技術涉及圖像分析，尤其涉及一種基于視角和屬性引導的螺栓缺陷可控生成方法。
技術介紹
1、輸電線路作為電力系統的重要組成部分，其穩定、安全和高效的運行對于確保電力供應的連續性和可靠性至關重要。在輸電線路的眾多組件中，螺栓扮演著至關重要的角色，負責固定和支撐線路的各種設備和結構。然而，由于輸電線路的運行條件通常較為惡劣，螺栓容易受環境等因素影響而產生缺陷。因此，及時準確地檢測螺栓的缺陷成為確保線路安全運行的關鍵。
2、近年來，無人機智能巡檢技術在輸電線路中得到廣泛應用，具備安全性高、效率高的優點，且可以與深度學習的目標檢測、智能識別算法相結合，實現智能處理。然而，在實際的輸電線路中，由于各種原因，螺栓的缺陷樣本往往非常稀缺。這種少樣本問題給螺栓缺陷的自動檢測和分類帶來了巨大的挑戰。傳統的機器學習和深度學習方法在面對大量樣本時通常能夠表現出色，但在少樣本場景下，它們的性能往往會受到嚴重的限制。因此，如何提升少樣本條件下的模型性能是當前急需解決的問題之一。
3、在數據有限的情況下，如何充分利用和擴充樣本已成為研究的重點。傳統的數據增強方法，如幾何變換、色彩變換和像素變換，通過圖像處理技術擴充數據集并優化圖像質量。但這些方法并不適用于所有數據增強操作，在某些情況下面臨著較大的應用局限性。生成對抗網絡是一種優異的數據增強策略。goodfellow在2014年首次提出生成對抗網絡(generative?adversarial?networks,gan)。gan通過構建一組生成器和判別器進行對抗訓練，在博弈過程中達
4、1)gan的訓練集不足：gan模型的訓練需要大量的真實螺栓缺陷圖像，然而實際的輸電線路中，含有缺陷的螺栓太少。因此，在訓練gan時容易丟失信息，導致訓練時的模型容易崩潰；
5、2)不同視角的螺栓視覺差異大：通常gan在生成過程中將同一屬性的螺栓歸為同一類，忽略了螺栓圖像之間的視覺差異，這導致生成的圖像可能與實際應用場景產生偏差。由于螺栓的安裝位置、環境因素和拍攝視角的差異，輸電線路中的螺栓圖像往往存在較大的視覺差異，這進一步加大了生成任務的復雜性，進而影響生成的趨勢，導致生成錯誤樣本。
6、因此，在上述背景下，將生成對抗網絡引入電力系統領域中，解決當前輸電線路螺栓缺陷數據不足的問題，擴增螺栓缺陷數據集的同時輔助提高螺栓缺陷識別的準確率，是滿足當前電力系統領域工業化需求的重中之重。
技術實現思路
1、本專利技術的目的是提供一種基于視角和屬性引導的螺栓缺陷可控生成方法，解決輸電線路螺栓缺陷數據不足和其導致的下游任務效果差等問題。引入視角和屬性信息，并提出殘差式跨層激勵和u-net自監督重建判別器usrd，設計一種新穎的生成對抗網絡可以在少樣本條件下，可控生成特定視角和屬性的螺栓缺陷圖像，從而提升螺栓缺陷識別的準確率。
2、為實現上述目的，本專利技術提供了如下方案：
3、一種基于視角和屬性引導的螺栓缺陷可控生成方法，包括以下步驟：
4、s1，構建用于訓練螺栓視角標簽生成器的數據集dataset?1，包含正常螺栓的正面和側面兩種視角；構建少樣本螺栓缺陷數據集dataset?2，包含三種類別的螺栓缺陷圖像，三種類別包含正常螺栓、銷釘缺失、螺母缺失。
5、s2，采用對比語言-圖像預訓練clip模型，提出基于clip微調的螺栓視角標簽生成器，對少樣本螺栓缺陷數據集dataset?2自動分配視角標簽，構建包含視角和屬性標簽的螺栓缺陷數據集dataset?3，為后續圖像生成任務提供數據支撐。
6、s3，采用條件生成對抗網絡的架構，在生成器中引入視角和屬性作為額外的條件輸入，并提出殘差式跨層激勵ressle，構建具有更強梯度信息流和更高生成可控性的生成器；其中，ressle在跨層激勵sle的基礎上引入了跨層連接來加強層間的梯度信號，并通過lambda層控制激勵的強度，以提升生成器的梯度流。
7、s4，采用編碼器-解碼器的架構擴展判別器以形成u-net，提出基于u-net的自監督重建判別器usrd，并針對t型螺栓設計獨特的局部裁剪方式shape-crop，通過全局和局部重建增強了判別器的特征提取和細節紋理生成能力。
8、其中，s2具體包括：
9、首先，為生成更準確的螺栓圖像，提出在gan中引入基于螺栓缺陷屬性的視角信息，將螺栓視角劃分為視覺差異最大的兩類：正面視角0°和側面視角90°，以確保任務的可行性和準確性。
10、接著，提出基于clip微調的螺栓視角標簽生成器，并在dataset?1上進行訓練，學習兩種視角的特征，采用權重空間集成方法wise-ft微調clip，公式如下：
11、wse(x,α)＝f(x,(1-α)·θ0+α·θ1)????????????????????(1)
12、其中，x表示輸入數據，f是模型的分類預測函數，θ0表示原始模型參數，θ1表示通過標準微調獲得的模型參數，α是控制權重的混合系數，提取微調后clip的圖像編碼器e作為螺栓視角標簽生成器。
13、最后，將帶有屬性標簽的螺栓缺陷數據集dataset?2輸入螺栓視角標簽生成器，為每張圖像分配視角標簽，通過將這些視角標簽與螺栓的屬性標簽相結合，構建視角-屬性螺栓數據集dataset?3，此過程定義如下：
14、label(d3)＝e(d2)+attribute(d2)????????????????????(2)
15、其中，e表示螺栓視角標簽生成器，attribute是dataset?2的屬性標簽，dataset3的類別包括正面-正常螺栓、側面-正常螺栓、正面-銷釘缺失、側面-銷釘缺失、正面-螺母缺失、側面-螺母缺失共6類，dataset?2和dataset?3中的圖像相同，只有類別標簽不同，螺栓視角標簽生成器減少了人為偏見并提高了標簽一致性。
16、其中，所述采用條件生成對抗網絡的架構，在生成器中引入視角和屬性作為額外的條件輸入，并提出殘差式跨層激勵ressle，構建具有更強梯度信息流和更高生成可控性的生成器，具體包括：
17、首先，在輸入n維隨機噪聲向量的基礎上增加了n維的條件向量，二者拼接后輸入生成器，輸入定義如下式所示：
18、z＝concat(z,y)???????????????????(3)
19、其中，z是生成器的輸入向量，z是噪聲向量，y是條件向量，將包含視角和屬性的標簽作為條件信息輔助生成，增加了生成器的先驗知識，同時提高了gan生成的可控性，引入條件的另外一個原因是，不同螺栓缺陷圖像通常具備一定的共性，雖然螺栓的屬性或視角有所差異，但螺栓的主體是類似的，這有利于生成器的學習。
<本文檔來自技高網...【技術保護點】
1.一種基于視角和屬性引導的螺栓缺陷可控生成方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的生成方法，其特征在于，所述采用條件生成對抗網絡的架構，在生成器中引入視角和屬性作為額外的條件輸入，并提出殘差式跨層激勵ResSLE，構建具有更強梯度信息流和更高生成可控性的生成器，具體包括：
3.根據權利要求1所述的生成方法，其特征在于，所述采用編碼器-解碼器的架構擴展判別器以形成U-Net，提出基于U-Net的自監督重建判別器USRD，并針對T型螺栓設計獨特的局部裁剪方式Shape-crop，通過全局和局部重建增強了判別器的特征提取和細節紋理生成能力，具體包括：
4.根據權利要求3所述的生成方法，其特征在于，還包括：針對T型螺栓的形狀特性，提出了形狀裁剪方法Shape-crop，對螺栓圖像進行十字中心化裁剪，從水平和豎直方向中間截取四個正方形，同時增加包含最多螺栓信息的中心區域，兩種方法裁剪的區域面積相同，但Shape-crop提取的螺栓像素顯著多于隨機裁剪方法，以提升Ddec2的重建質量。
5.根據權利要求1所述的生成方法，其特
6.一種基于視角和屬性引導的螺栓缺陷可控生成裝置，其特征在于，所述裝置包括：
7.一種電子設備，其特征在于，所述電子設備包括：至少一個存儲器和至少一個處理器；所述存儲器存儲有程序，所述處理器調用所述存儲器存儲的程序，所述程序用于實現權利要求1-5任意一項所述的基于視角和屬性引導的螺栓缺陷可控生成方法。
8.一種存儲介質，其特征在于，所述存儲介質中存儲有計算機可執行指令，所述計算機可執行指令用于執行權利要求1-5任意一項所述的基于視角和屬性引導的螺栓缺陷可控生成方法。
...【技術特征摘要】
1.一種基于視角和屬性引導的螺栓缺陷可控生成方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的生成方法，其特征在于，所述采用條件生成對抗網絡的架構，在生成器中引入視角和屬性作為額外的條件輸入，并提出殘差式跨層激勵ressle，構建具有更強梯度信息流和更高生成可控性的生成器，具體包括：
3.根據權利要求1所述的生成方法，其特征在于，所述采用編碼器-解碼器的架構擴展判別器以形成u-net，提出基于u-net的自監督重建判別器usrd，并針對t型螺栓設計獨特的局部裁剪方式shape-crop，通過全局和局部重建增強了判別器的特征提取和細節紋理生成能力，具體包括：
4.根據權利要求3所述的生成方法，其特征在于，還包括：針對t型螺栓的形狀特性，提出了形狀裁剪方法shape-crop，對螺栓圖像進行十字中心化裁剪，從水平和豎直方向中間截取四個正方形，同時增加包含最多螺栓信...
【專利技術屬性】
技術研發人員：張珂，肖揚杰，盛鑫，鄭朝燁，郭玉榮，石超君，
申請(專利權)人：華北電力大學保定，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。