【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機視覺，尤其涉及一種工業(yè)視覺大模型的訓(xùn)練方法、裝置、電子設(shè)備和存儲介質(zhì)。
技術(shù)介紹
1、目前，對于工業(yè)場景圖像特征表達的研究可以讓模型更好的提取工業(yè)場景圖像的特征，從而便于將模型遷移到各種工業(yè)場景任務(wù)上。當(dāng)下常用的方法是在自然圖像數(shù)據(jù)集上進行預(yù)訓(xùn)練得到一個預(yù)訓(xùn)練模型，然后遷移到目標工業(yè)場景任務(wù)中進行下游應(yīng)用。
2、但是，當(dāng)前針對工業(yè)缺陷檢測場景的預(yù)訓(xùn)練模型還存在著較為嚴重的問題，即缺陷檢測或異常檢測的關(guān)鍵特征通常是局部的和微小的，而自然圖像數(shù)據(jù)集中的關(guān)鍵特征通常是全局的和面積較大的，因此，在據(jù)此預(yù)訓(xùn)練方法訓(xùn)練得到的模型進行缺陷檢測時，往往難以制品區(qū)域和缺陷區(qū)域，因而缺陷檢測效果大多不好，檢測性能欠佳。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提供一種工業(yè)視覺大模型的訓(xùn)練方法、裝置、電子設(shè)備和存儲介質(zhì)，用以解決現(xiàn)有技術(shù)中工業(yè)場景預(yù)訓(xùn)練模型在缺陷檢測場景中的表現(xiàn)欠佳，檢測準確率不高的缺陷，通過訓(xùn)練實現(xiàn)了工業(yè)視覺大模型的局部細節(jié)特征表達能力的增強，模型檢測性能的提升。
2、本專利技術(shù)提供一種工業(yè)視覺大模型的訓(xùn)練方法，包括：
3、獲取工業(yè)制品圖像和工業(yè)瑕疵圖像，所述工業(yè)制品圖像包括不同的第一工業(yè)制品圖像和第二工業(yè)制品圖像；
4、基于初始工業(yè)視覺大模型，確定所述工業(yè)制品圖像的工業(yè)制品特征，以及所述工業(yè)瑕疵圖像的工業(yè)瑕疵特征；基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品圖像和所述工業(yè)瑕疵圖像進行融合，得到融合圖像，并確定所述融合圖
5、對所述融合圖像特征進行特征分離，得到融合制品特征和融合瑕疵特征，基于所述融合制品特征與所述融合瑕疵特征之間的相似度，對所述初始工業(yè)視覺大模型進行參數(shù)迭代，得到工業(yè)視覺大模型；
6、所述融合制品特征包括所述第一工業(yè)制品圖像對應(yīng)的第一融合制品特征，以及所述第二工業(yè)制品圖像對應(yīng)的第二融合制品特征，所述融合瑕疵特征包括所述第一工業(yè)制品圖像對應(yīng)的第一融合瑕疵特征和所述第二工業(yè)制品圖像對應(yīng)的第二融合瑕疵特征。
7、根據(jù)本專利技術(shù)提供的一種工業(yè)視覺大模型的訓(xùn)練方法，所述基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品圖像和所述工業(yè)瑕疵圖像進行融合，得到融合圖像，包括：
8、基于所述初始工業(yè)視覺大模型，確定所述工業(yè)制品特征的制品權(quán)重，以及所述工業(yè)瑕疵圖像的瑕疵權(quán)重；
9、基于所述工業(yè)制品特征及其制品權(quán)重，以及所述工業(yè)瑕疵特征及其瑕疵權(quán)重，確定所述工業(yè)制品圖像中的工業(yè)制品區(qū)域，以及所述工業(yè)瑕疵圖像中的工業(yè)瑕疵區(qū)域；
10、基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行融合，得到融合圖像。
11、根據(jù)本專利技術(shù)提供的一種工業(yè)視覺大模型的訓(xùn)練方法，所述基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行融合，得到融合圖像，包括：
12、應(yīng)用所述初始工業(yè)視覺大模型，基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征進行圖像分類，得到工業(yè)制品類別和工業(yè)瑕疵類別；
13、基于所述工業(yè)制品類別和所述工業(yè)瑕疵類別，以及所述工業(yè)制品特征和所述工業(yè)瑕疵特征，提取類別激活響應(yīng)圖，得到工業(yè)制品激活響應(yīng)圖和工業(yè)瑕疵激活響應(yīng)圖；
14、基于所述工業(yè)制品激活響應(yīng)圖和所述工業(yè)瑕疵激活響應(yīng)圖，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行融合，得到融合圖像。
15、根據(jù)本專利技術(shù)提供的一種工業(yè)視覺大模型的訓(xùn)練方法，所述基于所述工業(yè)制品激活響應(yīng)圖和所述工業(yè)瑕疵激活響應(yīng)圖，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行融合，得到融合圖像，包括：
16、對所述工業(yè)瑕疵激活響應(yīng)圖進行歸一化，得到工業(yè)瑕疵歸一化特征，對所述工業(yè)瑕疵歸一化特征進行二值化，得到工業(yè)瑕疵掩碼；
17、基于所述工業(yè)制品激活響應(yīng)圖，確定所述工業(yè)制品區(qū)域中的高響應(yīng)區(qū)域，并從所述高響應(yīng)區(qū)域中確定融合位置；
18、基于所述工業(yè)瑕疵掩碼和所述融合位置，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行泊松融合，得到融合圖像。
19、根據(jù)本專利技術(shù)提供的一種工業(yè)視覺大模型的訓(xùn)練方法，所述基于所述工業(yè)瑕疵掩碼和所述融合位置，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行泊松融合，得到融合圖像，包括：
20、基于所述工業(yè)瑕疵掩碼，確定所述工業(yè)瑕疵區(qū)域中瑕疵所在區(qū)域；
21、在所述工業(yè)制品區(qū)域中的融合位置，對所述工業(yè)制品區(qū)域和所述瑕疵所在區(qū)域進行融合，得到初始融合圖像；
22、基于所述初始融合圖像和所述瑕疵所在區(qū)域進行泊松變換，并基于泊松變換所得結(jié)果對所述初始融合圖像進行優(yōu)化，得到融合圖像。
23、根據(jù)本專利技術(shù)提供的一種工業(yè)視覺大模型的訓(xùn)練方法，所述對所述融合圖像特征進行特征分離，得到融合制品特征和融合瑕疵特征，包括：
24、基于所述工業(yè)瑕疵掩碼和所述融合位置，提取所述融合圖像的瑕疵掩碼，得到融合瑕疵掩碼；
25、基于所述融合瑕疵掩碼，對所述融合圖像特征進行特征分離，得到融合制品特征和融合瑕疵特征。
26、根據(jù)本專利技術(shù)提供的一種工業(yè)視覺大模型的訓(xùn)練方法，所述基于所述融合制品特征與所述融合瑕疵特征之間的相似度，對所述初始工業(yè)視覺大模型進行參數(shù)迭代，得到工業(yè)視覺大模型，包括：
27、基于所述第一融合制品特征和所述第一融合瑕疵特征之間的相似度，以及所述第一融合瑕疵特征和所述第二融合瑕疵特征之間的相似度，確定第一損失；
28、基于所述第二融合制品特征和所述第一融合瑕疵特征之間的相似度，以及所述第一融合瑕疵特征和所述第二融合瑕疵特征之間的相似度，確定第二損失；
29、基于所述第一融合制品特征和所述第二融合瑕疵特征之間的相似度，以及所述第一融合瑕疵特征和所述第二融合瑕疵特征之間的相似度，確定第三損失；
30、基于所述第二融合制品特征和所述第二融合瑕疵特征之間的相似度，以及所述第一融合瑕疵特征和所述第二融合瑕疵特征之間的相似度，確定第四損失；
31、基于所述第一損失、所述第二損失、所述第三損失和所述第四損失，確定三元組損失，并基于所述三元組損失，對所述初始工業(yè)視覺大模型進行參數(shù)迭代，得到工業(yè)視覺大模型。
32、本專利技術(shù)還提供一種工業(yè)視覺大模型的訓(xùn)練裝置，包括：
33、獲取單元，用于獲取工業(yè)制品圖像和工業(yè)瑕疵圖像，所述工業(yè)制品圖像包括不同的第一工業(yè)制品圖像和第二工業(yè)制品圖像；
34、融合單元，用于基于初始工業(yè)視覺大模型，確定所述工業(yè)制品圖像的工業(yè)制品特征，以及所述工業(yè)瑕疵圖像的工業(yè)瑕疵特征；基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品圖像和所述工業(yè)瑕疵圖像進行融合，得到融合圖像，并確定所述融合圖像的融合圖像特征；
35、訓(xùn)練單元，用于對所述融合圖像特征進行特征分離，得到融合制品特征和融合瑕疵特征，基于所述融合制品特征與所述融合瑕疵特征之間的相似度，對所述初始本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品圖像和所述工業(yè)瑕疵圖像進行融合，得到融合圖像，包括：
3.根據(jù)權(quán)利要求2所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行融合，得到融合圖像，包括：
4.根據(jù)權(quán)利要求3所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述基于所述工業(yè)制品激活響應(yīng)圖和所述工業(yè)瑕疵激活響應(yīng)圖，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行融合，得到融合圖像，包括：
5.根據(jù)權(quán)利要求4所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述基于所述工業(yè)瑕疵掩碼和所述融合位置，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行泊松融合，得到融合圖像，包括：
6.根據(jù)權(quán)利要求4所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述對所述融合圖像特征進行特征分離，得到融合制品特征和融合瑕疵特征，包括：
7.根據(jù)權(quán)利要求1至6
8.一種工業(yè)視覺大模型的訓(xùn)練裝置，其特征在于，包括：
9.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1至7任一項所述的工業(yè)視覺大模型的訓(xùn)練方法。
10.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述的工業(yè)視覺大模型的訓(xùn)練方法。
...【技術(shù)特征摘要】
1.一種工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品圖像和所述工業(yè)瑕疵圖像進行融合，得到融合圖像，包括：
3.根據(jù)權(quán)利要求2所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述基于所述工業(yè)制品特征和所述工業(yè)瑕疵特征，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行融合，得到融合圖像，包括：
4.根據(jù)權(quán)利要求3所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述基于所述工業(yè)制品激活響應(yīng)圖和所述工業(yè)瑕疵激活響應(yīng)圖，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行融合，得到融合圖像，包括：
5.根據(jù)權(quán)利要求4所述的工業(yè)視覺大模型的訓(xùn)練方法，其特征在于，所述基于所述工業(yè)瑕疵掩碼和所述融合位置，對所述工業(yè)制品區(qū)域和所述工業(yè)瑕疵區(qū)域進行泊松融合，得到融合圖像，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王金橋，朱炳科，陳盈盈，趙朝陽，
申請(專利權(quán))人：中科視語北京科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。