【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)仿真領(lǐng)域，特別是涉及一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型及模型訓(xùn)練裝置領(lǐng)域。
技術(shù)介紹
1、觸覺感知已被研究并證明在人類與環(huán)境的相互作用中發(fā)揮關(guān)鍵作用，觸覺傳感被廣泛應(yīng)用于各個(gè)領(lǐng)域的研究和應(yīng)用，如何更好地采集和應(yīng)用觸覺信息成為了許多研究的關(guān)心方向。其中視觸覺傳感器具有易于制造、高分辨率、無電干擾問題等優(yōu)點(diǎn)，并且相比傳統(tǒng)單模態(tài)觸覺傳感器，它能夠提供更豐富的觸覺信息。因此，視觸覺數(shù)據(jù)在機(jī)器人研究、靈巧手觸覺感知、三維圖像重建、工業(yè)生產(chǎn)等領(lǐng)域得到了廣泛的應(yīng)用，發(fā)揮著越來越重要的作用。然而視觸覺數(shù)據(jù)的采集存在一定的時(shí)間成本，且長時(shí)間重復(fù)的數(shù)據(jù)采集工作會(huì)帶來一定程度上的傳感器損傷問題。同時(shí)，傳感器的特性在長期使用過程中可能會(huì)發(fā)生變化，經(jīng)常需要校準(zhǔn)和維護(hù)，否則采集到的數(shù)據(jù)可能對(duì)后續(xù)的研究結(jié)果帶來偏差。同時(shí)，在機(jī)器人設(shè)計(jì)，機(jī)器人觸覺渲染、靈巧手觸覺渲染、虛擬現(xiàn)實(shí)觸覺等領(lǐng)域?qū)τ谟|覺數(shù)據(jù)仿真生成具有極大需求。因此，為了節(jié)省時(shí)間和資源，需要構(gòu)建能夠脫離物理交互并產(chǎn)生新視觸覺數(shù)據(jù)的生成模型。
2、為解決上述問題，目前常見的方法是采用虛擬仿真強(qiáng)化學(xué)習(xí)的方法，在模擬環(huán)境中采集視觸覺數(shù)據(jù)并進(jìn)行機(jī)器的模擬訓(xùn)練，最后再在現(xiàn)實(shí)中使用，以此彌補(bǔ)現(xiàn)實(shí)中存在難以捕獲數(shù)據(jù)的盲區(qū)問題和機(jī)器易損耗等問題。然而，目前大多數(shù)基于強(qiáng)化學(xué)習(xí)的成功都局限于抽象和簡化的模擬環(huán)境，系統(tǒng)不能在更復(fù)雜的現(xiàn)實(shí)環(huán)境中維持高性能。近年來，生成對(duì)抗網(wǎng)絡(luò)以及擴(kuò)散模型等深度學(xué)習(xí)網(wǎng)絡(luò)在圖像生成等數(shù)據(jù)生成領(lǐng)域中得到了極大的發(fā)展，當(dāng)前基于常見生成模型生成的視觸覺數(shù)據(jù)有一定的局限性，容
技術(shù)實(shí)現(xiàn)思路
1、基于此，本專利技術(shù)目的在于提供一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型及模型訓(xùn)練裝置，用于解決上述問題。
2、本專利技術(shù)是通過如下技術(shù)方案實(shí)現(xiàn)的，一方面本專利技術(shù)提供一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其包括：
3、融合層，用于將輸入的受力情況數(shù)據(jù)升維后與輸入的視覺圖像數(shù)據(jù)進(jìn)行融合，得到融合后的圖像數(shù)據(jù)；和
4、第一生成器，用于對(duì)融合后的圖像數(shù)據(jù)進(jìn)行第一注意力-生成對(duì)抗處理，得到生成視觸覺圖像。
5、進(jìn)一步地，所述第一生成器包括：
6、卷積層，用于對(duì)融合后的圖像數(shù)據(jù)進(jìn)行卷積操作得到圖像特征參數(shù)；
7、殘差層，用于對(duì)圖像特征參數(shù)進(jìn)行殘差映射計(jì)算，得到中間變量；
8、注意力模塊，用于根據(jù)中間變量計(jì)算注意力權(quán)重矩陣，根據(jù)注意力權(quán)重矩陣對(duì)中間變量進(jìn)行增強(qiáng)，得到圖像特征表示；
9、反卷積層，對(duì)圖像特征表示進(jìn)行反卷積得到生成視觸覺圖像。
10、進(jìn)一步地，所述第一生成器通過如下方法進(jìn)行訓(xùn)練：
11、s10：對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)預(yù)處理，之后依序輸入所述跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型；其中，所述訓(xùn)練集包括原始視覺圖像數(shù)據(jù)集、原始視觸覺圖像數(shù)據(jù)集以及原始受力情況數(shù)據(jù)集；每一原始視覺圖像與一原始視觸覺圖像及一原始受力情況相對(duì)應(yīng)；
12、所述跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型對(duì)輸入的視覺圖像數(shù)據(jù)、受力情況數(shù)據(jù)進(jìn)行處理，得到生成視觸覺圖像；
13、s20：將跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型輸出的生成視觸覺圖像經(jīng)過第二注意力-生成對(duì)抗處理，得到生成視覺圖像；
14、s30：對(duì)原始視觸覺圖像與生成視觸覺圖像進(jìn)行判別處理得到第一判別輸出，對(duì)原始視覺圖像與生成視覺圖像進(jìn)行判別處理得到第二判別輸出；
15、s40：根據(jù)第一判別輸出以及生成視觸覺圖像的判別輸出計(jì)算第一對(duì)抗損失；根據(jù)第二判別輸出以及生成視覺圖像的判別輸出計(jì)算第二對(duì)抗損失；根據(jù)原始視觸覺數(shù)據(jù)與所述融合后的數(shù)據(jù)計(jì)算循環(huán)一致性損失；
16、s50：對(duì)第一對(duì)抗損失、第一對(duì)抗損失及循環(huán)一致性損失加權(quán)求和得到總損失，若總損失小于收斂閾值，或，迭代次數(shù)超過迭代閾值，完成訓(xùn)練，否則執(zhí)行步驟s60；
17、s60：分別計(jì)算對(duì)抗損失的梯度、循環(huán)一致性損失的梯度，根據(jù)梯度反向傳播更新模型的網(wǎng)絡(luò)參數(shù)。
18、進(jìn)一步地，所述第一注意力-生成對(duì)抗處理，和/或，第二注意力-生成對(duì)抗處理包括：
19、對(duì)輸入圖像進(jìn)行卷積操作得到圖像特征參數(shù)；
20、對(duì)圖像特征參數(shù)進(jìn)行殘差映射計(jì)算，得到中間變量；
21、根據(jù)中間變量計(jì)算注意力權(quán)重矩陣，根據(jù)注意力權(quán)重矩陣對(duì)中間變量進(jìn)行增強(qiáng)，得到圖像特征表示；
22、對(duì)圖像特征表示進(jìn)行反卷積得到生成視觸覺圖像。
23、進(jìn)一步地，所述判別處理包括：
24、對(duì)輸入圖像進(jìn)行卷積操作得到圖像特征參數(shù)；
25、根據(jù)圖像特征參數(shù)計(jì)算注意力權(quán)重矩陣，根據(jù)注意力權(quán)重矩陣對(duì)輸入數(shù)據(jù)進(jìn)行增強(qiáng)，得到圖像特征表示；
26、對(duì)圖像特征表示進(jìn)行卷積映射得到判別輸出。
27、進(jìn)一步地，注意力權(quán)重矩陣的計(jì)算公式為：
28、
29、其中，q＝xwq,k＝xwk,v＝xwv，分別表示注意力機(jī)制中的查詢(query)、鍵(key)和值(value)矩陣，其均為線性變換得到的，wq,wk,wv是預(yù)設(shè)的權(quán)重矩陣，x為進(jìn)入注意力處理的參數(shù)或者變量，其數(shù)據(jù)維度大小為dk。
30、進(jìn)一步地，所述第一對(duì)抗損失計(jì)算公式為：
31、lossgan1＝e[logdt(y)]+e[log(1-dt(g(x)))]
32、其中dt表示第一判別處理，判別視觸覺圖像的真實(shí)程度，g表示第一注意力-生成對(duì)抗處理；x表示數(shù)據(jù)集中輸入的真實(shí)視覺圖像與受力數(shù)據(jù)升維后進(jìn)行融合得到的矩陣，y表示數(shù)據(jù)集中輸入的真實(shí)的視觸覺數(shù)據(jù)。g(x)表示生成的視觸覺圖像；
33、所述第二對(duì)抗損失計(jì)算公式為：
34、lossgan2＝e[logdv(x)]+e[log(1-dv(f(y)))]
35、其中dv表示第二判別處理，判別視覺圖像的真實(shí)程度，f表示第二注意力-生成對(duì)抗處理；x表示數(shù)據(jù)集中輸入的真實(shí)視覺圖像與受力數(shù)據(jù)升維后進(jìn)行融合得到的矩陣，y表示數(shù)據(jù)集中輸入的真實(shí)的視觸覺數(shù)據(jù)。f(y)表示生成的視覺圖像。
36、進(jìn)一步地，所述循環(huán)一致性損失的計(jì)算公式如下：
37、losscycle＝e[‖g(f(y))-y‖]+e[‖f(g(x))-x‖]
38、其中g(shù)表示第一注意力-生成對(duì)抗處理，f表示第二注意力-生成對(duì)抗處理，e表示期望值,‖·‖表示范數(shù)(例如l1范數(shù)、l2范數(shù))，x表示數(shù)據(jù)集中輸入的真實(shí)視覺圖像與受力數(shù)據(jù)升維后進(jìn)行融合得到的矩陣，y表示數(shù)據(jù)集中輸入的真實(shí)的觸覺數(shù)據(jù)。
39、進(jìn)一步地，所述數(shù)據(jù)預(yù)處理具體包括：
40、s11：對(duì)原始視覺圖像數(shù)據(jù)、原始視觸覺數(shù)據(jù)進(jìn)行重采樣；
41、s12：隨機(jī)選擇重采樣后的視覺圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，并對(duì)該視覺數(shù)據(jù)對(duì)應(yīng)的視觸覺數(shù)據(jù)進(jìn)行同樣的數(shù)據(jù)增強(qiáng)操作；
42、s13：對(duì)訓(xùn)練本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，所述第一生成器包括：
3.根據(jù)權(quán)利要求2所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，所述第一生成器通過如下方法進(jìn)行訓(xùn)練：
4.根據(jù)權(quán)利要求3所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，步驟S20中的第二注意力-生成對(duì)抗處理包括：
5.根據(jù)權(quán)利要求4所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，步驟S30的第一判別處理，或，第二判別處理包括：
6.根據(jù)權(quán)利要求5所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，所述注意力權(quán)重矩陣的計(jì)算公式為：
7.根據(jù)權(quán)利要求6所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于：
8.根據(jù)權(quán)利要求7所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，所述循環(huán)一致性損失的計(jì)算公式如下：
9.根據(jù)權(quán)利要求8所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，所述訓(xùn)練集的預(yù)處理具體包括：
10.一種
...【技術(shù)特征摘要】
1.一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，所述第一生成器包括：
3.根據(jù)權(quán)利要求2所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，所述第一生成器通過如下方法進(jìn)行訓(xùn)練：
4.根據(jù)權(quán)利要求3所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，步驟s20中的第二注意力-生成對(duì)抗處理包括：
5.根據(jù)權(quán)利要求4所述的一種跨模態(tài)視觸覺數(shù)據(jù)仿真生成模型，其特征在于，步驟s30的第一判別處理，或，第二判別處理包...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李昕明，徐偉良，毛逸先，羅茜徽，劉璐，
申請(qǐng)(專利權(quán))人：華南師范大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。