【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機，具體地涉及一種基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)。
技術(shù)介紹
1、卷積神經(jīng)網(wǎng)絡(luò)是計算機視覺領(lǐng)域中一種重要的神經(jīng)網(wǎng)絡(luò)。注意力機制是一種能夠?qū)⒅匾畔⒓嘘P(guān)注而忽略不重要信息的機制。近年來，隨著視覺變換器vit（visiontransformer）及其變體的出現(xiàn)，可將vit與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合來提取重要的像素信息，展示了基于注意力機制的方法性能。然而，這些精心設(shè)計的注意力模式仍然存在一些限制。窗口注意力的方法要么會涉及到復(fù)雜的移位操作，要么會犧牲全局像素信息建模的能力；稀疏注意力的方法雖然以低的計算成本捕獲了全局感受野，但在捕獲局部特征的過程中通常會導(dǎo)致部分區(qū)域的重要的像素信息丟失；局部感知的方法基于每個像素的特定權(quán)重僅關(guān)注局部區(qū)域會導(dǎo)致對于其它關(guān)鍵信息的忽視。因此，有必要設(shè)計一種更有效的方法，來同時兼顧局部像素信息和全局像素信息。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)存在的缺點，提出設(shè)計一種基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)。
2、本專利技術(shù)解決其技術(shù)問題所采取的技術(shù)方案是：
3、一種基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，包括：
4、所述卷積神經(jīng)網(wǎng)絡(luò)將resnet-50網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，將res_conv4_1之后的殘差塊劃分為三個分支：空間混合分支-1、空間混合分支-2和通道混合分支；所述空間混合分支-1和空間混合分支-2均嵌入混合上下文感知的空間注意力hca-s（hybrid?context-awar
5、所述hca-s模塊將輸入特征圖利用卷積得到三個張量：查詢矩陣、鍵矩陣和值矩陣；所述查詢矩陣和鍵矩陣均勻地劃分為若干個非重疊窗口，每個窗口特征圖的二維空間被展平為一維序列，分別得到若干個窗口查詢矩陣和窗口鍵矩陣，基于窗口查詢矩陣和窗口鍵矩陣生成的空間注意力矩陣建立空間維度上的局部增強鍵矩陣和局部增強值矩陣；基于局部增強鍵矩陣和局部增強值矩陣構(gòu)建全局感知權(quán)重；使用全局感知權(quán)重來重建值矩陣，從而獲得具有局部增強的全局上下文感知矩陣，將全局上下文感知矩陣與輸入特征圖相乘并相加得到hca-s模塊的最終輸出特征圖；
6、所述hca-c（hybrid?context-aware?attention?-?channel）模塊的輸入特征圖的二維空間被展平為一維序列，再經(jīng)過全連接層得到查詢矩陣、鍵矩陣和值矩陣；沿通道維度對查詢矩陣和鍵矩陣分別均勻劃分為若干個組，基于通道組查詢矩陣和通道組鍵矩陣生成的多通道組融合注意力矩陣建立通道維度上的局部增強鍵矩陣和局部增強值矩陣，基于局部增強鍵矩陣和局部增強值矩陣構(gòu)建全局感知權(quán)重；使用全局感知權(quán)重來重建值矩陣，獲得具有局部增強的全局上下文感知矩陣，將全局上下文感知矩陣與輸入特征圖相乘并相加得到hca-c模塊的最終輸出特征圖。
7、進一步的，所述hca-s模塊中，基于窗口查詢矩陣和窗口鍵矩陣生成的空間注意力矩陣建立空間維度上的局部增強鍵矩陣和局部增強值矩陣的過程為：
8、對劃分后的獨立的窗口并行計算注意力得分，將窗口查詢矩陣與轉(zhuǎn)置后的窗口鍵矩陣相乘得到窗口注意力矩陣；
9、將窗口注意力矩陣沿著列維度進行壓縮操作得到窗口注意力向量，通過對窗口使用壓縮操作，來捕獲窗口內(nèi)最突出的關(guān)鍵的語義信息，同時去除冗余的語義信息；
10、將壓縮后得到的若干個窗口注意力向量進行聚合，得到多窗口融合的空間注意力矩陣；
11、將空間注意力矩陣經(jīng)過重塑操作后，再進行歸一化操作，得到空間維度上的權(quán)重感知器；
12、基于生成的權(quán)重感知器，并利用標量乘積分別對鍵矩陣和值矩陣進行重新調(diào)整，得到空間維度上的局部增強鍵矩陣和局部增強值矩陣，使得鍵矩陣和值矩陣能夠增強對顯著區(qū)域像素的關(guān)注。
13、進一步的，所述hca-c模塊中，基于通道組查詢矩陣和通道組鍵矩陣生成的多通道組融合注意力矩陣建立通道維度上的局部增強鍵矩陣和局部增強值矩陣的過程為：
14、對劃分的若干個組通過重塑操作來分別得到每組的通道組查詢矩陣和通道組鍵矩陣；
15、將通道組鍵矩陣轉(zhuǎn)置與通道組查詢矩陣進行矩陣相乘后得到的矩陣沿行維度進行壓縮操作，得到通道組注意力向量；
16、若干個組的通道組注意力向量進行聚合操作得到多通道組融合注意力矩陣；
17、將多通道組融合注意力矩陣經(jīng)過重塑操作后，再進行歸一化操作，得到通道維度上的權(quán)重感知器；
18、基于生成的權(quán)重感知器，并利用標量乘積分別對鍵矩陣和值矩陣進行重新調(diào)整，得到通道維度上的局部增強鍵矩陣和局部增強值矩陣。
19、進一步的，所述hca-s模塊中，對局部增強鍵矩陣和局部增強值矩陣分別進行空間感知降維操作，將降維后的鍵矩陣與查詢矩陣相乘并經(jīng)過歸一化后得到全局感知權(quán)重 attn_s為：
20、；
21、其中， x q s為hca-s模塊的查詢矩陣， k s sar為空間維度上的局部增強鍵矩陣進行通道感知降維操作后的矩陣。
22、進一步的，所述hca-c模塊中，對局部增強鍵矩陣和局部增強值矩陣分別進行通道感知降維操作，將降維后的鍵矩陣與查詢矩陣相乘并經(jīng)過歸一化后得到全局感知權(quán)重 attn_c為：
23、；
24、其中， x q c為hca-c模塊的查詢矩陣， k c car為通道維度上的局部增強鍵矩陣進行通道感知降維操作后的矩陣。
25、進一步的，所述空間混合分支-1、空間混合分支-2和通道混合分支的輸出特征圖均通過平均池化壓縮成一個大小為2048維的特征向量；三個分支輸出的2048維特征向量的維度通過1×1卷積、批處理歸一化和relu激活函數(shù)降維處理至256，得到256維的特征嵌入。
26、進一步的，所述256維的特征嵌入用于三元組損失的訓(xùn)練，并且經(jīng)過全連接層的轉(zhuǎn)換后用于交叉熵損失的訓(xùn)練。
27、進一步的，三個分支的最終輸出特征圖都沿水平方向劃分為兩部分，使hca-s模塊和hca-c模塊更加關(guān)注于挖掘細粒度的視覺線索。
28、進一步的，將三個分本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述HCA-S模塊中，基于窗口查詢矩陣和窗口鍵矩陣生成的空間注意力矩陣建立空間維度上的局部增強鍵矩陣和局部增強值矩陣的過程為：
3.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述HCA-C模塊中，基于通道組查詢矩陣和通道組鍵矩陣生成的多通道組融合注意力矩陣建立通道維度上的局部增強鍵矩陣和局部增強值矩陣的過程為：
4.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述HCA-S模塊中，對局部增強鍵矩陣和局部增強值矩陣分別進行空間感知降維操作，將降維后的鍵矩陣與查詢矩陣相乘并經(jīng)過歸一化后得到全局感知權(quán)重Attn_s為：
5.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述HCA-C模塊中，對局部增強鍵矩陣和局部增強值矩陣分別進行通道感知降維操作，將降維后的鍵矩陣與查詢矩陣相乘并經(jīng)過歸一化后得到全局感知權(quán)重Attn
6.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述空間混合分支-1和空間混合分支-2的HCA-S模塊之間應(yīng)用位置感知約束損失，所述位置感知約束損失定義如下：
7.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述空間混合分支-1、空間混合分支-2和通道混合分支的輸出特征圖均通過平均池化壓縮成一個大小為2048維的特征向量；三個分支輸出的2048維特征向量的維度通過1×1卷積、批處理歸一化和ReLU激活函數(shù)降維處理至256，得到256維的特征嵌入。
8.根據(jù)權(quán)利要求7所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述256維的特征嵌入用于三元組損失的訓(xùn)練，并且經(jīng)過全連接層的轉(zhuǎn)換后用于交叉熵損失的訓(xùn)練。
9.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，三個分支的最終輸出特征圖都沿水平方向劃分為兩部分。
10.根據(jù)權(quán)利要求1?所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，將三個分支的最終輸出特征圖拼接，得到輸入特征圖的最終特征表示。
...【技術(shù)特征摘要】
1.一種基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述hca-s模塊中，基于窗口查詢矩陣和窗口鍵矩陣生成的空間注意力矩陣建立空間維度上的局部增強鍵矩陣和局部增強值矩陣的過程為：
3.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述hca-c模塊中，基于通道組查詢矩陣和通道組鍵矩陣生成的多通道組融合注意力矩陣建立通道維度上的局部增強鍵矩陣和局部增強值矩陣的過程為：
4.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述hca-s模塊中，對局部增強鍵矩陣和局部增強值矩陣分別進行空間感知降維操作，將降維后的鍵矩陣與查詢矩陣相乘并經(jīng)過歸一化后得到全局感知權(quán)重attn_s為：
5.根據(jù)權(quán)利要求1所述的基于感知上下文注意力機制的卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，所述hca-c模塊中，對局部增強鍵矩陣和局部增強值矩陣分別進行通道感知降維操作，將降維后的鍵矩陣與查詢矩陣相乘并經(jīng)過歸一化后得到全局感知權(quán)重attn_c為：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：司煒，王成，龐希愚，栗世濤，田佳琛，周曉穎，劉彤欣，馬騰達，
申請(專利權(quán))人：山東交通學(xué)院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。