【技術實現步驟摘要】
本專利技術涉及數據傳輸領域，尤其涉及一種基于輕量級網絡的語義圖像傳輸方法及系統。
技術介紹
1、自動駕駛技術因其在提升道路安全和優化交通效率方面的潛力而受到廣泛關注。盡管擁有先進的感知系統，但由于單車視野有限，自動駕駛車輛仍存在潛在的安全風險。通過圖像共享擴展視野的方式能增強駕駛安全性，這使得高效的圖像數據傳輸變得至關重要。然而，在帶寬受限的情況下，圖像傳輸面臨著延遲較高的問題。
2、為了應對這一挑戰，當前的研究主要集中在對傳輸數據量進行壓縮。相較于將信源編碼和信道編碼分別設計的傳統方法，聯合信源信道編碼(jscc)能夠減少不必要的冗余工作，而語義通信方法通過對傳輸內容選擇性傳播，進一步降低了傳輸延遲。這些方法使用深度學習模型來進行圖像的特征提取，其中vits(visiontransformers)中表現出色的swintransformer模型被用作語義通信的特征提取器，提供了理想的圖像傳輸質量。
3、然而，盡管swintransformer在捕捉多尺度信息和復雜特征方面表現優越，但其計算復雜度和模型參數龐大，用作語義通信時在邊緣設備上的應用仍面臨續航能力、設備空間和顯存要求等問題。這些問題限制了其在實際使用中的廣泛部署。
技術實現思路
1、有鑒于此，為了解決現有圖像傳輸方法應用的swintransformer的模型計算復雜度和模型參數龐大，進而導致無法廣泛應用于各場景的技術問題，本專利技術提出一種基于輕量級網絡的語義圖像傳輸方法，所述方法包括以下步驟：p>
2、獲取輸入圖像；
3、基于swintransformer架構，引入線性運算的量化操作和非線性運算的整數近似操作，得到僅整型計算的圖像傳輸網絡；
4、所述圖像傳輸網絡包括編碼器、解碼器和信道調制模塊；
5、基于所述圖像傳輸網絡傳輸所述輸入圖像壓縮后的特征圖。
6、在一些實施例中，所述基于所述圖像傳輸網絡傳輸所述輸入圖像這一步驟，其具體包括：
7、基于所述編碼器對所述輸入圖像進行編碼處理，得到特征圖；
8、基于所述信道調制模塊對所述特征特征圖進行調制，得到調制后的特征圖；
9、將所述調制后的特征圖在無線信道中傳輸；
10、基于所述解碼器接收所述調制后的特征圖，并進行解調處理和圖像恢復，得到最終圖像。
11、在一些實施例中，所述基于所述編碼器對所述輸入圖像進行編碼處理，得到特征圖這一步驟，其具體包括：
12、基于量化卷積層對所述輸入圖像進行圖像塊劃分和線性嵌入，得到格式轉化后的數據；
13、通過多層改進的swin?transformer?block對所述格式轉化后的數據進行特征提取，得到特征圖；
14、所述多層改進的swin?transformer?block包括量化矩陣乘法層、量化線性層、整數近似的layernorm、整數近似的gelu和整數近似的softmax。
15、在一些實施例中，在所述swin?transformer?block之間，還包括圖像塊合并層。
16、通過該優選步驟，在swin?transformer?block(stb)之間穿插了圖像塊合并層(patch?merging)，逐步降低特征圖的空間維度，增強特征表示能力
17、在一些實施例中，所述基于所述信道調制模塊對所述特征特征圖進行調制，得到調制后的特征圖這一步驟，其具體包括：
18、接受當前信道狀態的信噪比；
19、基于所述信噪比，依次通過多層量化線性層、整數近似的relu運算和末尾整數近似的sigmoid運算，生成縮放系數；
20、根據所述縮放信號對所述特征特征圖進行調制，得到調制后的特征圖。
21、在一些實施例中，還包括：
22、通過量化線性層對所述調制后的特征圖進行壓縮。
23、通過該優選步驟，能夠減少數據量，降低傳輸帶寬和存儲要求。
24、在一些實施例中，所述量化操作中，量化因子sx和量化后整數表示ix如下所示：
25、
26、
27、其中，x表示輸入，xmax表示輸入的最大量化范圍，k表示量化位數，表示對數值進行四舍五入取整，clip表示對x裁剪到指定的數值范圍內。
28、在一些實施例中，所述整數近似的softmax表示如下：
29、
30、其中，表示第i個索引值對應的量化后整數表示，d的取值為隱藏特征的維度，表示整數操作近似后得到的量化整型值，具體轉換步驟如下：由于在整數計算單元上進行位移操作比直接進行指數運算更為簡單，因此需要將運算轉換為以2為底的指數形式。
31、由于對整數計算單元進行位移操作相較指數運算容易，需要將轉換為以2為底的運算，使用換底公式對輸入的指數運算進行處理：
32、
33、其中log2e可近似為二進制數
34、log2e≈(1.0111)2＝(1.1000)2-(0.0001)2
35、因此有：
36、
37、其中
38、因為作為指數項不一定是整數，可能無法直接用于移位操作。因此可以將其分為整數部分找到非負整數r和q，使得并且sx·(-r)∈(-1,0]。
39、由于當x∈(-1,0]時，所以：
40、
41、可化為sx·[-(r>>1)+i1]，其中
42、整合以上內容，可得到：
43、
44、由于softmax分子分母都包含sx，除法操作的整數實現可表示為該整數除法函數的輸入分別為被除數、除數和量化位數。其計算方式如下：
45、
46、具體步驟解釋如下：為了降低在整數除法過程中精度的損失，首先將除數與較大的整數2m相乘擴大數值范圍，然后將結果與相乘后右移(m+1-k)以適應目標位寬。此外由于該過程相當于放大了2k-1倍，縮放因子
47、在一些實施例中，所述整數近似的sigmoid函數表示如下：
48、
49、本專利技術還提出了一種基于輕量級網絡的語義圖像傳輸系統，包括：
50、至少一個發送端，包含處理器和存儲器，用于存儲并執行程序，以實現對圖像的語義信息提取和壓縮傳輸；
51、至少一個接收端，包含處理器和存儲器，用于存儲并執行程序，以對接收到的語義信息進行解碼和還原；
52、通信信道，用于連接所述發送端和接收端，以傳輸所述語義信息；
53、當所述至少一個程序被所述至少一個處理器執行，使得所述至少一個處理器實現如上所述一種基于輕量級網絡的語義圖像傳輸方法。
54、基于上述方案，本專利技術提供了一種基于輕量級網絡的語義圖像傳輸方法及系統，通過引入量化操作和非線性運算整數近似的操作，在保證圖像傳輸質量的同時，顯著降本文檔來自技高網...
【技術保護點】
1.一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，包括以下步驟：
2.根據權利要求1所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，所述基于所述圖像傳輸網絡傳輸所述輸入圖像這一步驟，其具體包括：
3.根據權利要求2所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，所述基于所述編碼器對所述輸入圖像進行編碼處理，得到特征圖這一步驟，其具體包括：
4.根據權利要求3所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，在所述SwinTransformer?Block之間，還包括圖像塊合并層。
5.根據權利要求4所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，所述基于所述信道調制模塊對所述特征特征圖進行調制，得到調制后的特征圖這一步驟，其具體包括：
6.根據權利要求5所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，還包括：
7.根據權利要求6所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，所述量化操作中，量化因子Sx和量化后整數表示Ix如下所示：
8.根據權利要求7所述一種
9.根據權利要求8所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，整數近似的Sigmoid函數表示如下：
10.一種基于輕量級網絡的語義圖像傳輸系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，包括以下步驟：
2.根據權利要求1所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，所述基于所述圖像傳輸網絡傳輸所述輸入圖像這一步驟，其具體包括：
3.根據權利要求2所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，所述基于所述編碼器對所述輸入圖像進行編碼處理，得到特征圖這一步驟，其具體包括：
4.根據權利要求3所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，在所述swintransformer?block之間，還包括圖像塊合并層。
5.根據權利要求4所述一種基于輕量級網絡的語義圖像傳輸方法，其特征在于，所述基于所述信...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。