【技術實現步驟摘要】
本專利技術涉及語義通信，尤其涉及的是一種輕量級圖像語義通信方法、系統及可讀存儲介質。
技術介紹
1、在圖像語義通信領域中，現有的研究證明，深度學習的模型可以取代大部分原有的編解碼器并取得比傳統方法更好的壓縮和精度性能，因此，基于深度學習的信源信道聯合編碼研究很大程度地推動了關于語義通信系統的研究，現有的語義通信方案幾乎全部使用了信源信道聯合編碼的形式。
2、但是，即使在擁有較大算力的gpu服務器上，幾乎所有這些較好的基于深度學習的信源信道聯合編碼的語義通信算法都需要至少一百乃至數千毫秒的時間進行模型初始化和模型的推理。這個量級的延遲在時延敏感型的真實通信系統開發時是難以被接受的。尤其考慮到有很大一部分通信會發生在邊緣設備上，而邊緣設備的算力通常更低且除開延遲的問題外它們的內存往往也很有限。所以在這類邊緣設備上應用基于深度學習的語義編碼算法時，最大的挑戰之一就是它們可能無法提供足夠的算力并在短時間內完成模型推理的繁重計算。在實際應用中，完成這些龐大的基于深度學習的語義編解碼所耗費的時間可能甚至比使用傳統通信算法完成整個通信過程的時間還要長，這在絕大多數的應用場景中都是很不合理的。
技術實現思路
1、本專利技術的目的是提供一種輕量級圖像語義通信方法、系統及可讀存儲介質，旨在解決現有技術的語義通信方法需要算力過大，難以在現有硬件條件下使用的問題。
2、本專利技術解決技術問題所采用的技術方案如下：
3、本專利技術提供一種輕量級圖像語義通信方法，所述輕量級
4、發送端獲取源圖像，采用深度學習模型提取所述源圖像的紋理語義，采用傳統視覺算法提取所述源圖像的顏色語義；
5、發送端將所述顏色語義和所述紋理語義發送給接收端；
6、接收端融合所述顏色語義和所述紋理語義，重建所述源圖像。
7、進一步地，所述發送端將所述顏色語義和所述紋理語義發送給接收端，具體包括：
8、發送端將所述顏色語義量化為量化顏色語義，將所述紋理語義量化為量化紋理語義；
9、發送端將所述量化顏色語義和量化紋理語義傳輸給接收端；
10、接收端對所述量化顏色語義采用傳統視覺算法還原得到所述顏色語義，采用紋理還原模型處理所述量化紋理語義還原得到所述紋理語義。
11、進一步地，所述發送端和接收端均包括多個輔助設備，所述深度學習模型包括紋理提取模型和淺層神經網絡，所述采用深度學習模型提取所述源圖像的紋理語義，具體包括：
12、將所述源圖像輸入淺層神經網路提取源圖像的淺層特征；
13、將所述淺層特征分割成若干特征塊；
14、將若干所述特征塊分配給多個輔助設備，每個輔助設備采用紋理提取模型分別對所述特征塊進行處理，得到所述紋理語義。
15、進一步地，所述采用紋理還原模型處理所述量化紋理語義還原得到所述紋理語義，具體包括：
16、將所述量化紋理語義分割成若干語義塊；
17、將若干所述語義塊分配給多個輔助設備，每個輔助設備采用紋理還原模型分別對所述語義塊進行處理，還原得到所述紋理語義。
18、進一步地，所述將所述淺層特征分割成若干特征塊，具體包括：
19、獲取分割消耗模型，根據分割消耗模型，以總耗時最低為目標計算每個輔助設備的分割大小：
20、；
21、；
22、；
23、；
24、其中，為總耗時，表示約束，表示第個輔助設備在對應的分割大小下的內存消耗，表示第個輔助設備的可用內存上限，是可用設備的最大數量，是輔助設備數量；
25、根據各個所述分割大小，將所述淺層特征分割成若干特征塊；
26、所述將所述量化紋理語義分割成若干語義塊，具體包括：
27、獲取分割消耗模型，根據分割消耗模型，以總耗時最低為目標計算每個輔助設備的分割大小：
28、；
29、；
30、；
31、；
32、根據各個所述分割大小，將所述量化紋理語義分割成若干語義塊。
33、進一步地，所述獲取分割消耗模型，具體包括：
34、建立同構系統的真實協議下的并行耗時模型：
35、；
36、其中，為同構系統的實際協議并行耗時，為完成單位輸入數據的推理計算所需的cpu周期數，是接收端與輔助設備之間的傳輸數據速率，是輔助設備的數據速率，表示輔助設備在單位時間內能完成的cpu周期數，為額外需傳輸數據的大小，為量化紋理語義大小，為可用的輔助設備的數量；
37、建立異構系統的真實協議下的并行耗時模型：
38、；
39、其中，表示異構系統的實際協議并行耗時，代表輔助設備處理的數據塊大小，代表主設備和輔助設備之間的傳輸速率，代表輔助設備的數據速率，代表輔助設備在單位時間內能完成的cpu周期數；
40、建立輔助設備的內存消耗模型：
41、；
42、其中，為完成單位輸入數據的推理計算所需占用的內存，為加載模型參數權重所需占用的內存；
43、將所述同構系統的真實協議下的并行耗時模型、所述內存消耗模型和所述異構系統的真實協議下的并行耗時模型的集合作為所述消耗模型。
44、進一步地，所述接收端融合所述顏色語義和所述紋理語義，重建所述源圖像，具體包括：
45、將所述顏色語義和所述紋理語義輸入融合模型；
46、所述融合模型根據所述顏色語義和所述紋理語義重建并輸出所述源圖像。
47、進一步地，所述融合模型、所述紋理提取模型和所述紋理還原模型通過訓練得到，所述訓練的損失函數為：
48、；
49、其中，表示損失值，表示源圖像，表示重建圖像，和為訓練超參數，表示紋理提取算子，表示源圖像的紋理分布，表示重建圖像的紋理分布。
50、此外，為實現上述目的，本專利技術還提供一種輕量級語義通信系統，所述輕量級語義通信系統包括：發送端和接收端，所述發送端和所述接收端建立通信連接；
51、所述發送端用于獲取源圖像，采用神經網路提取所述源圖像的紋理語義，采用傳統視覺算法提取所述源圖像的顏色語義，并將所述顏色語義和所述紋理語義發送給所述接收端；
52、所述接收端用于融合所述顏色語義和所述紋理語義重建所述源圖像。
53、此外，為實現上述目的，本專利技術還提供一種可讀存儲介質，所述可讀存儲介質存儲有輕量級圖像語義通信程序，所述輕量級圖像語義通信程序被處理器執行時實現如上所述的輕量級圖像語義通信方法的步驟。
54、本專利技術采用上述技術方案具有以下效果：
55、本專利技術通過拆分語義通信任務，引入簡單的傳統計算機視覺算法，代替現有技術在語義通信過程中使用的部分深度學習模型，簡化了深度學習需要達成的目標，避免了過度使用深度模型可能會導致的顯著的本文檔來自技高網...
【技術保護點】
1.一種輕量級圖像語義通信方法，其特征在于，所述輕量級圖像語義通信方法，包括：
2.根據權利要求1所述的一種輕量級圖像語義通信方法，其特征在于，所述發送端將所述顏色語義和所述紋理語義發送給接收端，具體包括：
3.根據權利要求2所述的一種輕量級圖像語義通信方法，其特征在于，所述發送端和接收端均包括多個輔助設備，所述深度學習模型包括紋理提取模型和淺層神經網絡，所述采用深度學習模型提取所述源圖像的紋理語義，具體包括：
4.根據權利要求3所述的一種輕量級圖像語義通信方法，其特征在于，所述采用紋理還原模型處理所述量化紋理語義還原得到所述紋理語義，具體包括：
5.根據權利要求4所述的一種輕量級圖像語義通信方法，其特征在于，所述將所述淺層特征分割成若干特征塊，具體包括：
6.根據權利要求5所述的一種輕量級圖像語義通信方法，其特征在于，所述獲取分割消耗模型，具體包括：
7.根據權利要求3所述的一種輕量級圖像語義通信方法，其特征在于，所述接收端融合所述顏色語義和所述紋理語義，重建所述源圖像，具體包括：
8.根據權利
9.一種輕量級語義通信系統，其特征在于，所述輕量級語義通信系統包括：發送端和接收端，所述發送端和所述接收端建立通信連接；
10.一種可讀存儲介質，其特征在于，所述可讀存儲介質存儲有輕量級圖像語義通信程序，所述輕量級圖像語義通信程序被處理器執行時實現如權利要求1-8任一項所述的輕量級圖像語義通信方法的步驟。
...【技術特征摘要】
1.一種輕量級圖像語義通信方法，其特征在于，所述輕量級圖像語義通信方法，包括：
2.根據權利要求1所述的一種輕量級圖像語義通信方法，其特征在于，所述發送端將所述顏色語義和所述紋理語義發送給接收端，具體包括：
3.根據權利要求2所述的一種輕量級圖像語義通信方法，其特征在于，所述發送端和接收端均包括多個輔助設備，所述深度學習模型包括紋理提取模型和淺層神經網絡，所述采用深度學習模型提取所述源圖像的紋理語義，具體包括：
4.根據權利要求3所述的一種輕量級圖像語義通信方法，其特征在于，所述采用紋理還原模型處理所述量化紋理語義還原得到所述紋理語義，具體包括：
5.根據權利要求4所述的一種輕量級圖像語義通信方法，其特征在于，所述將所述淺層特征分割成若干特征塊，具體包括：
6.根...
【專利技術屬性】
技術研發人員：繆一銘，袁晨昕，薛浩楠，邱萌，
申請(專利權)人：香港中文大學深圳，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。