【技術實現步驟摘要】
本專利技術屬于無線通信和多媒體傳輸，涉及包括遠程會議、云游戲、在線教育和實時遠程協作等需要高效圖像傳輸的應用場景，特別涉及一種基于語義通信的屏幕內容圖像傳輸方法。
技術介紹
1、根據google調查研究，90％的在線媒體交互都是基于屏幕的，屏幕內容成為互聯網體信息的重要類型。一般而言，屏幕內容是由計算機生成或渲染的數據的總稱，相對于自然場景圖像具有無噪聲、邊緣銳利、圖案重復和高對比度的特點。而文本類屏幕內容圖像和視頻指的是以文本為主的屏幕顯示內容的圖像和視頻數據，是捕獲屏幕上顯示的文本內容的靜態圖像。它們通常包含大量文字，可能還包括少量的圖形和圖表。這類數據通常包含文檔、網頁、演示文稿、代碼編輯器以及其他以文本信息為主的屏幕內容。當前，中國正大力推進以信息產業為主導的經濟發展，隨著基于物聯網的智能通信系統包括多媒體和云技術的快速發展，在線媒體交互已被廣泛應用，應用場景包括云視頻會議、遠程屏幕共享、在線游戲、在線教育等，這些過程在提供便利的同時也帶來了龐大的數據量。屏幕內容數據量呈爆炸式增長給圖像和視頻編碼技術帶來了相當大的挑戰，因此，在面對上述多種應用場景時，研究高效的屏幕內容編碼傳輸方案勢在必行。
2、傳統的圖像壓縮采用jpeg、jpeg2000、h.265/hevc和h.266/vvc等標準，而最近的學習圖像壓縮(learned?image?compression,lic)算法已經超越了h.266/vvc。然而，這些方法主要是針對自然場景圖像進行設計的，這就限制了它們對屏幕內容特殊屬性的適用性，對屏幕內容圖像的編
3、語義通信作為一種新興的通信技術，通過對信息語義的提取、編碼和傳輸，可大幅提升通信效率。與傳統通信相比，語義通信并不要求數據或通信符號的準確傳遞，而關注的發送端輸入的語義信息與接收端恢復出的語義信息之間的匹配，通過濾除冗余信息、提取有效信息的含義，傳輸真正有用的信息，可以實現大幅減少通信資源消耗的目的。而且與傳統通信使用誤碼率(ber)和誤符號率(ser)作為通信的評估結果不同，語義通信系統以最小化輸入信息和重建信息之間的語義損失的方式來恢復解碼器端的信源信息。此外，隨著人工智能的快速發展，其在有限場景下掌握人類知識的能力正在逐步提高。深度學習作為人工智能中最重要的技術之一，在理解語言、音頻、圖片、視頻等信源方面取得了巨大成功。由于深度學習能夠對信源包含的語義信息進行高效提取和傳輸，具有良好的特征提取和學習能力的優勢，使其在語義通信模型中得到了廣泛的應用，基于深度學習的語義通信技術不僅能優化傳統的信源、信道編碼和調制解調模塊，還能通過建立端到端(e2e)的jscc有效應對傳統通信系統中的瓶頸問題。
技術實現思路
1、有鑒于此，本專利技術的目的在于提供一種基于語義通信的屏幕內容圖像傳輸方法，提高文本類屏幕內容圖像的傳輸效率和魯棒性，以及下游任務的完成效率。
2、為達到上述目的，本專利技術提供如下技術方案：
3、一種基于語義通信的屏幕內容圖像傳輸方法，該方法包括：
4、對于輸入的文本類屏幕內容圖像，通過編碼器對其進行信源編碼，以減少信源中的冗余；
5、對于信源編碼后的碼字，通過一權重分配網絡對其進行權重分配，使重要的語義特征在高snr子載波上優先傳輸；
6、對權重分配后的碼字進行信道編碼，在ofdm發射機中為高snr子載波分配更多的傳輸功率；
7、ofdm接收機接收圖像后，通過ocr和場景文本檢測模型來檢測并識別圖像中的文本，計算文本級別置信度；
8、基于文本級別置信度設計損失函數，對關鍵的文本語義特征進行保護。
9、進一步的，通過一權重分配網絡對信源編碼后的碼字進行權重分配包括：對于信源編碼后得到的一組碼字通過權重分配網絡對其進行權重分配。具體地，通過權重分配網絡生成的權重矩陣與碼字y逐元素相乘實現權重分配；其中，權重矩陣表示為w＝[w1,w2,…,wn]，該權重矩陣與碼字y逐元素相乘得到符號序列符號序列即為最終要發送到信道上的ofdm符號，ofdm發射機會將映射到多個子載波上，通過并行傳輸來提高帶寬利用率和抗干擾能力。
10、進一步的，對于所述的權重分配網絡，其訓練過程包括：將信源編碼后的碼字y和信道頻率響應h作為權重分配網絡的輸入，經過訓練后生成用于權重分類的權重矩陣w，其中，權重矩陣w與y具有相同的形狀，即y的每一個碼字均對應有一個權重。
11、進一步的，權重分配網絡包括兩個卷積層、兩個批歸一化層和一個激relu層。
12、該網絡中，輸入數據通過第一卷積層進行特征提取，產生一組特征圖：
13、y1＝w1*x+b1
14、式中，w1表示卷積核，“*”表示卷積操作，x表示輸入數據，b1表示偏置；
15、這些特征圖經過第一批歸一化層以標準化特征圖數據：
16、
17、式中，μ和σ表示小批量數據的均值和方差，γ和β表示可學習參數；
18、標準化后的特征圖通過relu層應用非線性變換：
19、y3＝max(0,y2)
20、非線性變換后的特征圖通過第二卷積層進一步提取特征：
21、y4＝w2*y3+b2
22、式中，w2表示卷積核，b2表示偏置；
23、這些特征圖再次經過第二批歸一化層進行標準化處理：
24、
25、式中，μ'和σ'表示小批量數據的均值和方差，γ'和β'表示可學習參數。
26、進一步的，通過ocr和場景文本檢測模型來檢測并識別圖像中的文本，計算文本級別置信度包括：對接收的圖像進行預處理，然后通過db檢測模型檢測圖像中的文本區域；其中，通過本文檔來自技高網...
【技術保護點】
1.一種基于語義通信的屏幕內容圖像傳輸方法，其特征在于，該方法包括：
2.根據權利要求1所述的方法，其特征在于：通過一權重分配網絡對信源編碼后的碼字進行權重分配包括，對于信源編碼后得到的碼字通過所述權重分配網絡對其進行權重分配，其中，通過所述權重分配網絡生成的權重矩陣與碼字Y逐元素相乘實現權重分配；所述權重矩陣表示為該權重矩陣與碼字Y逐元素相乘得到符號序列
3.根據權利要求1或2所述的方法，其特征在于：將信源編碼后的碼字Y和信道頻率響應H作為所述權重分配網絡的輸入，經過訓練后生成用于權重分類的權重矩陣W，其中，所述權重矩陣W與Y具有相同的形狀，即Y的每一個碼字均對應有一個權重。
4.根據權利要求3所述的方法，其特征在于：所述權重分配網絡包括兩個卷積層、兩個批歸一化層和一個激ReLU層；
5.根據權利要求1所述的方法，其特征在于：通過OCR和場景文本檢測模型來檢測并識別圖像中的文本，計算文本級別置信度包括：對接收的圖像進行預處理，然后通過DB檢測模型檢測圖像中的文本區域；其中，通過TextRegion(·)函數對圖像的文本區域進行檢測
6.根據權利要求1或5所述的方法，其特征在于：根據計算出的文本級別置信度confidence構建文本損失：
...【技術特征摘要】
1.一種基于語義通信的屏幕內容圖像傳輸方法，其特征在于，該方法包括：
2.根據權利要求1所述的方法，其特征在于：通過一權重分配網絡對信源編碼后的碼字進行權重分配包括，對于信源編碼后得到的碼字通過所述權重分配網絡對其進行權重分配，其中，通過所述權重分配網絡生成的權重矩陣與碼字y逐元素相乘實現權重分配；所述權重矩陣表示為該權重矩陣與碼字y逐元素相乘得到符號序列
3.根據權利要求1或2所述的方法，其特征在于：將信源編碼后的碼字y和信道頻率響應h作為所述權重分配網絡的輸入，經過訓練后生成用于權重分類的權重矩陣w，其中，所述權重矩陣w與y具有相同的形狀，即y的...
【專利技術屬性】
技術研發人員：祝志遠，李杰，唐桐，呂翊，王汝言，吳大鵬，
申請(專利權)人：重慶郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。