【技術實現步驟摘要】
本申請涉及圖像壓縮，更具體地，涉及一種語義信息輔助的任務導向圖像壓縮方法、系統及設備。
技術介紹
1、無人機通常利用航空相機和遙感系統進行各種場景的圖像采集，在航拍過程中，無人機必須將圖像數據實時轉發給控制端進行分析和監視。然而，隨著空中覆蓋范圍的擴大以及圖像質量和精度的提高，圖像數據量急劇增加。
2、為了解決無人機通信中帶寬有限的問題，適用于無人機通信的圖像壓縮算法應運而生，通過實時圖像壓縮，大大減小了數據量，降低了對無線通信帶寬的需求。傳統的圖像壓縮算法，例如jpeg和jpeg2000，由于無法獲取圖像中更深層的語義信息，已經達到了性能瓶頸。此外，高分辨率的圖像傳感器的廣泛應用要求在不影響圖像重建質量的前提下獲得較高的壓縮比。
3、傳統的圖像壓縮方法通常以實現像素級的一致性為目標，而沒有關注到后續任務的性能。以無人機航拍為例，回傳的圖像往往用于目標檢測、圖像分類等智能任務。在高壓縮率下，傳統壓縮方案可能會出現圖像結構、顏色的失真，極有可能導致后續任務性能的急劇下降。因此，傳統的圖像壓縮算法難以滿足無人機圖像的處理需求，這對無人機通信提出了挑戰。
4、近年來，隨著人工智能和計算機硬件的發展，提出了語義分割算法，可以通過分析圖像內部的各種語義特征如對象、背景、關系信息等，提取語義信息。基于語義信息對圖像中不同區域進行不同壓縮率的處理，可以有效保留圖像中任務相關的語義信息，實現語義級的圖像一致性，可以有效地保證后續任務的效率。因此，有潛力解決無人機無線通信系統中可用通信帶寬受限條件下的高質量圖像
5、但是，這種基于智能算法的圖像語義通信方法仍然存在以下缺陷：無法滿足動態變化的任務需求，比如，無人機航拍任務的具體需求(關注的目標)可能會隨著航拍進程而改變，即任務需求是動態變化的，可能導致圖像語義通信方法無法正確傳輸與新任務需求相關的信息。
技術實現思路
1、為了解決無人機通信中帶寬有限的問題，本專利技術提供了一種語義信息輔助的任務導向圖像壓縮方法、系統及設備，在保留原始圖像的關鍵語義的同時提高圖像壓縮率，在任務需求是動態變化時也能夠正確傳輸與新的任務需求相關的信息。
2、為實現上述目的，按照本專利技術的第一個方面，提供了一種語義信息輔助的任務導向圖像壓縮方法，該方法包括：
3、根據任務知識庫，對原始圖像進行語義分割，得到若干任務相關信息單元和背景信息單元，任務知識庫包括任務背景、任務名稱、任務需求和任務相關性分數；
4、根據每個任務相關信息單元的任務相關性分數和數據大小，計算各任務相關信息單元的權重；
5、根據各任務相關信息單元的權重，對各任務相關信息單元和背景信息單元進行帶寬分配；
6、根據帶寬分配結果，對各任務相關信息單元和背景信息單元進行圖像壓縮，得到多尺度壓縮圖像。
7、進一步地，根據各任務相關信息單元的權重，對各任務相關信息單元和背景信息單元進行帶寬分配，包括將信號傳輸總帶寬的預設比例，分配給背景信息單元；根據各任務相關信息單元的權重，將除預設比例之外的剩余比例的信號傳輸總帶寬，分配給各任務相關信息單元。
8、進一步地，根據各任務相關信息單元的權重，將除預設比例之外的剩余比例的信號傳輸總帶寬，分配給各任務相關信息單元，包括計算各任務相關信息單元的權重與剩余比例的信號傳輸總帶寬的乘積，得到各任務相關信息單元的帶寬；在各任務相關信息單元的帶寬不小于其數據大小的情況下，保持任務相關信息單元的帶寬不變；在各任務相關信息單元的帶寬小于其數據大小的情況下，將任務相關信息單元的數據大小與其帶寬的差值，分配給背景信息單元。
9、進一步地，根據每個任務相關信息單元的任務相關性分數和數據大小，計算各任務相關信息單元的權重，包括計算每個任務相關信息單元的任務相關性分數和數據大小的乘積；計算每個任務相關信息單元的乘積與若干乘積的和的比值，得到每個任務相關信息單元的權重。
10、進一步地，根據任務知識庫，對原始圖像進行語義分割，得到若干任務相關信息單元和背景信息單元，包括通過圖像語義分割模型，根據任務知識庫提供的任務需求，對原始圖像進行語義分割，將原始圖像解構為若干任務相關信息單元和背景信息單元。
11、進一步地，圖像語義分割模型由yolo-world算法和segment?anything?model算法聯合組成，通過圖像語義分割模型，根據任務知識庫提供的任務需求，對原始圖像進行語義分割，將原始圖像解構為若干任務相關信息單元和背景信息單元，包括將領域知識庫作為yolo-world算法的訓練集，對yolo-world算法進行訓練，領域知識庫包括屬于不同領域的、標注類別標簽后的圖像數據；通過訓練好的yolo-world算法，根據任務知識庫提供的任務需求，對原始圖像進行目標檢測，獲取檢測結果，檢測結果包括任務相關的目標區域；通過segment?anything?model算法，將目標區域中的目標分割成獨立的信息單元，得到若干任務相關信息單元；將原始圖像中除若干任務相關信息單元之外的部分作為背景信息單元。
12、進一步地，根據帶寬分配結果，對各任務相關信息單元和背景信息單元進行圖像壓縮，得到多尺度壓縮圖像，包括通過圖像壓縮算法，根據帶寬分配結果，對各任務相關信息單元和背景信息單元采用不同壓縮率進行圖像壓縮，得到多尺度壓縮圖像。
13、按照本專利技術的第二個方面，還提供了一種語義信息輔助的任務導向圖像壓縮系統，包括：
14、語義分割模塊，用于根據任務知識庫，對原始圖像進行語義分割，得到若干任務相關信息單元和背景信息單元，任務知識庫包括任務背景、任務名稱、任務需求和任務相關性分數；
15、權重計算模塊，用于根據每個任務相關信息單元的任務相關性分數和數據大小，計算各任務相關信息單元的權重；
16、帶寬分配模塊，用于根據各任務相關信息單元的權重，對各任務相關信息單元和背景信息單元進行帶寬分配；
17、圖像壓縮模塊，用于根據帶寬分配結果，對各任務相關信息單元和背景信息單元進行圖像壓縮，得到多尺度壓縮圖像。
18、按照本專利技術的第三個方面，還提供了一種語義信息輔助的任務導向圖像壓縮設備，其包括存儲器、處理器及存儲在該存儲器上的計算機程序，該處理器執行該計算機程序以實現上述任一項方法的步驟。
19、按照本專利技術的第四個方面，還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現上述任一項方法的步驟。
20、總體而言，通過本專利技術所構思的以上技術方案與現有技術相比，能夠取得下列有益效果：
21、本專利技術提供的一種語義信息輔助的任務導向圖像壓縮方法，通過建立任務知識庫，在圖像壓縮中嵌入任務需求；根據任務需求，對原始圖像進行語義分割，得本文檔來自技高網...
【技術保護點】
1.一種語義信息輔助的任務導向圖像壓縮方法，其特征在于，包括：
2.如權利要求1所述的方法，其特征在于，所述根據所述各任務相關信息單元的權重，對各任務相關信息單元和背景信息單元進行帶寬分配，包括：
3.如權利要求2所述的方法，其特征在于，所述根據所述各任務相關信息單元的權重，將除預設比例之外的剩余比例的所述信號傳輸總帶寬，分配給各任務相關信息單元，包括：
4.如權利要求1所述的方法，其特征在于，所述根據每個任務相關信息單元的任務相關性分數和數據大小，計算各任務相關信息單元的權重，包括：
5.如權利要求1所述的方法，其特征在于，所述根據任務知識庫，對原始圖像進行語義分割，得到若干任務相關信息單元和背景信息單元，包括：
6.如權利要求5所述的方法，其特征在于，所述圖像語義分割模型由Yolo-World算法和Segment?Anything?Model算法聯合組成，所述通過圖像語義分割模型，根據任務知識庫提供的任務需求，對原始圖像進行語義分割，將原始圖像解構為若干任務相關信息單元和背景信息單元，包括：
7.如權利要
8.一種語義信息輔助的任務導向圖像壓縮系統，其特征在于，包括：
9.一種語義信息輔助的任務導向圖像壓縮設備，其特征在于，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執行所述計算機程序以實現權利要求1-7中任一項所述方法的步驟。
10.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，所述計算機程序被處理器執行時實現權利要求1-7中任一項所述方法的步驟。
...【技術特征摘要】
1.一種語義信息輔助的任務導向圖像壓縮方法，其特征在于，包括：
2.如權利要求1所述的方法，其特征在于，所述根據所述各任務相關信息單元的權重，對各任務相關信息單元和背景信息單元進行帶寬分配，包括：
3.如權利要求2所述的方法，其特征在于，所述根據所述各任務相關信息單元的權重，將除預設比例之外的剩余比例的所述信號傳輸總帶寬，分配給各任務相關信息單元，包括：
4.如權利要求1所述的方法，其特征在于，所述根據每個任務相關信息單元的任務相關性分數和數據大小，計算各任務相關信息單元的權重，包括：
5.如權利要求1所述的方法，其特征在于，所述根據任務知識庫，對原始圖像進行語義分割，得到若干任務相關信息單元和背景信息單元，包括：
6.如權利要求5所述的方法，其特征在于，所述圖像語義分割模型由yolo-world...
【專利技術屬性】
技術研發人員：楊君剛，郭暢，惠軍華，何占豪，劉嘉琦，黃潮欽，
申請(專利權)人：中國人民解放軍國防科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。