【技術實現步驟摘要】
本申請涉及圖像處理，尤其涉及圖像信號處理方法、裝置、設備及計算機可讀存儲介質。
技術介紹
1、圖像信號處理（image?signal?process，isp）通過一系列圖像處理模塊串聯而成的流水結構，負責對圖像傳感器的輸出信號進行優化。傳統的isp技術受限于圖像質量和調整isp以生成高質量結果的困難性。
2、近年來，一些基于人工智能（artificial?intelligence，簡稱ai）的isp已經被提出。而人工智能的發展促進深度學習替代傳統isp的整體流程或者部分模塊功能，突破了傳統isp技術的“天花板”。深度學習的進步給傳統isp的許多圖像處理方法帶來了最先進的新方法，例如圖像降噪和圖像增強。
3、然而，現有的ai-isp（即基于人工智能的圖像信號處理）技術中各個基于深度學習的功能單元（例如圖像降噪、色調映射、圖像增強等功能單元）相互獨立，從而導致整體神經網絡結構十分龐大，大量的計算和內存資源需求使其在硬件資源有限的電子設備中部署受限。
技術實現思路
1、本申請的主要目的在于提供一種圖像信號處理方法、裝置、設備及計算機可讀存儲介質，旨在解決目前ai-isp的神經網絡結構龐大，對算力資源的需求大的技術問題。
2、為實現上述目的，本申請提供一種圖像信號處理裝置，包括：
3、前端主干網絡模塊，設置為獲取第一圖像，對所述第一圖像進行特征提取，得到共享特征參數；
4、核心網絡模塊，設置為將所述共享特征參數輸入至多個預設的子任
5、后端主干網絡模塊，設置為根據所述目標特征參數進行圖像構建，構建得到第二圖像進行輸出，其中，所述第二圖像的質量高于所述第一圖像。
6、在一些實施例中，所述前端主干網絡模塊包括預設數量個不同尺度的特征提取網絡層，所述特征提取網絡層設置為獲取第一圖像，對所述第一圖像進行多通道的特征提取，得到多尺度的共享特征參數；
7、所述核心網絡模塊包括與各特征提取網絡層一一對應連接的特征處理網絡層，每個特征處理網絡層包括多個子任務功能單元，所述特征處理網絡層設置為將多尺度的共享特征參數輸入至各個子任務功能單元進行多通道的多任務聯合處理，得到多尺度的目標特征參數；
8、所述后端主干網絡模塊包括與各特征處理網絡層一一對應連接的圖像恢復網絡層，所述圖像恢復網絡層設置為將多尺度的目標特征參數進行特征融合，得到融合特征參數，并根據所述融合特征參數進行圖像構建，構建得到第二圖像進行輸出。
9、在一些實施例中，所述子任務功能單元的種類包括圖像降噪單元和圖像增強單元，其中，每個特征處理網絡層包括依次連接的所述圖像降噪單元和所述圖像增強單元。
10、在一些實施例中，所述圖像信號處理裝置還包括訓練模塊，所述訓練模塊設置為：
11、獲取第一訓練數據，其中，所述第一訓練數據包括第一噪聲的第三圖像和從所述第三圖像獲得第二噪聲的第四圖像，所述第二噪聲大于所述第一噪聲；
12、利用所述第一訓練數據對第一訓練鏈路中的圖像降噪單元進行訓練，以對所述圖像降噪單元中進行降噪任務處理的第一誤差函數進行監督學習，直至所述第一誤差函數收斂，得到訓練完成的圖像降噪單元，其中，所述第一訓練鏈路為依次連接的前端主干網絡模塊、圖像降噪單元和后端主干網絡模塊；
13、在圖像降噪單元訓練完成后，將所述第一誤差函數進行固定，并獲取第二訓練數據，其中，所述第二訓練數據包括第一分辨率的第五圖像和從所述第五圖像獲得第二分辨率的第六圖像，所述第一分辨率大于所述第二分辨率；
14、利用所述第二訓練數據對第二訓練鏈路中的圖像增強單元進行訓練，以對所述圖像增強單元中進行增強任務處理的第二誤差函數進行監督學習，直至所述第二誤差函數收斂，得到訓練完成的圖像增強單元，其中，所述第二訓練鏈路為依次連接的前端主干網絡模塊、圖像降噪單元、圖像增強單元和后端主干網絡模塊。
15、在一些實施例中，所述子任務功能單元的種類還包括色調映射單元，其中，每個特征處理網絡層包括依次連接的所述圖像降噪單元、所述圖像增強單元和所述色調映射單元。
16、此外，為實現上述目的，本申請還提供一種圖像信號處理方法，包括：
17、獲取第一圖像，對所述第一圖像進行特征提取，得到共享特征參數；
18、將所述共享特征參數輸入至多個預設的子任務功能單元進行多任務聯合處理，得到目標特征參數，其中，所述共享特征參數為各個子任務功能單元之間具有任務相關性的特征參數；
19、根據所述目標特征參數進行圖像構建，構建得到第二圖像進行輸出，其中，所述第二圖像的質量高于所述第一圖像。
20、在一些實施例中，所述方法還包括：
21、獲取第一圖像，對所述第一圖像進行多通道的特征提取，得到多尺度的共享特征參數；
22、將多尺度的共享特征參數輸入至各個子任務功能單元進行多通道的多任務聯合處理，得到多尺度的目標特征參數；
23、將多尺度的目標特征參數進行特征融合，得到融合特征參數，并根據所述融合特征參數進行圖像構建，構建得到第二圖像進行輸出。
24、在一些實施例中，所述子任務功能單元的種類包括圖像降噪單元和圖像增強單元，所述將所述共享特征參數輸入至多個預設的子任務功能單元進行多任務聯合處理，得到目標特征參數的步驟包括：
25、將所述共享特征參數輸入至依次連接的圖像降噪單元和圖像增強單元以進行多任務聯合處理，得到目標特征參數。
26、在一些實施例中，所述方法還包括：
27、獲取第一訓練數據，其中，所述第一訓練數據包括第一噪聲的第三圖像和從所述第三圖像獲得第二噪聲的第四圖像，所述第二噪聲大于所述第一噪聲；
28、利用所述第一訓練數據對圖像降噪單元進行訓練，以對所述圖像降噪單元中進行降噪任務處理的第一誤差函數進行監督學習，直至所述第一誤差函數收斂，得到訓練完成的圖像降噪單元；
29、在圖像降噪單元訓練完成后，將所述第一誤差函數進行固定，并獲取第二訓練數據，其中，所述第二訓練數據包括第一分辨率的第五圖像和從所述第五圖像獲得第二分辨率的第六圖像，所述第一分辨率大于所述第二分辨率；
30、利用所述第二訓練數據對圖像增強單元進行訓練，以對所述圖像增強單元中進行增強任務處理的第二誤差函數進行監督學習，直至所述第二誤差函數收斂，得到訓練完成的圖像增強單元。
31、在一些實施例中，所述子任務功能單元的種類還包括色調映射單元，所述將所述共享特征參數輸入至多個預設的子任務功能單元進行多任務聯合處理，得到目標特征參數的步驟包括：
32、將所述共享特征參數輸入至依次連接的圖像降噪單元、圖像增強單元和色調映射單元以進行多任務聯合處理，得到目標特征參數。
33、本文檔來自技高網...
【技術保護點】
1.一種圖像信號處理裝置，其特征在于，包括：
2.如權利要求1所述的圖像信號處理裝置，其特征在于，所述前端主干網絡模塊包括預設數量個不同尺度的特征提取網絡層，所述特征提取網絡層設置為獲取第一圖像，對所述第一圖像進行多通道的特征提取，得到多尺度的共享特征參數；
3.如權利要求1所述的圖像信號處理裝置，其特征在于，所述子任務功能單元的種類包括圖像降噪單元和圖像增強單元，其中，每個特征處理網絡層包括依次連接的所述圖像降噪單元和所述圖像增強單元。
4.如權利要求3所述的圖像信號處理裝置，其特征在于，所述圖像信號處理裝置還包括訓練模塊，所述訓練模塊設置為：
5.如權利要求4所述的圖像信號處理裝置，其特征在于，所述子任務功能單元的種類還包括色調映射單元，其中，每個特征處理網絡層包括依次連接的所述圖像降噪單元、所述圖像增強單元和所述色調映射單元。
6.一種圖像信號處理方法，其特征在于，包括：
7.如權利要求6所述的圖像信號處理方法，其特征在于，所述方法還包括：
8.如權利要求6所述的圖像信號處理方法，其特征在于
9.如權利要求8所述的圖像信號處理方法，其特征在于，所述方法還包括：
10.如權利要求9所述的圖像信號處理方法，其特征在于，所述子任務功能單元的種類還包括色調映射單元，所述將所述共享特征參數輸入至多個預設的子任務功能單元進行多任務聯合處理，得到目標特征參數的步驟包括：
11.如權利要求10所述的圖像信號處理方法，其特征在于，在所述得到訓練完成的圖像增強單元的步驟之后，所述方法還包括：
12.一種圖像信號處理設備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的圖像信號處理程序，所述圖像信號處理程序被所述處理器執行時實現如權利要求6至11中任一項所述的圖像信號處理方法。
13.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有圖像信號處理程序，所述圖像信號處理程序被處理器執行時實現如權利要求6至11中任一項所述的圖像信號處理方法。
...【技術特征摘要】
1.一種圖像信號處理裝置，其特征在于，包括：
2.如權利要求1所述的圖像信號處理裝置，其特征在于，所述前端主干網絡模塊包括預設數量個不同尺度的特征提取網絡層，所述特征提取網絡層設置為獲取第一圖像，對所述第一圖像進行多通道的特征提取，得到多尺度的共享特征參數；
3.如權利要求1所述的圖像信號處理裝置，其特征在于，所述子任務功能單元的種類包括圖像降噪單元和圖像增強單元，其中，每個特征處理網絡層包括依次連接的所述圖像降噪單元和所述圖像增強單元。
4.如權利要求3所述的圖像信號處理裝置，其特征在于，所述圖像信號處理裝置還包括訓練模塊，所述訓練模塊設置為：
5.如權利要求4所述的圖像信號處理裝置，其特征在于，所述子任務功能單元的種類還包括色調映射單元，其中，每個特征處理網絡層包括依次連接的所述圖像降噪單元、所述圖像增強單元和所述色調映射單元。
6.一種圖像信號處理方法，其特征在于，包括：
7.如權利要求6所述的圖像信號處理方法，其特征在于，所述方法還包括：
8.如權利要求6所述的圖像信號處理方法，其特征在于，所...
【專利技術屬性】
技術研發人員：張旭，徐科，孔德輝，
申請(專利權)人：深圳市中興微電子技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。