【技術實現步驟摘要】
本公開涉及例如在諸如神經網絡加速器的推斷裝置上的圖像信號處理。
技術介紹
1、可以由圖像信號處理器(下文稱為isp)執行的圖像信號處理是修改表示由相機捕獲的圖像的原始圖像數據的過程。isp可以專門用于產生供人類用戶消耗的圖像。或者，isp可以專門用于處理供計算機視覺算法消耗的圖像，或者它可以輸出多個圖像以用于各種計算機視覺算法和/或人類觀察。原始圖像的處理通常涉及執行許多任務，例如對圖像進行去噪、去馬賽克、銳化和色彩校正，然而此列表并非詳盡無遺。可以根據反轉由相機執行的圖像捕獲過程(或反轉圖像捕獲過程的相應特定方面)來考慮isp(或由isp執行的特定圖像處理函數)。在一些情況下，isp可能不完全反轉圖像捕獲過程。例如，當用于計算機視覺算法輸入時，通常不需要色彩校正，因此isp流水線可以省略此圖像處理函數。
2、isp最常使用流式傳輸(通常基于行存儲(linestore-based))架構實現為專用硅硬件，所述流式傳輸架構包括定義明確、手動工程化的固定功能模塊的流水線。每個模塊可以在硬件中配置成用于執行特定圖像處理函數，例如去噪、去馬賽克、銳化、色彩校正等。這些圖像處理函數可以被視為由isp執行的任務。然而，將定義明確、手動工程化的固定功能模塊的流水線實現為isp的模塊的工程化isp產生兩個顯著的隱藏成本。第一成本來自調整控制各個模塊的行為的參數的過程。此調整是通常手動或半手動執行的費力且耗時的過程。第二成本是工程模塊在固定功能硬件中實現的過程，這使得開發、調試和更改的成本很高，原因是(i)在算法設計期間必須考慮硬件實
3、wo?2022193514?a1公開了端對端可微分機器視覺系統、訓練方法和處理器可讀介質。可以使用機器學習技術訓練可微分圖像信號處理器(isp)，以將從新傳感器接收到的原始圖像調適成與先前用于訓練感知模塊的圖像相同類型(即，在同一視覺域中)的調適圖像，而不微調感知模塊本身。
技術實現思路
1、提供本
技術實現思路
是為了以簡化形式介紹下文在具體實施方式中進一步描述的一系列概念。本
技術實現思路
不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用以限制所要求保護的主題的范圍。
2、根據本公開的第一方面，提供了一種用于訓練圖像信號處理器的可微分模型的訓練設備，所述圖像信號處理器具有單獨的圖像信號處理函數的流水線，其中所述圖像信號處理器的可微分模型包括至少兩個可微分模塊，所述圖像信號處理器的可微分模型的可微分模塊中的每個可微分模塊被配置成執行所述流水線的相應單個圖像信號處理函數，所述訓練設備包括一個或多個處理器，所述一個或多個處理器被配置成：接收參考圖像；以及通過迭代地進行以下操作來訓練所述圖像信號處理器的可微分模型的第一可微分模塊以執行第一圖像信號處理函數，同時不訓練所述圖像信號處理器的可微分模型的其他可微分模塊：向所述圖像信號處理器的可微分模型輸入表示所述參考圖像的已知退化的退化圖像信號，所述退化與所述第一圖像信號處理函數有關；使用所述圖像信號處理器的可微分模型處理所述退化圖像信號以產生第一經處理圖像，所述處理包括使用所述第一可微分模塊執行所述第一圖像信號處理函數；通過將所述第一經處理圖像與所述參考圖像進行比較來計算所述第一經處理圖像與所述參考圖像之間的誤差；以及基于所計算的誤差更新由所述第一可微分模塊執行的第一圖像處理函數，而不更新由所述圖像信號處理器的可微分模型的其他可微分模塊執行的圖像處理函數。
3、上文描述的訓練設備，其中所述第一可微分模塊可以包括被配置成執行基礎圖像處理函數和/或細化函數的邏輯，并且其中所述一個或多個處理器還可以被配置成：作為更新所述第一圖像處理函數的一部分，基于所計算的誤差更新所述細化函數和/或基礎圖像處理函數的參數。
4、上文描述的訓練設備，其中所述一個或多個處理器還可以被配置成基于至少一個第一預設學習速率每次迭代將所述第一圖像處理函數的一個或多個參數更新第一量。
5、上文描述的訓練設備，其中所述一個或多個處理器還可以被配置成訓練所述圖像信號處理器的可微分模型的第二可微分模塊以執行不同于所述第一圖像信號處理函數的第二圖像信號處理函數，同時不訓練所述圖像信號處理器的可微分模型的其他可微分模塊，所述一個或多個處理器可以被配置成通過迭代地進行以下操作來訓練所述第二可微分模塊：向所述圖像信號處理器的可微分模型輸入可以表示所述參考圖像的第二已知退化的第二退化圖像信號；使用所述圖像信號處理器的可微分模型處理所述第二退化圖像信號以產生第二經處理圖像，所述處理可以包括使用所述第二可微分模塊來執行所述第二圖像信號處理函數；通過將所述第二經處理圖像與所述參考圖像進行比較來計算所述第二經處理圖像與所述參考圖像之間的誤差；以及基于所計算的誤差更新由所述第二可微分模塊執行的第二圖像處理函數，而不更新由所述圖像信號處理器的可微分模型的其他可微分模塊執行的圖像處理函數。
6、上文描述的訓練設備，其中在所述至少兩個可微分模塊中的每個可微分模塊已被獨立地訓練之后，所述一個或多個處理器可以被配置成通過以下操作同時訓練兩個可微分模塊：接收參考圖像，以及迭代地：向所述第一可微分模塊輸入可以表示所述參考圖像的第三已知退化的第三退化圖像信號；使用所述第一可微分模塊通過執行所述第一圖像信號處理函數來處理所述第三退化圖像信號以產生經部分處理圖像信號；向所述第二可微分模塊輸入所述經部分處理圖像信號；使用所述第二可微分模塊通過執行所述第二圖像信號處理函數來處理所述經部分處理圖像信號以產生第三經處理圖像；通過將所述第三經處理圖像與所述參考圖像進行比較來計算所述第三經處理圖像與所述參考圖像之間的誤差；以及基于所計算的誤差更新由相應的第一可微分模塊和/或第二可微分模塊執行的第一圖像處理函數和/或第二圖像處理函數。
7、上文描述的訓練設備，其中所述一個或多個處理器可以被配置成基于小于所述第一預設學習速率的至少一個第二預設學習速率，每次迭代將所述第一圖像處理函數和/或所述第二圖像處理函數的一個或多個參數更新第二量。
8、上文描述的訓練設備，其中所述一個或多個處理器還可以被配置成固定在訓練所述第一或另一可微分模塊中的另一個時未被訓練的所述第一可微分模塊或所述第二可微分模塊的參數。
9、上文描述的訓練設備，其中所述一個或多個處理器可以被配置成使用基于通過誤差的反向傳播的梯度下降的數值優化器來訓練所述第二可微分模塊。
10、上文描述的訓練設備，其中所述一個或多個處理器可以被配置成使用基于通過誤差的反向傳播的梯度下降的數值優化器來訓練所述第一可微分模塊。
11、上文描述的訓練設備，其中所述至少兩個可微分模塊可以是去馬賽克模塊、銳化器模塊、黑電平減法模塊、空間去噪器模塊、全局色調映射模塊、通道增益模塊、自動白平衡或色彩校正模塊中的任兩者。
12、上文描本文檔來自技高網...
【技術保護點】
1.一種用于訓練圖像信號處理器的可微分模型的訓練設備，所述圖像信號處理器具有單獨的圖像信號處理函數的流水線，其中所述圖像信號處理器的可微分模型包括至少兩個可微分模塊，所述圖像信號處理器的可微分模型的可微分模塊中的每個可微分模塊被配置成執行所述流水線的相應單個圖像信號處理函數，所述訓練設備包括一個或多個處理器，所述一個或多個處理器被配置成：
2.根據權利要求1所述的訓練設備，其中所述第一可微分模塊包括被配置成執行基礎圖像處理函數和/或細化函數的邏輯，并且其中所述一個或多個處理器還被配置成：
3.根據權利要求1或2所述的訓練設備，其中所述一個或多個處理器還被配置成基于至少一個第一預設學習速率每次迭代將所述第一圖像處理函數的一個或多個參數更新第一量。
4.根據權利要求1或2所述的訓練設備，其中所述一個或多個處理器還被配置成訓練所述圖像信號處理器的可微分模型的第二可微分模塊以執行不同于所述第一圖像信號處理函數的第二圖像信號處理函數，同時不訓練所述圖像信號處理器的可微分模型的其他可微分模塊，所述一個或多個處理器被配置成通過迭代地進行以下操作來訓練所述第二
5.根據權利要求4所述的訓練設備，其中在所述至少兩個可微分模塊中的每個可微分模塊已被獨立地訓練之后，所述一個或多個處理器被配置成通過以下操作同時訓練兩個可微分模塊，
6.根據權利要求4所述的訓練設備，其中所述一個或多個處理器還被配置成固定在訓練所述第一或另一可微分模塊中的另一個時未被訓練的所述第一可微分模塊或所述第二可微分模塊的參數。
7.根據權利要求4所述的訓練設備，其中所述一個或多個處理器被配置成使用基于通過誤差的反向傳播的梯度下降的數值優化器來訓練所述第一可微分模塊和/或所述第二可微分模塊。
8.根據權利要求1或2所述的訓練設備，其中所述至少兩個可微分模塊是去馬賽克模塊、銳化器模塊、黑電平減法模塊、空間去噪器模塊、全局色調映射模塊、通道增益模塊、自動白平衡或色彩校正模塊中的任兩者。
9.根據權利要求1或2所述的訓練設備，其中所述一個或多個處理器還被配置成當所計算的誤差小于閾值時停止迭代過程。
10.根據權利要求1或2所述的訓練設備，其中表示所述參考圖像的已知退化的退化圖像信號表示由基于物理圖像捕獲設備的特性的模塊化捕獲模型產生的退化。
11.一種用于訓練圖像信號處理器的可微分模型的訓練方法，所述圖像信號處理器具有單獨的圖像信號處理函數的流水線，其中所述圖像信號處理器的可微分模型包括至少兩個可微分模塊，所述圖像信號處理器的可微分模型的可微分模塊中的每個可微分模塊被配置成執行所述流水線的相應單個圖像信號處理函數，所述訓練方法包括：
12.根據權利要求11所述的訓練方法，其中所述第一可微分模塊包括被配置成執行基礎圖像處理函數和細化函數的邏輯，所述方法還包括：
13.根據權利要求11或12所述的訓練方法，其中所述更新所述第一圖像處理函數包括基于至少一個第一預設學習速率每次迭代將所述第一圖像處理函數的一個或多個參數更新第一量。
14.根據權利要求11或12所述的訓練方法，其中所述方法還包括通過迭代地進行以下操作來訓練所述圖像信號處理器的可微分模型的第二可微分模塊以執行不同于所述第一圖像信號處理函數的第二圖像信號處理函數，同時不訓練所述圖像信號處理器的可微分模型的其他可微分模塊：
15.根據權利要求14所述的訓練方法，其中在所述至少兩個可微分模塊中的每個可微分模塊已被獨立地訓練之后，所述方法還包括通過以下操作同時訓練兩個可微分模塊，
16.根據權利要求14所述的訓練方法，其中所述訓練方法還包括固定在訓練所述第一可微分模塊或所述第二可微分模塊中的另一個時未被訓練的所述第一可微分模塊或所述第二可微分模塊的參數。
17.根據權利要求14所述的訓練方法，其中使用基于通過誤差的反向傳播的梯度下降的數值優化器來訓練所述第一可微分模塊和/或所述第二可微分模塊。
18.根據權利要求11或12所述的訓練方法，其中所述至少兩個可微分模塊是去馬賽克模塊、銳化器模塊、黑電平減法模塊、空間去噪器模塊、全局色調映射模塊、通道增益模塊、自動白平衡或色彩校正模塊中的任兩者。
19.根據權利要求11或12所述的訓練方法，其中所述方法還包括當所計算的誤差小于閾值時停止迭代過程。
20.一種集成電路定義數據集，所述集成電路定義數據集當在集成電路制造系統中被處理時將所述集成電路制造系統配置成制造根據權利要求1或2所述的訓練設備。
...【技術特征摘要】
1.一種用于訓練圖像信號處理器的可微分模型的訓練設備，所述圖像信號處理器具有單獨的圖像信號處理函數的流水線，其中所述圖像信號處理器的可微分模型包括至少兩個可微分模塊，所述圖像信號處理器的可微分模型的可微分模塊中的每個可微分模塊被配置成執行所述流水線的相應單個圖像信號處理函數，所述訓練設備包括一個或多個處理器，所述一個或多個處理器被配置成：
2.根據權利要求1所述的訓練設備，其中所述第一可微分模塊包括被配置成執行基礎圖像處理函數和/或細化函數的邏輯，并且其中所述一個或多個處理器還被配置成：
3.根據權利要求1或2所述的訓練設備，其中所述一個或多個處理器還被配置成基于至少一個第一預設學習速率每次迭代將所述第一圖像處理函數的一個或多個參數更新第一量。
4.根據權利要求1或2所述的訓練設備，其中所述一個或多個處理器還被配置成訓練所述圖像信號處理器的可微分模型的第二可微分模塊以執行不同于所述第一圖像信號處理函數的第二圖像信號處理函數，同時不訓練所述圖像信號處理器的可微分模型的其他可微分模塊，所述一個或多個處理器被配置成通過迭代地進行以下操作來訓練所述第二可微分模塊：
5.根據權利要求4所述的訓練設備，其中在所述至少兩個可微分模塊中的每個可微分模塊已被獨立地訓練之后，所述一個或多個處理器被配置成通過以下操作同時訓練兩個可微分模塊，
6.根據權利要求4所述的訓練設備，其中所述一個或多個處理器還被配置成固定在訓練所述第一或另一可微分模塊中的另一個時未被訓練的所述第一可微分模塊或所述第二可微分模塊的參數。
7.根據權利要求4所述的訓練設備，其中所述一個或多個處理器被配置成使用基于通過誤差的反向傳播的梯度下降的數值優化器來訓練所述第一可微分模塊和/或所述第二可微分模塊。
8.根據權利要求1或2所述的訓練設備，其中所述至少兩個可微分模塊是去馬賽克模塊、銳化器模塊、黑電平減法模塊、空間去噪器模塊、全局色調映射模塊、通道增益模塊、自動白平衡或色彩校正模塊中的任兩者。
9.根據權利要求1或2所述的訓練設備，其中所述一個或多個處理器還被配置成當所計算的誤差小于閾值時停止迭代過程。
10.根據權利要求1或2所述的訓練設備，其中表示所述參考圖像的已知退化的退化...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。