【技術實現步驟摘要】
本公開大體上涉及數據處理，例如，數字視頻及/或音頻處理，且更特定來說，涉及應用機器學習(ml)以產生超分辨率輸出。
技術介紹
1、數字電視及其它顯示裝置顯示從數字視頻源接收的信號。數字顯示裝置可具有與數字信號源不同的分辨率，因為顯示器大小及分辨率已比源視頻分辨率演進得更快。
技術實現思路
1、針對與源視頻分辨率不同的顯示器大小及分辨率，已開發存儲視頻信號、高效地傳輸視頻信號且在顯示裝置上顯示其的方法。此類方法允許將數字視頻信號從一個視頻分辨率轉換為另一分辨率。通常，數字信號以以下表示：(i)ycbcr模型，例如，亮度(y)及色度(cb及cr)及/或(ii)rgb模型，例如，r(紅色)、g(綠色)及b(藍色)顏色分量。可選擇采樣格式，例如4:4:4或4:2:2或4:2:0。此外，出于存儲及傳輸效率的目的，可使用視頻壓縮格式，例如，運動圖像專家群組2(mpeg-2)、高級視頻編碼(avc)、開放媒體聯盟(aomedia)視頻1(av1)、高效視頻編碼(h.265)、視頻編解碼器9(vp.9)、通用視頻編碼(h.266/vvc)。需要時，可執行這些格式之間的轉換。為了在給定顯示器上顯示視頻信號，在顯示之前執行的最后處理階段中的一者是縮放。這可包含將由顯示器接收的數字視頻信號的輸入行數目(input_lines)及輸入列數目(input_columns)改變為可與在輸入處接收的行及列的數目不同的輸出行數目(output_lines)及輸出列數目(output_columns)。output
2、線性內插對于較高采樣率可具有局限性，因為例如它通常無法添加由較高采樣率創建的較寬信號頻譜所需的額外信息(例如，在上采樣的情況下，當output_columns的數目大于input_columns的數目時)。線性內插假設經內插的函數在經采樣點之間是連續且線性的。然而，經內插的函數可能不是連續的或線性的，因為它可導致對采樣點之間的值的不準確或誤導性估計。對于具有尖銳邊緣或者振幅或頻率的快速改變的信號，線性內插的誤差更高。線性內插可在信號中引入偽影或失真，尤其在高頻率下，因為線性內插可不考慮信號的較高頻率分量，這可導致信號的混疊或平滑化。隨著采樣率增加，采樣點之間的距離變得更小，且較高頻率分量變得更顯著。線性內插可無法準確地捕獲較高頻率分量，導致經估計值的失真或不準確性。
3、由于在顯示器上感知分辨率時缺乏分辨率，所以線性縮放方法可為不利的。在無用于在新的可用頻譜中人為地添加信息的特定方法的情況下，數據(例如，如由顯示器提供的視頻信號)的質量可衰減，且觀看者可在顯示器上看到，例如，其中觀看者預期完美對角線的階梯。“學習”將輸入中的給定模式與輸出中的“所需”模式相關聯的非線性縮放方法可完成用與頻譜的現有部分中的信息統計相關的信息填充頻譜中創建的新空間的任務。
4、基于機器學習的典型片上超分辨率縮放采用涉及可編程并行處理器(例如，gpu核心、cpu核心及/或神經處理器)陣列及數據總線讀取數據并將數據寫入dram存儲器中的架構。此類常規解決方案可需要大面積的半導體芯片，且可消耗大量功率及存儲器帶寬來頻繁地將數據移入及移出dram存儲器。因此，需要一種產生具有超分辨率的經縮放輸出的更高效方法。
5、人眼通過觀察視頻內容中存在的空間域中的高頻率而感知分辨率。在信號處理中，針對采樣周期t0，最大頻率可為ω0。最大頻率ω0可表示為2*π/t0。采樣率與采樣周期成反比。通過增加采樣率(例如，通過將采樣周期從t0減小到t1)，可在具有比輸入視頻信號更大數目的行及列的顯示器上顯示數字圖像。可擬合到輸出信號中的最大頻率變為ω1，其中：
6、ω0?＝?2*π/t0?(1)
7、ω1?＝?2*π/t1?(2)
8、t1?<?t0；?ω1?>?ω0?(3)
9、本文中公開的系統及方法的目的是填充在頻域中創建的額外空間，特別是添加范圍[ω0,ω1]中的信息。
10、以圖像中的細節及清晰度的增加的形式添加信息，而不顯著改變產生圖像中呈現的內容的印象的低頻率。
11、此方法采用機器學習，特別是通過計算密集型的訓練過程。在一些實施例中，訓練過程可例如離線執行。“離線”通常可指在本地機器或封閉環境中執行任務(包含數據收集、預處理、模型訓練及評估)而無需實時接入因特網或外部資源。例如，訓練ml模型所需的所有必要數據、軟件及資源可在本地獲得，且訓練過程可為自含型的，例如，不與外部服務器或在線服務通信。
12、訓練過程計算神經網絡的編程參數，所述神經網絡具有擁有在范圍[0,ω0]內的頻率內容的輸入信號及具有在范圍[0,ω1]內的頻率的相同信號的輸出版本。在訓練結束時，將計算編程參數，使得在針對具有在范圍[0,ω0]內的內容的任何信號的推斷或確定過程期間，將產生其在范圍[0,ω1]內的對應物。
13、此較高頻率信號可非唯一的，且可取決于神經網絡及/或其訓練。本公開描述一種神經網絡，其經設計使得從效率角度來看，所述神經網絡對于在硬件及/或軟件中實施是最優的。
14、一般來說，神經網絡可指一種計算方法，其處理信息并辨識模式以通過利用經互連處理單元或神經元而建立輸入與輸出之間的相關性。使用經接收輸入信息，神經網絡可至少基于神經網絡的經獲取內部表示產生輸出。通過訓練過程，神經網絡可調適其內部參數或權重以改進給定任務的性能。此優化通常涉及最小化測量網絡預測與預期輸出之間的差異的損失或誤差函數。神經網絡可自動從輸入數據提取相關特征及模式，實現對新輸入的精確預測或分類。神經網絡的架構(包含例如層計數、每層神經元計數及連接模式的因素)可經設計以表示數據的基礎結構。
15、從深度學習的角度來看，神經網絡包括神經元層序列。用作神經網絡的組件的神經元可在電路系統中以電本文檔來自技高網...
【技術保護點】
1.一種方法，其包括：
2.根據權利要求1所述的方法，其進一步包括由所述裝置的所述電路系統從所述數據流識別所述一或多個數據點的一或多個特征且提供所述一或多個特征作為到所述神經網絡的輸入。
3.根據權利要求1所述的方法，其進一步包括由所述神經網絡確定所述一或多個數據點的一或多個特征且使用所述一或多個特征來確定所述多個輸出數據點。
4.根據權利要求1所述的方法，其中所述數目的一或多個乘法器中的至少一或多者的輸出時鐘以比所述電路系統的輸入時鐘更高的速率操作。
5.根據權利要求4所述的方法，其中所述數目的一或多個乘法器中的所述至少一或多者能夠使用比所述輸入時鐘更高的所述輸出時鐘的所述速率重用以實施所述神經網絡的所述一或多個神經元中的另一神經元。
6.根據權利要求1所述的方法，其中所述裝置是除中央處理單元、圖形處理單元或神經處理單元之外的裝置。
7.根據權利要求1所述的方法，其中所述媒體包括視頻。
8.根據權利要求1所述的方法，其中用于所述神經網絡的所述電路系統使用固定精度乘法器及加法器來實施神經元。>
9.根據權利要求1所述的方法，其中所述神經網絡的所述一或多個層包括：
10.根據權利要求1所述的方法，其中所述神經網絡的訓練過程導出第一權重及偏差以配置每一神經元，且其中將具有浮點的第二權重及偏差轉換為具有定點的第三權重及偏差使得所述每一神經元的上溢及下溢減少。
11.根據權利要求1所述的方法，其中所述神經網絡的訓練過程導出第一權重及偏差以配置每一神經元，且其中將具有浮點的第二權重及偏差轉換為具有定點的第三權重及偏差使得所述第一權重及偏差的范圍增加。
12.根據權利要求1所述的方法，其中在所述每一神經元的輸出處確定位移位值。
13.一種電路系統，其包括：
14.根據權利要求13所述的電路系統，其中在半導體芯片上實施的所述電路系統的面積小于1mm2。
15.一種系統，其包括：
16.根據權利要求15所述的系統，其中所述數目的一或多個乘法器中的至少一或多者的輸出時鐘以比所述電路系統的輸入時鐘更高的速率操作。
17.根據權利要求16所述的系統，其中所述數目的一或多個乘法器中的所述至少一或多者能夠使用比所述輸入時鐘更高的所述輸出時鐘的所述速率重用以實施所述神經網絡的所述一或多個神經元中的另一神經元。
18.根據權利要求15所述的系統，其中所述電路系統使用存儲器帶寬用于創建所述媒體的所述超分辨率而無需添加所述存儲器帶寬的額外容量。
19.根據權利要求15所述的系統，其中：
20.根據權利要求15所述的系統，其中所述電路系統是除中央處理單元、圖形處理單元或神經處理單元之外的半導體裝置。
...【技術特征摘要】
1.一種方法，其包括：
2.根據權利要求1所述的方法，其進一步包括由所述裝置的所述電路系統從所述數據流識別所述一或多個數據點的一或多個特征且提供所述一或多個特征作為到所述神經網絡的輸入。
3.根據權利要求1所述的方法，其進一步包括由所述神經網絡確定所述一或多個數據點的一或多個特征且使用所述一或多個特征來確定所述多個輸出數據點。
4.根據權利要求1所述的方法，其中所述數目的一或多個乘法器中的至少一或多者的輸出時鐘以比所述電路系統的輸入時鐘更高的速率操作。
5.根據權利要求4所述的方法，其中所述數目的一或多個乘法器中的所述至少一或多者能夠使用比所述輸入時鐘更高的所述輸出時鐘的所述速率重用以實施所述神經網絡的所述一或多個神經元中的另一神經元。
6.根據權利要求1所述的方法，其中所述裝置是除中央處理單元、圖形處理單元或神經處理單元之外的裝置。
7.根據權利要求1所述的方法，其中所述媒體包括視頻。
8.根據權利要求1所述的方法，其中用于所述神經網絡的所述電路系統使用固定精度乘法器及加法器來實施神經元。
9.根據權利要求1所述的方法，其中所述神經網絡的所述一或多個層包括：
10.根據權利要求1所述的方法，其中所述神經網絡的訓練過程導出第一權重及偏差以配置每一神經元，且其中將具有浮點的第二權重及偏差轉換...
【專利技術屬性】
技術研發人員：理查德·海登·懷曼，格奧爾基·貝爾貝切爾，
申請(專利權)人：安華高科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。