一種空間各異模糊核三維運動去模糊的方法及系統技術方案

本發明專利技術公開了一種空間各異模糊核三維運動去模糊的方法及系統。該方法包括：步驟1，根據三維運動跟蹤的結果，在成像曝光時間內得到時域上幀率為N倍的運動模型集合，N為相機個數；步驟2，通過插值算法計算出運動模型集合各頂點的連續運動路徑；步驟3，統計每個時刻運動模型集合各頂點中的可見頂點；步驟4，計算每個時刻可見的面片集合；步驟5，將計算各可見面片在成像平面上的點擴散函數；步驟6，求解方程Ax＝b，其中待求變量x為該成像曝光時間內所有可見的面片的紋理顏色，矩陣A為可見面片的點擴散函數，b為實際采集的圖像。本發明專利技術能夠針對包括空間各異復雜運動、遮擋與出現等復雜情況的大尺度運動模糊問題。

【技術實現步驟摘要】

本專利技術涉及圖像處理領域，尤其涉及一種空間各異模糊核三維運動去模糊的方法及系統。
技術介紹
在經典成像模型下相機具有一些固有局限性，如受限于幀率。常規視頻攝像機的幀率僅有30幀每秒，這將極大的限制對高速運動場景的采集。因而，研究基于相機陣列的計算傳感機制，突破單相機的低幀率局限性，以實現高時間分辨率的動態場景采集在計算攝像學中具有重要研究意義。Wilburn等人首創搭建了 52個緊密排列相機組成的大規模相機陣列。所有相機在時間軸上進行間插短曝光采集，從而近似一個單視角的高速相機。該工作是基于低速相機陣列研究高質量場景采集的先驅性研究，N個相機組成的相機陣列能夠將時間采樣率提高到原來低速相機的N倍。但其受限于如下三點(1)單視角，(2)短曝光，這要求強場景光照，否則采集圖像的信噪比將受到極大影響，(3)受限于不同相機的視角視差校正算法，僅適用于小景深近似平面場景或者遠距離近似平面場景。Agrawal等人提出了基于多相機編碼曝光采樣的計算傳感方法來克服上述研究的短曝光局限性，其使用N個相機同樣能夠將時間采樣率提高N倍，但同時能夠獲得上述相機陣列方法N/2倍的進光量。此外，該研究的問題求解化歸為一個適定的線性系統求解，并且每個相機的求解是獨立的。但是該采集系統主要是針對平面高速運動的物體，不適用于在深度維上有運動的物體。計算傳感對入射到相機采集系統內的光線進行調制，能夠實現高質量的運動場景去模糊，能夠實現高幀率采集系統，但是目前這類設計的缺點是只能解決單視角直線運動， 或者單視角遠距離平面場景的高時間分辨率成像問題，無法同時獲取場景的多視角高空間分辨信息。專利
技術實現思路
針對現有技術中存在的上述問題，本專利技術提供了一種空間各異模糊核三維運動去模糊的方法及系統。本專利技術提供了一種空間各異模糊核三維運動去模糊的方法，包括步驟1，根據三維運動跟蹤的結果，在成像曝光時間內得到時域上幀率為N倍的運動模型集合，N為相機個數；步驟2，通過插值算法計算出運動模型集合各頂點的連續運動路徑；步驟3，統計每個時刻運動模型集合各頂點中的可見頂點；步驟4，計算每個時刻可見的面片集合；步驟5，將計算各可見面片在成像平面上的點擴散函數；步驟6，求解方程Ax = b，其中待求變量χ為該成像曝光時間內所有可見的面片的紋理顏色，矩陣A為可見面片的擴散函數，b為實際采集的圖像。在一個示例中，步驟2中，進行插值計算時，以運動模型上每個頂點在各時刻的位置作為插值約束。在一個示例中，插值算法為樣條函數插值算法。在一個示例中，步驟2中，進行分段插值并對插值的結果進行時間上的平滑濾波。在一個示例中，步驟3中，對運動模型每個頂點渲染不同的顏色，將運動模型投影到成像平面上，若成像平面上出現對應顏色，則該頂點可見。在一個示例中，步驟4中，面片為三角面片，三角面片的一個頂點可見，則該三角面片可見。在一個示例中，計算各可見面片內的能量累積，得到各可見面片在成像平面上的點擴散函數。在一個示例中，步驟5中，對二維成像平面上的每個像素進行子像素采集，計算各可見面片內的投影能量，根據各時刻在各可見面片內的能量累積得到各可見面片在成像平面上的點擴散函數。在一個示例中，步驟5中，求解方程Ax = b時，增加約束條件，使方程Ax = b變形為ΑτΑΧ+λιΧ+λ2 τ0Χ+λ3Χ = ATb+X3X。，其中λ2，λ 3為預設值，D為微分算子， 為靜態模型的靜態紋理。本專利技術提供了一種空間各異模糊核三維運動去模糊的系統，包括運動模型集合獲取模塊，用于根據三維運動跟蹤的結果，在成像曝光時間內得到時域上幀率為N倍的運動模型集合，N為相機個數；運動路徑計算模塊，用于通過插值算法計算出運動模型集合各頂點的連續運動路徑；可見頂點計算模塊，用于統計每個時刻運動模型集合各頂點中的可見頂點；可見面片集合計算模塊，用于計算每個時刻可見的面片集合；點擴散函數計算模塊，用于將計算各可見面片在成像平面上的點擴散函數；紋理顏色求解模塊，用于求解方程Ax = b，其中待求變量χ為該成像曝光時間內所有可見的面片的紋理顏色，矩陣A為可見面片的點擴散函數，b為實際采集的圖像。本專利技術能夠針對包括空間各異復雜運動、遮擋與出現等復雜情況的大尺度運動模糊問題，實現清晰場景的計算重構，有效解決復雜運動復雜場景下的運動模糊。附圖說明下面結合附圖來對本專利技術作進一步詳細說明，其中圖Ia-圖Id為基于圖像和基于模型去模糊算法的原理示意圖；2b為高速運動模型跟蹤結果示意圖；圖3a_圖池為場景運動高時間分辨率連續插值示意圖以及時間平滑示意圖；如為模型頂點可見性判斷結果示意圖；圖5為模型面片可見性判斷原理示意圖；圖6a-圖6f為各種不同約束下去模糊求解結果比較；圖7a_圖7d為采集模糊圖像的曝光時間內三個不同短曝光時刻的去模糊結果；圖8為空間各異模糊核三維運動去模糊的方法流程圖。具體實施例方式本專利技術提供的空間各異模糊核三維運動去模糊的方法能夠針對包括空間各異復雜運動、遮擋與出現等復雜情況的大尺度運動模糊問題，實現清晰場景的計算重構。該方法包括基于運動跟蹤的時間高分辨率運動插值，基于模型三維運動軌跡的成像點擴散函數 (PSF)計算，基于成像模型的線性系統優化目標的建立，以及多約束下進一步優化的方法?；谌S運動跟蹤結果，在原來一個長曝光時間內得到時域上幀率為N倍的高速運動模型集合，運動跟蹤算法要求保證模型的拓撲不變性。高速運動模型可以是在時間解耦框架下，基于時空間插曝光采集方法，在時空求交一致性的核心理論下，獲取高速運動的可視外殼(VH)，并反投影到各采集視角獲取跟蹤輪廓約束計算得到，也可以是其他方法獲得。這里所需的是能夠表征場景紋理本質頻率下的高速運動模型結果，并不需要紋理信息。 解耦的高速運動模型的幀率達到時域上運動場景的本質頻率，從而能夠基于高速運動模型計算重構模糊紋理?；诟咚龠\動模型集合，取出高速運動模型上每個頂點(模型拓撲不變)在各個時刻的高速運動模型上對應的位置作為插值約束，計算得到對應的連續運動軌跡，也即對模型在時域密集采樣點基礎上進行連續的時間插值，以進一步的高時間分辨率插值。插值方法為樣條函數插值算法，對模型每個頂點在采集曝光時間內高速跟蹤模型上的位置作為樣條函數的插值約束點，插值時采用分段的方法，保證平滑性、連續性和準確性。同時要求保證場景運動跟蹤得到的高速模型結果能夠準確表征場景運動的高頻信息。為了克服運動跟蹤的不準確性，對插值結果進一步進行時間平滑處理，獲得時間上平穩魯棒的運動模型， 使用的方法為以時間窗口為濾波器對模型進行時間上的平滑濾波。計算時間插值連續高速模型各個時刻的模型可見性，統計各個插值時刻的場景模型可見點集合，并取各個時刻可見集合的并集作為該長曝光時間內場景的可見頂點集合。 具體方法為，對模型每個頂點渲染不同的顏色，按照深度(場景上某個頂點到相機中心的距離)大小(考慮遮擋)，將模型投影到成像平面上，若成像平面上出現對應顏色，那么該頂點即可見，同時考慮到成像平面像素為單位的精度問題，采用多次迭代上述結果的方法進行實現，直到成像平面沒有新增的可見頂點。在考慮遮擋問題及頂點可見性的基礎上，計算場景組成面片的可見性，確定求解變量集合。場景面片可見性與頂點可見性具有如下關系三角面片有一個頂點可見，該面片可本文檔來自技高網...

【技術保護點】
１．一種空間各異模糊核三維運動去模糊的方法，其特征在于，包括：步驟１，根據三維運動跟蹤的結果，在成像曝光時間內得到時域上幀率為Ｎ倍的運動模型集合，Ｎ為相機個數；步驟２，通過插值算法計算出運動模型集合各頂點的連續運動路徑；步驟３，統計每個時刻運動模型集合各頂點中的可見頂點；步驟４，計算每個時刻可見的面片集合；步驟５，將計算各可見面片在成像平面上的點擴散函數；步驟６，求解方程Ａｘ＝ｂ，其中待求變量ｘ為該成像曝光時間內所有可見的面片的紋理顏色，矩陣Ａ為可見面片的點擴散函數，ｂ為實際采集的圖像。

【技術特征摘要】

【專利技術屬性】
技術研發人員：劉燁斌，武迪，戴瓊海，
申請(專利權)人：清華大學，
類型：發明
國別省市：11