【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于高速成像技術(shù)，具體涉及一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法及系統(tǒng)。
技術(shù)介紹
1、高速成像技術(shù)憑借其精確捕捉場景中連續(xù)光強(qiáng)變化的能力，在自動駕駛、工業(yè)監(jiān)控和機(jī)器人等前沿領(lǐng)域中扮演著日益關(guān)鍵的角色。這些領(lǐng)域?qū)崟r性和精確性提出了極其嚴(yán)苛的要求，強(qiáng)調(diào)系統(tǒng)必須能夠快速、準(zhǔn)確地響應(yīng)動態(tài)變化。然而，傳統(tǒng)數(shù)碼相機(jī)在捕捉高速運動物體時面臨著嚴(yán)峻挑戰(zhàn)，不僅需要依賴昂貴的專業(yè)傳感器，而且還不可避免地需要在幀率和成本之間進(jìn)行權(quán)衡，這極大地阻礙了高速成像技術(shù)的普及和進(jìn)一步發(fā)展。
2、在此背景下，神經(jīng)形態(tài)相機(jī)的出現(xiàn)為高速成像領(lǐng)域帶來了革命性的突破。尤其是事件相機(jī)和脈沖相機(jī)等神經(jīng)形態(tài)視覺傳感器，憑借其高時間分辨率、高動態(tài)范圍和低延遲等卓越特性，使得真正的高速成像成為可能。其中，北京大學(xué)黃鐵軍教授團(tuán)隊研制的脈沖相機(jī)通過模擬生物視覺系統(tǒng)的采樣機(jī)制，實現(xiàn)了高達(dá)40000赫茲的采樣頻率。與僅記錄光強(qiáng)相對變化的事件相機(jī)不同，脈沖相機(jī)能夠編碼絕對光強(qiáng)，其脈沖發(fā)射率與場景亮度呈正比關(guān)系。這一獨特能力使得脈沖相機(jī)在圖像重建、深度估計、語義分割和光流估計等像素級任務(wù)中展現(xiàn)出巨大潛力。然而，脈沖相機(jī)記錄的密集二進(jìn)制時間序列信息卻給傳統(tǒng)的基于幀的視覺算法帶來了前所未有的挑戰(zhàn)。
3、為應(yīng)對這一難題，研究者們近年來提出了多種脈沖相機(jī)圖像重建方法。傳統(tǒng)方法主要利用時間統(tǒng)計特性和模擬生物視覺的生理機(jī)制，但在處理噪聲和運動模糊時往往需要進(jìn)行權(quán)衡，導(dǎo)致圖像重建質(zhì)量難以滿足實際需求。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的脈沖相機(jī)圖像重建方法應(yīng)
4、綜上所述，面向自動駕駛、工業(yè)監(jiān)控和機(jī)器人等前沿領(lǐng)域?qū)Ω咚俪上竦钠惹行枨螅}沖相機(jī)圖像重建作為一項基石性任務(wù)，具有十分重要的研究意義。
5、現(xiàn)有技術(shù)1：spk2imgnet:learning?to?reconstruct?dynamic?scene?fromcontinuous?spike?stream，其主要技術(shù)路線為：基于端到端的深度學(xué)習(xí)，首次設(shè)計了一個脈沖相機(jī)圖像重建網(wǎng)絡(luò)，稱為spk2imgnet。為了重建圖像幀ik，spk2imgnet輸入一組圍繞sk的連續(xù)脈沖幀sk＝{sk+i},i＝±1,±2,…，以利用時間相關(guān)性生成高質(zhì)量的重建總體網(wǎng)絡(luò)包含三個組件：空間自適應(yīng)光推斷子網(wǎng)絡(luò)、特征提取子網(wǎng)絡(luò)和基于可變形對齊的圖像重建子網(wǎng)絡(luò)。
6、現(xiàn)有技術(shù)2：learning?temporal-ordered?representation?for?spike?streamsbased?on?discrete?wavelet?transforms，其主要技術(shù)路線為：為了學(xué)習(xí)更好的脈沖表示，提出在時頻空間中使用小波變換來挖掘脈沖的時間穩(wěn)健特征表示。開發(fā)了一種小波引導(dǎo)的脈沖增強(qiáng)范式，簡稱為wgse，包含三個連續(xù)的步驟：多級小波變換、基于cnn(convolutionalneural?network卷積神經(jīng)網(wǎng)絡(luò))的可學(xué)習(xí)模塊和逆小波變換。隨后，通過一個額外的圖像重建模塊將脈沖表示解碼為目標(biāo)圖像。
7、現(xiàn)有技術(shù)存在的缺點如下：
8、(1)傳統(tǒng)的脈沖相機(jī)圖像重建方法利用時間統(tǒng)計特性或者模擬人類的生理機(jī)制，但是噪聲和運動模糊在動態(tài)場景重建過程中不可避免地會帶來棘手的權(quán)衡問題，往往會導(dǎo)致較差的圖像重建質(zhì)量。
9、(2)在脈沖相機(jī)圖像重建任務(wù)中，運動估計和強(qiáng)度恢復(fù)本質(zhì)上是一個“雞和蛋”的問題：更準(zhǔn)確的運動建模將帶來更好的中間幀重建，反之亦然。現(xiàn)有基于深度學(xué)習(xí)的技術(shù)都采用先估計運動然后重建圖像的兩階段范式，阻礙了時間和空間中信息的交互和聯(lián)合優(yōu)化，不利于脈沖相機(jī)圖像重建質(zhì)量的提升。
10、(3)目前常用的兩階段網(wǎng)絡(luò)設(shè)計方案使得現(xiàn)有基于cnn的模型不可避免地具有很高的模型復(fù)雜度，推理效率較低，計算量大，不利于在實際應(yīng)用中實現(xiàn)高效部署。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的是提供一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法及系統(tǒng)。本專利技術(shù)旨在突破現(xiàn)有技術(shù)限制，創(chuàng)新性地在一種單階段范式中實現(xiàn)時空聯(lián)合學(xué)習(xí)，從而顯著提升從脈沖重建圖像的精度和效率，為相關(guān)領(lǐng)域的技術(shù)進(jìn)步做出實質(zhì)性貢獻(xiàn)。通過這種創(chuàng)新性的方法，期望能夠推動高速成像技術(shù)在實際應(yīng)用中的廣泛部署，為未來智能系統(tǒng)的發(fā)展奠定基礎(chǔ)。
2、本專利技術(shù)為解決技術(shù)問題所采用的技術(shù)方案如下：
3、本專利技術(shù)提供的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，包括以下步驟：
4、步驟一、混合脈沖嵌入表示；
5、基于內(nèi)部統(tǒng)計的顯式脈沖表示方法獲取顯式脈沖表示，同時基于神經(jīng)網(wǎng)絡(luò)的隱式脈沖表示方法獲取隱式脈沖表示，將顯式脈沖表示和隱式脈沖表示進(jìn)行連接并混合后得到脈沖嵌入特征；
6、步驟二、層級特征編碼；
7、將脈沖嵌入特征設(shè)為特征金字塔的底層特征，構(gòu)建一個多層特征金字塔，從多個連續(xù)的脈沖子流中依次提取出多粒度特征表示；
8、步驟三、對稱交互注意力塊；
9、利用頂層金字塔的多頭交叉注意力機(jī)制，對稱地捕捉中間特征和時間上下文特征之間的相互依賴性，并獲取交互特征；
10、步驟四、時空交互解碼；
11、從粗粒度到細(xì)粒度漸進(jìn)地進(jìn)行運動-強(qiáng)度交互，以實現(xiàn)時空互補(bǔ)信息的聯(lián)合細(xì)化；同時，在底層金字塔構(gòu)建多運動場估計塊，通過估計多組運動場來進(jìn)一步提升模型的時空交互能力，從而重建出更高質(zhì)量的強(qiáng)度圖像。
12、進(jìn)一步的，步驟一的具體實現(xiàn)流程為：
13、對于輸入的三個連續(xù)的脈沖子流分別基于不同的時間窗口使用傳統(tǒng)基于回放的圖像紋理重建方法獲得多個顯式脈沖表示；同時將脈沖子流輸入到resnet塊中進(jìn)行隱式建模獲得對應(yīng)的隱式脈沖表示；將得到的特征在通道維度上進(jìn)行連接后再通過2d卷積混合生成脈沖嵌入特征
14、進(jìn)一步的，步驟二的具體實現(xiàn)流程為：
15、構(gòu)建一個l層特征金字塔，在特征金字塔的每一層，使用一個帶有步幅為2的3×3二維卷積進(jìn)行特征下采樣，然后通過殘差塊輸出結(jié)果，其中在每個3×3二維卷積后都附加一個prelu激活函數(shù)，在第l層金字塔的特征通道數(shù)量為cl，通過獲得的多粒度特征表示促進(jìn)后續(xù)從粗到細(xì)的幀間和幀內(nèi)交互學(xué)習(xí)。
16、進(jìn)一步的，步驟三的具體實現(xiàn)流程為：
17、在頂層金字塔層，將中間特征作為查詢向量query，時間上下文特征和分別作為鍵向量key/值向量value，以確保與查詢向量query的對稱交互；通過應(yīng)用層歸一化線性投影每個組件，即查詢向量query、鍵向量key和值向量valu本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，步驟一的具體實現(xiàn)流程為：
3.根據(jù)權(quán)利要求1所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，步驟二的具體實現(xiàn)流程為：
4.根據(jù)權(quán)利要求1所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，步驟三的具體實現(xiàn)流程為：
5.根據(jù)權(quán)利要求4所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，所述基于注意力的雙邊相關(guān)性的計算公式為：
6.根據(jù)權(quán)利要求4所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，所述交互特征其數(shù)學(xué)表達(dá)式為：
7.根據(jù)權(quán)利要求1所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，步驟四的具體實現(xiàn)流程為：
8.根據(jù)權(quán)利要求7所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，步驟①中，所述幀間特征對齊過程中，特征扭曲的數(shù)學(xué)表達(dá)式為：
9.根據(jù)權(quán)利要求1所述的一
10.一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建系統(tǒng)，其特征在于，該系統(tǒng)用于實現(xiàn)權(quán)利要求1-9中任意一項所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，包括：
...【技術(shù)特征摘要】
1.一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，步驟一的具體實現(xiàn)流程為：
3.根據(jù)權(quán)利要求1所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，步驟二的具體實現(xiàn)流程為：
4.根據(jù)權(quán)利要求1所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，步驟三的具體實現(xiàn)流程為：
5.根據(jù)權(quán)利要求4所述的一種面向脈沖相機(jī)的高效率高質(zhì)量圖像重建方法，其特征在于，所述基于注意力的雙邊相關(guān)性的計算公式為：
6.根據(jù)權(quán)利要求4所述的一種面向脈沖相機(jī)的高效率高質(zhì)量...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：施柏鑫，樊斌，尹驕洋，許超，黃鐵軍，
申請(專利權(quán))人：北京大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。