【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機視覺與計算機圖形學(xué)，特別是涉及一種基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法。
技術(shù)介紹
1、珍稀鳥類的虛擬數(shù)字化面臨許多困難，主要源于對高精度和真實性的需求。首先，珍稀鳥類通常具有復(fù)雜的羽毛結(jié)構(gòu)和獨特的動態(tài)行為，這些特征的細(xì)致捕捉和精確再現(xiàn)是數(shù)字化過程中不可或缺的部分。然而，傳統(tǒng)的三維建模方法很難同時滿足對外觀、細(xì)節(jié)和運動的高精度要求，特別是在模擬羽毛的質(zhì)感、光影變化以及細(xì)微的動態(tài)表現(xiàn)方面。此外，珍稀鳥類的數(shù)量有限，獲取高質(zhì)量的拍攝和掃描數(shù)據(jù)難度較大，尤其是在野外環(huán)境下。這種數(shù)據(jù)稀缺性進(jìn)一步加劇了數(shù)字化建模的復(fù)雜性。為了實現(xiàn)虛擬模型的高度逼真表現(xiàn)，必須通過大量的手動調(diào)整和數(shù)據(jù)處理，而這些過程既費時又費力，且難以保證模型在不同場景中的適應(yīng)性和真實性。
2、可學(xué)習(xí)隱式神經(jīng)表示為珍稀鳥類的虛擬數(shù)字化提供了顯著優(yōu)勢。首先，這種方法能夠以高質(zhì)量的方式對珍稀鳥類進(jìn)行三維高逼真表示，不僅精確捕捉鳥類的外觀特征，還能夠動態(tài)呈現(xiàn)其復(fù)雜的羽毛結(jié)構(gòu)和自然的運動行為。隱式神經(jīng)表示不同于傳統(tǒng)的顯式建模技術(shù)，它不依賴于網(wǎng)格或點云等具體的幾何形態(tài)，而是通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)對象的連續(xù)函數(shù)來生成高分辨率的三維模型。這使得其在處理珍稀鳥類復(fù)雜的形態(tài)和細(xì)節(jié)時表現(xiàn)出色，能夠更加自然地模擬光線與羽毛的交互，從而提升整體視覺效果。此外，這種表示方式還能有效應(yīng)對數(shù)據(jù)稀缺的問題，通過少量的數(shù)據(jù)訓(xùn)練即可生成高質(zhì)量的模型，并且具有良好的泛化能力，適用于不同的環(huán)境和場景下的逼真再現(xiàn)。
技術(shù)實現(xiàn)思路
1、本專
2、為實現(xiàn)上述目的，本專利技術(shù)提供一種基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其包括：
3、步驟1，通過相機從多個角度采集珍稀鳥類的圖像，記錄每張圖像的相機參數(shù)，根據(jù)相機參數(shù)將圖像對齊，將對齊后的圖像中每一像素的顏色值以及每一像素相對于相機的射線方向作為輸入數(shù)據(jù)；
4、步驟2，在步驟1的輸入數(shù)據(jù)上確定珍稀鳥類重建區(qū)域，將珍稀鳥類重建區(qū)域的空間位置坐標(biāo)x經(jīng)過傅立葉特征映射為式(1)所示的高維傅立葉特征向量γ(x)：
5、γ(x)＝(sin(20πx)，cos(20πx)，…，sin(2l-1πx)，cos(2l-1πx))????(1)
6、式中，l為傅立葉特征網(wǎng)絡(luò)中的超參數(shù)；
7、為珍稀鳥類重建區(qū)域分配一個設(shè)定分辨率的三維可訓(xùn)練網(wǎng)格，并在三維可訓(xùn)練網(wǎng)格的預(yù)設(shè)位置存儲一個一維的可學(xué)習(xí)變量α(x)，作為任務(wù)參數(shù)，在x處設(shè)置自適應(yīng)可學(xué)習(xí)濾波器hb(α(x))，濾波器hb(α(x))用于對γ(x)中的一部分冗余信息進(jìn)行過濾，濾波器hb(α(x))包含超參數(shù)b，超參數(shù)b用于控制濾波器hb(α(x))的維度不超過γ(x)的維度，進(jìn)而控制濾波器hb(α(x))對γ(x)中對應(yīng)濾波器hb(α(x))的維度的冗余信息進(jìn)行過濾，濾波器hb(α(x))還包含任務(wù)參數(shù)α(x)，任務(wù)參數(shù)α(x)用于控制濾波器hb(α(x))濾波的初始位置；
8、步驟3，將步驟2的濾波器hb(α(x))與高維傅立葉特征向量γ(x)通過hadamard積⊙結(jié)合，如式(2)所示，得到mlps(中文為：用于學(xué)習(xí)從編碼特征到信號值的映射)網(wǎng)絡(luò)fθ的第1層的隱藏單元z(1)，z(1)隨后被輸入到mlps網(wǎng)絡(luò)fθ中，輸出x處的顏色c和體密度σ；
9、
10、其中，σ是mlps網(wǎng)絡(luò)fθ的激活函數(shù)，和分別表示mlps網(wǎng)絡(luò)fθ的第i層的權(quán)重和偏差，i＝1，…，k-1，表示mlps網(wǎng)絡(luò)fθ的第i層的隱藏單元，f表示mlps網(wǎng)絡(luò)fθ；
11、步驟4，通過體渲染技術(shù)，將步驟3中獲得的x處的顏色c和體密度σ進(jìn)行積分，生成珍稀鳥類靜態(tài)背景的新視角和新姿勢圖。
12、進(jìn)一步地，濾波器hb(α(x))由其各分量構(gòu)成，每個通過式(3)計算得出：
13、
14、其中，∈為數(shù)值可預(yù)先設(shè)定的濾波器性能調(diào)節(jié)參數(shù)，j的數(shù)值為x維度的2倍，而濾波器hb(α(x))的超參數(shù)b小于j，從而控制濾波器hb(α(x))的維度不超過γ(x)的維度。
15、進(jìn)一步地，∈＝-1000。
16、進(jìn)一步地，任務(wù)參數(shù)α(x)的獲取方法包括：任務(wù)參數(shù)α(x)是在訓(xùn)練過程中，通過與神經(jīng)網(wǎng)絡(luò)參數(shù)協(xié)同優(yōu)化的可訓(xùn)練網(wǎng)格來進(jìn)行學(xué)習(xí)獲得，學(xué)習(xí)方法包括：先在珍稀鳥類重建區(qū)域找到x所在的網(wǎng)格，通過插值方法得到x處的任務(wù)參數(shù)α(x)的數(shù)值。
17、進(jìn)一步地，當(dāng)α(x)＝-1時，濾波器hb(α(x))的轉(zhuǎn)化為低通濾波器；當(dāng)α(x)＝11時，濾波器hb(α(x))的轉(zhuǎn)化為帶通濾波器；當(dāng)α(x)＝21時，濾波器hb(α(x))的轉(zhuǎn)化為高通濾波器，超參數(shù)b均取值為15。
18、本專利技術(shù)還提供一種基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化系統(tǒng)，其包括：
19、輸入數(shù)據(jù)創(chuàng)建單元，其用于根據(jù)相機從多個角度采集珍稀鳥類的圖像，記錄每張圖像的相機參數(shù)，根據(jù)相機參數(shù)將圖像對齊，將對齊后的圖像中每一像素的顏色值以及每一像素相對于相機的射線方向作為輸入數(shù)據(jù)；
20、傅立葉特征映射單元，其用于在輸入數(shù)據(jù)創(chuàng)建單元的輸入數(shù)據(jù)上確定珍稀鳥類重建區(qū)域，將珍稀鳥類重建區(qū)域的空間位置坐標(biāo)x經(jīng)過傅立葉特征映射為式(1)所示的高維傅立葉特征向量γ(x)：
21、y(x)＝(sin(20πx)，cos(20πx)，…，sin(2l-1πx)，cos(2l-1πx))????(1)
22、式中，l為傅立葉特征網(wǎng)絡(luò)中的超參數(shù)；
23、自適應(yīng)可學(xué)習(xí)濾波器設(shè)置單元，其用于為珍稀鳥類重建區(qū)域分配一個設(shè)定分辨率的三維可訓(xùn)練網(wǎng)格，并在三維可訓(xùn)練網(wǎng)格的預(yù)設(shè)位置存儲一個一維的可學(xué)習(xí)變量α(x)，作為任務(wù)參數(shù)，在x處設(shè)置自適應(yīng)可學(xué)習(xí)濾波器hb(α(x))，濾波器hb(α(x))用于對γ(x)中的一部分冗余信息進(jìn)行過濾，濾波器hb(α(x))包含超參數(shù)b，超參數(shù)b用于控制濾波器hb(α(x))的維度不超過γ(x)的維度，進(jìn)而控制濾波器hb(α(x))對γ(x)中對應(yīng)濾波器hb(α(x))的維度的冗余信息進(jìn)行過濾，濾波器hb(α(x))還包含任務(wù)參數(shù)α(x)，任務(wù)參數(shù)α(x)用于控制濾波器hb(α(x))濾波的初始位置；
24、重建參數(shù)獲取單元，其用于將濾波器hb(α(x))與高維傅立葉特征向量γ(x)通過hadamard積⊙結(jié)合，如式(2)所示，得到mlps網(wǎng)絡(luò)fθ的第1層的隱藏單元z(1)，z(1)隨后被輸入到mlps網(wǎng)絡(luò)fθ中，輸出x處的顏色c和體密度σ；
25、
26、其中，σ是mlps網(wǎng)絡(luò)fθ的激活函數(shù)，和分別表示mlps網(wǎng)絡(luò)fθ的第i層的權(quán)重和偏差，i＝1，…，k-1，表示mlps網(wǎng)絡(luò)fθ的第i層的隱藏單元，f表示mlps網(wǎng)絡(luò)fθ；
27、場景重構(gòu)單元，其用于通過體渲染技術(shù)，將x處的顏色c和體密度σ本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，包括：
2.如權(quán)利要求1所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，濾波器HB(α(X))由其各分量構(gòu)成，每個通過式(3)計算得出：
3.如權(quán)利要求2所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，∈＝-1000。
4.如權(quán)利要求1-3中任一項所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，任務(wù)參數(shù)α(X)的獲取方法包括：任務(wù)參數(shù)α(X)是在訓(xùn)練過程中，通過與神經(jīng)網(wǎng)絡(luò)參數(shù)協(xié)同優(yōu)化的可訓(xùn)練網(wǎng)格來進(jìn)行學(xué)習(xí)獲得，學(xué)習(xí)方法包括：先在珍稀鳥類重建區(qū)域找到X所在的網(wǎng)格，通過插值方法得到X處的任務(wù)參數(shù)α(X)的數(shù)值。
5.如權(quán)利要求4所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，當(dāng)α(X)＝-1時，濾波器HB(α(X))的轉(zhuǎn)化為低通濾波器；當(dāng)α(X)＝11時，濾波器HB(α(X))的轉(zhuǎn)化為帶通濾波器；當(dāng)α(X)＝21時，濾波器HB(α(X))的轉(zhuǎn)化為高通濾波器，超參數(shù)B均取值為15。
6.一種基于隱式神經(jīng)表示的珍稀鳥類虛
7.如權(quán)利要求6所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化系統(tǒng)，其特征在于，濾波器HB(α(X))由其各分量構(gòu)成，每個通過式(3)計算得出：
8.如權(quán)利要求7所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化系統(tǒng)，其特征在于，∈＝-1000。
9.如權(quán)利要求6-8中任一項所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化系統(tǒng)，其特征在于，任務(wù)參數(shù)α(X)的獲取方法包括：任務(wù)參數(shù)α(X)是在訓(xùn)練過程中，通過與神經(jīng)網(wǎng)絡(luò)參數(shù)協(xié)同優(yōu)化的可訓(xùn)練網(wǎng)格來進(jìn)行學(xué)習(xí)獲得，學(xué)習(xí)方法包括：先在珍稀鳥類重建區(qū)域找到X所在的網(wǎng)格，通過插值方法得到X處的任務(wù)參數(shù)α(X)的數(shù)值。
10.如權(quán)利要求9所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化系統(tǒng)，其特征在于，當(dāng)α(X)＝-1時，濾波器HB(α(X))的轉(zhuǎn)化為低通濾波器；當(dāng)α(X)＝11時，濾波器HB(α(X))的轉(zhuǎn)化為帶通濾波器；當(dāng)α(X)＝21時，濾波器HB(α*X))的轉(zhuǎn)化為高通濾波器，超參數(shù)B均取值為15。
...【技術(shù)特征摘要】
1.一種基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，包括：
2.如權(quán)利要求1所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，濾波器hb(α(x))由其各分量構(gòu)成，每個通過式(3)計算得出：
3.如權(quán)利要求2所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，∈＝-1000。
4.如權(quán)利要求1-3中任一項所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，任務(wù)參數(shù)α(x)的獲取方法包括：任務(wù)參數(shù)α(x)是在訓(xùn)練過程中，通過與神經(jīng)網(wǎng)絡(luò)參數(shù)協(xié)同優(yōu)化的可訓(xùn)練網(wǎng)格來進(jìn)行學(xué)習(xí)獲得，學(xué)習(xí)方法包括：先在珍稀鳥類重建區(qū)域找到x所在的網(wǎng)格，通過插值方法得到x處的任務(wù)參數(shù)α(x)的數(shù)值。
5.如權(quán)利要求4所述的基于隱式神經(jīng)表示的珍稀鳥類虛擬數(shù)字化方法，其特征在于，當(dāng)α(x)＝-1時，濾波器hb(α(x))的轉(zhuǎn)化為低通濾波器；當(dāng)α(x)＝11時，濾波器hb(α(x))的轉(zhuǎn)化為帶通濾波器；當(dāng)α(x)＝21時，濾波器hb(α(x))的轉(zhuǎn)化為高通濾波器，超參數(shù)b均取值為15。
...【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉暢，黃紅，宋建彬，佟志遠(yuǎn)，張培森，鄭雨航，邱鈞，
申請(專利權(quán))人：北京信息科技大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。