本發(fā)明專(zhuān)利技術(shù)公開(kāi)了一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其充分考慮了虛擬視點(diǎn)繪制失真類(lèi)型，對(duì)虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ)償，偏移補(bǔ)償過(guò)程針對(duì)虛擬視點(diǎn)繪制像素點(diǎn)偏移等特殊失真，很好地消除了像素點(diǎn)位置偏移對(duì)虛擬視點(diǎn)圖像質(zhì)量的影響，使虛擬視點(diǎn)圖像主客觀質(zhì)量結(jié)果更加一致；充分考慮了人眼視覺(jué)特性，提取參考圖像的視覺(jué)敏感掩模圖，消除了虛擬視點(diǎn)圖像中視覺(jué)不敏感區(qū)域的失真對(duì)客觀質(zhì)量評(píng)價(jià)結(jié)果的影響，使客觀質(zhì)量評(píng)價(jià)結(jié)果更加符合人眼特性；充分地考慮了失真幅值掩蔽效應(yīng)和失真分布掩蔽效應(yīng)，計(jì)算虛擬視點(diǎn)圖像的失真掩模圖是為了能夠?qū)⑹д娣容^大、失真分布集中的區(qū)域提取出來(lái)，有效的區(qū)分不同幅值、不同分布的失真對(duì)人眼主觀質(zhì)量的影響。
【技術(shù)實(shí)現(xiàn)步驟摘要】
【專(zhuān)利摘要】本專(zhuān)利技術(shù)公開(kāi)了，其充分考慮了虛擬視點(diǎn)繪制失真類(lèi)型，對(duì)虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ)償，偏移補(bǔ)償過(guò)程針對(duì)虛擬視點(diǎn)繪制像素點(diǎn)偏移等特殊失真，很好地消除了像素點(diǎn)位置偏移對(duì)虛擬視點(diǎn)圖像質(zhì)量的影響，使虛擬視點(diǎn)圖像主客觀質(zhì)量結(jié)果更加一致；充分考慮了人眼視覺(jué)特性，提取參考圖像的視覺(jué)敏感掩模圖，消除了虛擬視點(diǎn)圖像中視覺(jué)不敏感區(qū)域的失真對(duì)客觀質(zhì)量評(píng)價(jià)結(jié)果的影響，使客觀質(zhì)量評(píng)價(jià)結(jié)果更加符合人眼特性；充分地考慮了失真幅值掩蔽效應(yīng)和失真分布掩蔽效應(yīng)，計(jì)算虛擬視點(diǎn)圖像的失真掩模圖是為了能夠?qū)⑹д娣容^大、失真分布集中的區(qū)域提取出來(lái)，有效的區(qū)分不同幅值、不同分布的失真對(duì)人眼主觀質(zhì)量的影響。【專(zhuān)利說(shuō)明】-種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法
本專(zhuān)利技術(shù)設(shè)及一種對(duì)虛擬視點(diǎn)及繪制系統(tǒng)性能的評(píng)價(jià)技術(shù)，尤其是設(shè)及一種基于視 覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法。
技術(shù)介紹
近年來(lái)，立體視頻技術(shù)快速發(fā)展。自由視點(diǎn)視頻系統(tǒng)（FVV，F(xiàn)ree Viewpoint Video)更是在3D視頻基礎(chǔ)上的進(jìn)一步發(fā)展，可W使用戶獲得更好的視覺(jué)體驗(yàn)效果。基于深 度的虛擬視點(diǎn)繪制（DIBR，Depth Image Based Rendering)技術(shù)是FVV系統(tǒng)的核屯、，其能夠 克服相機(jī)獲取真實(shí)視點(diǎn)能力的限制，產(chǎn)生足夠多的虛擬視點(diǎn)。然而，由繪制產(chǎn)生的虛擬視點(diǎn) 存在多種類(lèi)型失真，虛擬視點(diǎn)失真將嚴(yán)重影響3D視覺(jué)體驗(yàn)效果，因此需要提出一種評(píng)價(jià)尺 度W衡量虛擬視點(diǎn)質(zhì)量。虛擬視點(diǎn)質(zhì)量評(píng)價(jià)不同于傳統(tǒng)的2D評(píng)價(jià)尺度，虛擬視點(diǎn)質(zhì)量評(píng)價(jià) 不僅是對(duì)虛擬視點(diǎn)質(zhì)量的衡量，而且也是對(duì)DIBR算法性能的評(píng)估。此外，由于虛擬視點(diǎn)繪制 失真不同于傳統(tǒng)失真類(lèi)型，因此傳統(tǒng)的2D評(píng)價(jià)算法不能有效的衡量虛擬視點(diǎn)質(zhì)量。 虛擬視點(diǎn)數(shù)據(jù)來(lái)源于解碼端。因此，影響虛擬視點(diǎn)質(zhì)量的因素主要有兩個(gè):一是接 收的深度視頻和彩色視頻的質(zhì)量;二是虛擬視點(diǎn)繪制算法。在相同的彩色視頻和深度視頻 配置下，虛擬視點(diǎn)質(zhì)量同時(shí)也反映了虛擬視點(diǎn)繪制系統(tǒng)的性能。在使用同一虛擬視點(diǎn)繪制 算法條件下，虛擬視點(diǎn)質(zhì)量也反映出解碼端彩色視頻和深度視頻的質(zhì)量，彩色視頻影響為 虛擬視點(diǎn)像素幅值的改變，而深度視頻影響為虛擬視點(diǎn)像素位置的偏移。此外，虛擬視點(diǎn)質(zhì) 量評(píng)價(jià)可分為虛擬視點(diǎn)視頻質(zhì)量評(píng)價(jià)和虛擬視點(diǎn)圖像質(zhì)量評(píng)價(jià)。 在基于多視點(diǎn)加深度(MVD，Multi-view Video plus D邱th)的FW系統(tǒng)中，虛擬視 點(diǎn)由解碼端彩色視頻和與之相對(duì)應(yīng)的深度視頻繪制產(chǎn)生。DIBR技術(shù)的核屯、思想是利用深度 信息和攝像機(jī)參數(shù)將參考圖像中的像素投影到目標(biāo)虛擬視點(diǎn)上，主要由W下幾步完成:首 先，利用深度信息，將參考圖像中的所有的像素點(diǎn)重投影到與之對(duì)應(yīng)的3D空間中；然后，將 運(yùn)些3D空間點(diǎn)投影到目標(biāo)圖像平面;最后，對(duì)繪制的虛擬視點(diǎn)進(jìn)行后處理，消除虛擬視點(diǎn)中 的失真，主要包括空桐填補(bǔ)和偽影消除過(guò)程。 虛擬視點(diǎn)繪制時(shí)，通常需要將深度轉(zhuǎn)化為視差，通過(guò)視差可求得參考視點(diǎn)中像素 點(diǎn)在虛擬視點(diǎn)中的位置，深度值決定參考視點(diǎn)中像素的偏移距離，若相鄰深度值變化劇烈， 則會(huì)在兩像素之間產(chǎn)生空桐，深度值變化越尖銳，則產(chǎn)生的空桐越大。由于前景與背景交界 處深度值變化較大，因此空桐的產(chǎn)生一般位于前景與背景交界處。前景與背景深度邊界不 準(zhǔn)使用不同的插值算法進(jìn)行空桐填補(bǔ)時(shí)，則會(huì)產(chǎn)生不同的失真。虛擬視點(diǎn)繪制過(guò)程中，邊界 像素的不可見(jiàn)也會(huì)在虛擬視點(diǎn)繪制過(guò)程中產(chǎn)生空桐，使用不同的算法進(jìn)行邊界填補(bǔ)時(shí)，產(chǎn) 生的失真也不相同。 深度圖獲取算法的限制和深度圖編碼會(huì)導(dǎo)致深度估計(jì)不準(zhǔn)和深度壓縮失真，深度 壓縮失真則會(huì)造成虛擬視點(diǎn)像素位置偏移和對(duì)象扭曲。基于結(jié)構(gòu)相似度的檢測(cè)算法則可W 很好的檢測(cè)出失真偏移區(qū)域。對(duì)于不同繪制算法繪制出的虛擬視點(diǎn)組成的數(shù)據(jù)庫(kù)，存在W 下幾個(gè)影響因子:繪制算法、視覺(jué)敏感區(qū)域和失真分布情況。 由于待評(píng)價(jià)虛擬視點(diǎn)為不同算法繪制得到，使用不同算法處理圖像邊界空桐和遮 擋空桐時(shí)，會(huì)在虛擬視點(diǎn)中引入不同類(lèi)型失真和不同程度的對(duì)象偏移和扭曲。因此，不同虛 擬視點(diǎn)繪制算法將影響虛擬視點(diǎn)質(zhì)量和虛擬視點(diǎn)失真類(lèi)型。 由于虛擬視點(diǎn)失真大多為虛擬視點(diǎn)中像素位置偏移和對(duì)象扭曲，因此基于結(jié)構(gòu)相 似度的評(píng)價(jià)算法可W很好地檢測(cè)出此種類(lèi)型的失真。然而，對(duì)于評(píng)價(jià)算法檢測(cè)出的失真區(qū) 域，并非所有的失真區(qū)域都可W很好的被人眼所察覺(jué)，不同區(qū)域不同幅度的失真，對(duì)人眼的 影響效果也不盡相同，紋理復(fù)雜度較高或紋理特征相似的區(qū)域往往可W容忍更多的繪制失 真，而紋理特性變化較大區(qū)域的失真往往容易被人眼所察覺(jué)。 失真的幅度和失真分布的集中及分散程度也將對(duì)人眼有不同的影響效果。若虛擬 視點(diǎn)中存在多處失真，則失真程度較大的區(qū)域?qū)θ搜鄣挠绊戄^為顯著，而失真程度較小的 區(qū)域?qū)θ搜塾绊戄^小;失真較為集中的區(qū)域?qū)θ搜鄣挠绊戄^大，而失真較為分散的區(qū)域?qū)?人眼的影響較小。若虛擬視點(diǎn)中存在多處失真，幅度較大、分布集中的失真則會(huì)將幅度較 小、分布離散的失真掩蔽掉，影響人眼的視覺(jué)效果。 由上述內(nèi)容可知，虛擬視點(diǎn)繪制過(guò)程會(huì)引入許多新類(lèi)型的失真，同時(shí)加入人眼視 覺(jué)特性和失真分布的影響，傳統(tǒng)的基于像素的質(zhì)量評(píng)價(jià)方法不能有效的評(píng)價(jià)虛擬視點(diǎn)質(zhì) 量。虛擬視點(diǎn)質(zhì)量評(píng)價(jià)不僅是對(duì)虛擬視點(diǎn)質(zhì)量的衡量，而且也是對(duì)深度圖質(zhì)量和繪制算法 性能的衡量，因此，設(shè)計(jì)一種有效的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法具有重要的意義，該方法不僅要 求能夠有效的評(píng)價(jià)虛擬視點(diǎn)的質(zhì)量，符合人眼視覺(jué)特性，而且也要求能夠有效的評(píng)價(jià)虛擬 視點(diǎn)繪制算法的性能，選擇出較優(yōu)的虛擬視點(diǎn)繪制算法。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)所要解決的技術(shù)問(wèn)題是提供一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià) 方法，其能夠有效的評(píng)價(jià)虛擬視點(diǎn)的質(zhì)量，同時(shí)能夠有效的評(píng)價(jià)虛擬視點(diǎn)繪制算法的性能， 使主客觀評(píng)價(jià)結(jié)果更加一致，從而能夠有效的選出較優(yōu)的虛擬視點(diǎn)圖像和虛擬視點(diǎn)繪制算 法。 本專(zhuān)利技術(shù)解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為:一種基于視覺(jué)掩蔽效應(yīng)的虛擬視 點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在于包括W下步驟： ①選定一幅寬度為W且高度為H的參考圖像;并利用多種不同虛擬視點(diǎn)繪制算法分 別獲取同一視點(diǎn)的虛擬視點(diǎn)視頻;接著提取每個(gè)虛擬視點(diǎn)視頻中的虛擬視點(diǎn)關(guān)鍵帖圖像作 為待評(píng)價(jià)的虛擬視點(diǎn)圖像;再由提取出的所有待評(píng)價(jià)的虛擬視點(diǎn)圖像構(gòu)成失真圖像庫(kù)，其 中，失真圖像庫(kù)中的每幅虛擬視點(diǎn)圖像的寬度為W且高度為H; ②將失真圖像庫(kù)中當(dāng)前待評(píng)價(jià)的虛擬視點(diǎn)圖像定義為當(dāng)前虛擬視點(diǎn)圖像； ③對(duì)當(dāng)前虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ)償，得到當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索 引圖，記為Iindex,具體過(guò)程為： ③-1、利用一個(gè)尺寸大小為NXN的滑動(dòng)窗口，在參考圖像中逐像素點(diǎn)移動(dòng)，將參考 圖像劃分成(W-(N-I)) X化-(N-I))個(gè)相互重疊的尺寸大小為NXN的圖像塊作為參考圖像 塊；同樣，在當(dāng)前虛擬視點(diǎn)圖像中逐像素點(diǎn)移動(dòng)，將當(dāng)前虛擬視點(diǎn)圖像劃分成(W-(N-I)) X 化-(N-I))個(gè)相互重疊的尺寸大小為NXN的圖像塊作為失真圖像塊;其中，N> 1; ③-2、在參考圖像中捜索，找出與當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊匹配最 佳的參考圖像塊作為最佳匹配塊； ③-3、計(jì)算當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度 值，將當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種基于視覺(jué)掩蔽效應(yīng)的虛擬視點(diǎn)質(zhì)量評(píng)價(jià)方法，其特征在于包括以下步驟：①選定一幅寬度為W且高度為H的參考圖像；并利用多種不同虛擬視點(diǎn)繪制算法分別獲取同一視點(diǎn)的虛擬視點(diǎn)視頻；接著提取每個(gè)虛擬視點(diǎn)視頻中的虛擬視點(diǎn)關(guān)鍵幀圖像作為待評(píng)價(jià)的虛擬視點(diǎn)圖像；再由提取出的所有待評(píng)價(jià)的虛擬視點(diǎn)圖像構(gòu)成失真圖像庫(kù)，其中，失真圖像庫(kù)中的每幅虛擬視點(diǎn)圖像的寬度為W且高度為H；②將失真圖像庫(kù)中當(dāng)前待評(píng)價(jià)的虛擬視點(diǎn)圖像定義為當(dāng)前虛擬視點(diǎn)圖像；③對(duì)當(dāng)前虛擬視點(diǎn)圖像進(jìn)行偏移補(bǔ)償，得到當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索引圖，記為Iindex，具體過(guò)程為：③?1、利用一個(gè)尺寸大小為N×N的滑動(dòng)窗口，在參考圖像中逐像素點(diǎn)移動(dòng)，將參考圖像劃分成(W?(N?1))×(H?(N?1))個(gè)相互重疊的尺寸大小為N×N的圖像塊作為參考圖像塊；同樣，在當(dāng)前虛擬視點(diǎn)圖像中逐像素點(diǎn)移動(dòng)，將當(dāng)前虛擬視點(diǎn)圖像劃分成(W?(N?1))×(H?(N?1))個(gè)相互重疊的尺寸大小為N×N的圖像塊作為失真圖像塊；其中，N≥1；③?2、在參考圖像中搜索，找出與當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊匹配最佳的參考圖像塊作為最佳匹配塊；③?3、計(jì)算當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值，將當(dāng)前虛擬視點(diǎn)圖像中的第k個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值記為SSIMk，其中，k的初始值為1，1≤k≤(W?(N?1))×(H?(N?1))；③?4、將當(dāng)前虛擬視點(diǎn)圖像中的每個(gè)失真圖像塊與其最佳匹配塊的結(jié)構(gòu)相似度值作為該失真圖像塊的中心像素點(diǎn)的客觀評(píng)價(jià)值；③?5、將當(dāng)前虛擬視點(diǎn)圖像中的所有失真圖像塊的中心像素點(diǎn)的客觀評(píng)價(jià)值構(gòu)成的圖像作為當(dāng)前虛擬視點(diǎn)圖像的結(jié)構(gòu)相似度值索引圖Iindex，完成當(dāng)前虛擬視點(diǎn)圖像的偏移補(bǔ)償，其中，Iindex的寬度為W?(N?1)且高度為H?(N?1)；④根據(jù)Iindex計(jì)算當(dāng)前虛擬視點(diǎn)圖像的失真掩模圖，記為Vb，其中，Vb的寬度為W?(N?1)且高度為H?(N?1)；⑤計(jì)算參考圖像的視覺(jué)敏感掩模圖，記為Vt，其中，Vt的寬度為W且高度為H；然后對(duì)Vt進(jìn)行歸一化處理，得到參考圖像的歸一化后的視覺(jué)敏感掩模圖，記為Vt'；再對(duì)Vt'進(jìn)行裁剪，保留寬度為W?(N?1)且高度為H?(N?1)的中間部分，將該中間部分作為參考圖像的最終的視覺(jué)敏感掩模圖，記為Vt”，其中，Vt”的寬度為W?(N?1)且高度為H?(N?1)；⑥計(jì)算當(dāng)前虛擬視點(diǎn)圖像的質(zhì)量評(píng)價(jià)預(yù)測(cè)值，記為Scorecur，其中，Lcur表示當(dāng)前虛擬視點(diǎn)圖像的基線距離加權(quán)因子，1≤x'≤W?(N?1),1≤y'≤H?(N?1)，Iindex(x',y')表示Iindex中坐標(biāo)位置為(x',y')的像素點(diǎn)的像素值，Vb(x',y')表示Vb中坐標(biāo)位置為(x',y')的像素點(diǎn)的像素值，Vt”(x',y')表示Vt”中坐標(biāo)位置為(x',y')的像素點(diǎn)的像素值；⑦將失真圖像庫(kù)中下一幅待評(píng)價(jià)的虛擬視點(diǎn)圖像作為當(dāng)前虛擬視點(diǎn)圖像，然后返回步驟③繼續(xù)執(zhí)行，直至失真圖像庫(kù)中的所有虛擬視點(diǎn)圖像處理完畢。...
【技術(shù)特征摘要】
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：陳芬，焦任直，彭宗舉，蔣剛毅，郁梅，
申請(qǐng)(專(zhuān)利權(quán))人：寧波大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：浙江;33
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。