一種基于DCT域本征變換的人臉圖像超分辨率重建方法技術(shù)

一種基于DCT域本征變換的人臉圖像超分辨率重建方法涉及圖像處理領(lǐng)域。利用了DCT變換的能量集中特性，低頻部分采用DCT域插值放大方法，高頻部分利用基于PCA的方法，預(yù)測(cè)高頻信息。針對(duì)輸入的LR圖像在DCT域操作，處理結(jié)束后采用DCT域基于雙邊濾波的方法，自適應(yīng)去除塊效應(yīng)。我們對(duì)壓縮圖像部分解壓就可得到圖像的分塊DCT系數(shù)，將DCT系數(shù)直接應(yīng)用到提出的算法中，減少了圖像處理算法的運(yùn)行時(shí)間。對(duì)于壓縮圖像，DCT系數(shù)的粗糙量化導(dǎo)致圖像壓縮失真，在DCT域進(jìn)行超分辨率復(fù)原，是從失真產(chǎn)生的根源出發(fā)進(jìn)行算法處理，有助于更好地解決壓縮失真問(wèn)題。與傳統(tǒng)的算法相比，本發(fā)明專利技術(shù)將來(lái)能夠直接應(yīng)用到壓縮圖像中，所重建的圖像具有更高的主客觀質(zhì)量。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及圖像處理方法，特別涉及一種基于DCT域本征變換的人臉圖像超分辨率重建方法。
技術(shù)介紹
高質(zhì)量的圖像和視頻因其具有更豐富的信息和更真實(shí)的視覺(jué)感受，越來(lái)越成為一種主流的需求。受到成像環(huán)境和成像系統(tǒng)性能的限制，成像系統(tǒng)獲得的圖像通常是清晰度較低的低質(zhì)量圖像。例如，很多安全部門、敏感公共場(chǎng)所、交通要道、居民小區(qū)等都配備了全天候?qū)崟r(shí)視頻監(jiān)控系統(tǒng)。然而，由于受到監(jiān)控?cái)z像頭分辨率性能、監(jiān)控環(huán)境光照條件、監(jiān)控距離以及噪聲等因素的影響，監(jiān)控系統(tǒng)所獲取的視頻圖像可能是模糊不清的低質(zhì)量圖像，人臉圖像的分辨率通常較低，人臉面部細(xì)節(jié)丟失嚴(yán)重，難以達(dá)到進(jìn)一步自動(dòng)分析和識(shí)別的要求。因此，針對(duì)低質(zhì)人臉圖像，研究超分辨率復(fù)原技術(shù)，提高圖像的質(zhì)量，具有重要的理論意義和實(shí)際應(yīng)用價(jià)值。傳統(tǒng)的簡(jiǎn)單的信號(hào)處理技術(shù)，直接采用最近鄰、雙向線性內(nèi)插方法，雖然提高了圖像的分辨率，但是并沒(méi)有添加圖像的高頻信息，圖像質(zhì)量難以提高。隨后，研究者提出了基于重建的方法和基于學(xué)習(xí)的方法預(yù)測(cè)高分辨率圖像的高頻信息。從早期的頻域混迭開始，到各種基于正則化重建的空域方法。基于重建的技術(shù)得到了廣泛的研究，期間涌現(xiàn)了一批有效的算法。但是，當(dāng)放大因子增大時(shí)，重建約束所能提供的有效信息越來(lái)越少，因此這種方法的超分辨率復(fù)原能力受到了很大的限制。基于學(xué)習(xí)或基于示例的超分辨率復(fù)原則利用了不同圖像在高頻細(xì)節(jié)上的相似性，通過(guò)學(xué)習(xí)低分辨率圖像和對(duì)應(yīng)高分辨率圖像之間的關(guān)系來(lái)指導(dǎo)圖像的超分辨率復(fù)原過(guò)程。基于學(xué)習(xí)的方法對(duì)于人臉圖像，在低分辨率圖像質(zhì)量較差、放大倍數(shù)較高時(shí)能取得很好的效果。DCT(DiscreteCosineTransform)具有很好的能量集中性能，經(jīng)過(guò)變換大部分能量集中在低頻區(qū)域，能夠很好的將圖像塊的中高頻信息和低頻信息進(jìn)行分離。基于分塊的DCT變換，廣泛應(yīng)用于JPEG等壓縮處理中。DC(DirectCurrent)系數(shù)表示子塊圖像的平均亮度，AC(AlternatingCurrent)系數(shù)代表子塊圖像的邊緣、紋理信息。眼睛、鼻子、嘴唇等高頻信息豐富的區(qū)域，往往需要通過(guò)學(xué)習(xí)補(bǔ)償?shù)玫健Ｖ鞒煞址治鏊惴?PCA，PrincipalComponentAnalysis)在人臉超分辨率復(fù)原算法中得到了廣泛應(yīng)用。PCA是一種多元統(tǒng)計(jì)數(shù)據(jù)分析方法，它是采用很少的線性無(wú)關(guān)的變量來(lái)表征多維空間的大部分時(shí)刻變化的信息，因此，它是目標(biāo)統(tǒng)計(jì)特性的最佳正交變換。利用PCA算法和DCT變換的優(yōu)勢(shì)，我們提出了基于DCT域本征變換的人臉圖像超分辨率重建方法。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的在于，面向低分辨率人臉圖像，采用一種基于DCT域本征變換的人臉圖像超分辨率重建方法，提高人臉圖像的質(zhì)量。本專利技術(shù)是通過(guò)以下技術(shù)手段來(lái)實(shí)現(xiàn)的：一種基于DCT域本征變換的人臉圖像超分辨率重建方法，整體流程圖如附圖1所示；算法分為離線部分和在線部分；其流程圖分別如附圖2和附圖3所示；離線部分，根據(jù)高分辨率(HR，HighResolution)人臉圖像和下采樣得到的低分辨率(LR，LowResolution)人臉圖像，分別確定在DCT域基于PCA的特征向量矩陣和首先將HR圖像庫(kù)中的每幅圖像進(jìn)行下采樣得到LR圖像庫(kù)；然后將LR圖像進(jìn)行DCT域插值放大，得到初始放大的圖像樣本庫(kù)(LR_Prim)；接著分別將LR_Prim樣本庫(kù)中的圖像和HR圖像庫(kù)中的圖像進(jìn)行DCT域基于PCA的本征變換，分別得到LR_Prim圖像和HR圖像的特征向量矩陣和在線部分，將輸入的LR人臉圖像進(jìn)行DCT域插值放大，得到的DCT系數(shù)矩陣，經(jīng)過(guò)歸一化，列向量化，得到的結(jié)果記為x1。將x1去中心化，映射到LR_Prim圖像對(duì)應(yīng)的特征向量矩陣確定x1的PCA系數(shù)w1。將HR圖像進(jìn)行分塊DCT變換，歸一化，列向量化，得到的結(jié)果記為x0。將x0去中心化映射到HR圖像庫(kù)的特征向量矩陣確定x0的PCA系數(shù)w0。對(duì)于同一幅HR圖像，和下采樣得到的LR圖像，由于圖像內(nèi)容相同，我們假定權(quán)重系數(shù)w0和w1相等；超分辨率復(fù)原過(guò)程，LR圖像已知，因此我們能夠確定x1，w1,又因?yàn)楹涂梢酝ㄟ^(guò)樣本庫(kù)訓(xùn)練得到。通過(guò)矩陣運(yùn)算，可以得到最終重建后的DCT系數(shù)。具體運(yùn)算過(guò)程，我們將會(huì)在下文具體闡述。由于分塊DCT處理會(huì)導(dǎo)致塊效應(yīng)的存在，我們采用基于DCT域的雙邊濾波的方法，自適應(yīng)去除塊效應(yīng)。所述離線部分分為以下幾個(gè)步驟：(1)將HR人臉圖像樣本庫(kù)中的圖像，經(jīng)過(guò)下采樣得到LR人臉圖像樣本庫(kù)，通過(guò)DCT域高頻系數(shù)補(bǔ)零的方式進(jìn)行插值放大獲得LR圖像的初始放大圖像庫(kù)LR_Prim。(2)對(duì)(1)中得到的LR_Prim圖像庫(kù)和HR圖像庫(kù)，進(jìn)行分塊DCT變換，并將每幅圖像的DCT系數(shù)矩陣，歸一化，列向量化，從而得到了人臉圖像DCT域訓(xùn)練集，LR_Prim圖像庫(kù)對(duì)應(yīng)的訓(xùn)練樣本矩陣L1和HR圖像庫(kù)對(duì)應(yīng)的訓(xùn)練樣本矩陣L0。(3)對(duì)訓(xùn)練樣本矩陣L1，L0進(jìn)行主成分量分析(PCA)，得到對(duì)應(yīng)的特征向量矩陣和所述在線部分分為5個(gè)步驟：(1)輸入一幅LR圖像，分塊DCT變換，得到DCT系數(shù)矩陣；(2)對(duì)(1)中得到的DCT系數(shù)矩陣，進(jìn)行DCT域插值放大，歸一化，列向量化，得到的結(jié)果記為x1。將x1去中心化的結(jié)果映射到樣本矩陣L1對(duì)應(yīng)的特征向量矩陣得到權(quán)重系數(shù)w1；(3)將權(quán)重系數(shù)w1與HR圖像樣本矩陣L0對(duì)應(yīng)的特征向量矩陣乘積，得到重建HR圖像的DCT域的列向量，去中心化，歸一化，并將該列向量矩陣轉(zhuǎn)化成圖像大小，獲得每個(gè)子塊的高頻系數(shù)；(4)將LR_Prim的低頻部分作為重建目標(biāo)圖像的低頻系數(shù)，(3)中得到的每個(gè)子塊的高頻系數(shù)作為重建圖像的高頻系數(shù)；(5)將重建圖像進(jìn)行基于DCT域的雙邊濾波處理，去除塊效應(yīng)，然后進(jìn)行分塊DCT逆變換，得到重建高分辨率圖像。本專利技術(shù)與現(xiàn)有技術(shù)相比，具有以下明顯的優(yōu)勢(shì)和有益效果：本專利技術(shù)首先提出了一種新的DCT域人臉圖像超分辨率復(fù)原算法，利用了DCT變換的能量集中特性，低頻部分采用DCT域插值放大方法，高頻部分利用基于PCA的方法，預(yù)測(cè)高頻信息。DCT域插值放大的得到的重建圖像比雙線性內(nèi)插方法的得到的重建圖像具有更好主客觀質(zhì)量。相比其他算法，本發(fā)明的方法能針對(duì)輸入的LR圖像在DCT域操作，處理結(jié)束后采用DCT域基于雙邊濾波的方法，自適應(yīng)去除塊效應(yīng)。DCT變換被廣泛應(yīng)用于圖像視頻壓縮中，在DCT域進(jìn)行圖像超分辨率復(fù)原具有一定的應(yīng)用基礎(chǔ)。我們對(duì)壓縮圖像部分解壓就可得到圖像的分塊本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于DCT域本征變換的人臉圖像超分辨率重建方法,分為離線部分和在線部分；其特征在于，所述離線部分分為以下幾個(gè)步驟：(1)將HR人臉圖像樣本庫(kù)中的圖像，經(jīng)過(guò)下采樣得到LR人臉圖像樣本庫(kù)，通過(guò)DCT域高頻系數(shù)補(bǔ)零的方式進(jìn)行插值放大獲得LR圖像的初始放大圖像庫(kù)LR_Prim；(2)對(duì)得到的LR_Prim圖像庫(kù)和HR圖像庫(kù)，進(jìn)行分塊DCT變換，并將每幅圖像的DCT系數(shù)矩陣，歸一化，列向量化，從而得到了人臉圖像DCT域訓(xùn)練集，LR_Prim圖像庫(kù)對(duì)應(yīng)的訓(xùn)練樣本矩陣L1和HR圖像庫(kù)對(duì)應(yīng)的訓(xùn)練樣本矩陣L0；(3)對(duì)訓(xùn)練樣本矩陣L1，L0進(jìn)行主成分量分析，得到對(duì)應(yīng)的特征向量矩陣和所述在線部分分為5個(gè)步驟：1)輸入一幅LR圖像，分塊DCT變換，得到DCT系數(shù)矩陣；2)對(duì)得到的DCT系數(shù)矩陣，進(jìn)行DCT域插值放大，歸一化，列向量化，得到的結(jié)果記為x1；將x1去中心化的結(jié)果映射到樣本矩陣L1對(duì)應(yīng)的特征向量矩陣得到權(quán)重系數(shù)w1；3)將權(quán)重系數(shù)w1與HR圖像樣本矩陣L0對(duì)應(yīng)的特征向量矩陣乘積，得到重建HR圖像的DCT域的列向量，去中心化，歸一化，并將該列向量矩陣轉(zhuǎn)化成圖像大小，獲得每個(gè)子塊的高頻系數(shù)；4)將LR_Prim的低頻部分作為重建目標(biāo)圖像的低頻系數(shù)，3)中得到的每個(gè)子塊的高頻系數(shù)作為重建圖像的高頻系數(shù)；5)將重建圖像進(jìn)行基于DCT域的雙邊濾波處理，去除塊效應(yīng)，然后進(jìn)行分塊DCT逆變換，得到重建高分辨率圖像。...

【技術(shù)特征摘要】
1.一種基于DCT域本征變換的人臉圖像超分辨率重建方法,分為離線部分和在線
部分；其特征在于，
所述離線部分分為以下幾個(gè)步驟：
(1)將HR人臉圖像樣本庫(kù)中的圖像，經(jīng)過(guò)下采樣得到LR人臉圖像樣本庫(kù)，通
過(guò)DCT域高頻系數(shù)補(bǔ)零的方式進(jìn)行插值放大獲得LR圖像的初始放大圖像庫(kù)
LR_Prim；
(2)對(duì)得到的LR_Prim圖像庫(kù)和HR圖像庫(kù)，進(jìn)行分塊DCT變換，并將每幅圖
像的DCT系數(shù)矩陣，歸一化，列向量化，從而得到了人臉圖像DCT域訓(xùn)練集，LR_Prim
圖像庫(kù)對(duì)應(yīng)的訓(xùn)練樣本矩陣L1和HR圖像庫(kù)對(duì)應(yīng)的訓(xùn)練樣本矩陣L0；
(3)對(duì)訓(xùn)練樣本矩陣L1，L0進(jìn)行主成分量分析，得到對(duì)應(yīng)的特征向量矩陣和
所述在線部分分為5個(gè)步驟：
1)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李曉光，郭立磊，卓力，
申請(qǐng)(專利權(quán))人：北京工業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：北京;11