【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于圖像壓縮領(lǐng)域，具體涉及一種基于transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法。
技術(shù)介紹
1、極光光譜圖像提供了關(guān)于極光成因和特征的詳細(xì)信息，有重要的研究價值。但由于極光具有瞬時變化的特點(diǎn)，極光光譜儀需要以很短的時間間隔(10～20秒)連續(xù)采集，每天產(chǎn)生大量數(shù)據(jù)，給存儲和傳輸帶來極大挑戰(zhàn)。然而，極地與國內(nèi)之間的傳輸帶寬非常有限，因此目前的極光光譜數(shù)據(jù)通常先本地存儲，然后由科研人員帶回國內(nèi)，嚴(yán)重制約了極光的研究和應(yīng)用。目前，極光光譜圖像的無損壓縮方法主要是基于點(diǎn)預(yù)測的方法。對于每一個像素，利用其鄰域像素對其進(jìn)行線性或非線性預(yù)測，所有像素預(yù)測完成后，原始圖像減去預(yù)測圖像得到殘差圖像，
2、然后對殘差圖像熵編碼生成碼流，最后解壓縮端利用殘差碼流恢復(fù)出原始圖像。預(yù)測越準(zhǔn)確，殘差越小，熵編碼的碼率越小，壓縮性能越好。
3、在線性點(diǎn)預(yù)測方法中，在線差分脈沖編碼調(diào)制(online?differential?pulsecode?modulation，online?dpcm)性能優(yōu)越。該方法利用每個像素上方所有行中左邊n列的像素構(gòu)建n元一次線性方程組，然后使用最小二乘法進(jìn)行求解，求出的預(yù)測系數(shù)與當(dāng)前像素左邊的n個像素的加權(quán)和作為當(dāng)前像素的預(yù)測值。該方法由于充分利用了每個像素的局部上下文信息，獲得了優(yōu)秀的壓縮性能。但由于對每個像素都要求解一個線性方程組，且行號越大的像素對應(yīng)的線性方程組越大，所以該方法的計(jì)算量較大，壓縮一幅圖像耗時較長。
4、在非線性點(diǎn)預(yù)測算法中，jpeg-ls被用于極
5、綜上，以上極光光譜圖像壓縮算法均是利用人工設(shè)計(jì)的預(yù)測算子，且均只考慮了極光光譜圖像的空間和光譜相關(guān)性，沒有考慮時間相關(guān)性，并且人工設(shè)計(jì)的預(yù)測算子無法對當(dāng)前待預(yù)測像素與參考像素的關(guān)系進(jìn)行準(zhǔn)確建模。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供了一種基于transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，以解決現(xiàn)有技術(shù)使用人工設(shè)計(jì)的預(yù)測算子準(zhǔn)確率低下，以及未使用時間相關(guān)性，無法充分消除冗余信息的問題。
2、本專利技術(shù)的目的是通過以下技術(shù)手段實(shí)現(xiàn)的，一種基于transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，
3、s1、對連續(xù)的原始極光光譜圖像進(jìn)行分段，分出的若干張圖像在壓縮時存在時間相關(guān)性；
4、s2、對于待預(yù)測像素，選取時間、空間和光譜方向上的相關(guān)的像素，作為參考像素，參考像素構(gòu)成上下文向量；
5、s3、圖像壓縮，構(gòu)建神經(jīng)網(wǎng)絡(luò)，將上下文向量輸入神經(jīng)網(wǎng)絡(luò)，輸出當(dāng)前像素的預(yù)測值；
6、s4、重復(fù)s3直至所有像素預(yù)測完成，根據(jù)所有像素的預(yù)測值得到預(yù)測圖像，原始圖像減去預(yù)測圖像得到殘差圖像；
7、s5、對殘差圖像進(jìn)行熵編碼，得到碼流文件；
8、s6、對碼流文件進(jìn)行解碼，得到殘差圖像，并對殘差圖像每個像素通過神經(jīng)網(wǎng)絡(luò)計(jì)算預(yù)測值，預(yù)測值加上殘差圖像中對應(yīng)位置的殘差，即可得到原始像素值，從而得到無損原始極光光譜圖像。
9、還對待預(yù)測的圖像設(shè)置需要參考的時間參考像素?cái)?shù)目，能取到足夠多時間參考像素的圖像進(jìn)入s2，如果不能則采用online?dpcm對整個圖像進(jìn)行壓縮。
10、圖像預(yù)測前，還對待預(yù)測的圖像設(shè)置需要參考的空間和光譜參考像素?cái)?shù)目，
11、若待預(yù)測的像素，無法取得足夠數(shù)目的空間和光譜參考像素，則通過以下方式進(jìn)行壓縮，
12、若待預(yù)測的像素為圖像中的第一個像素，即左上角的像素，預(yù)測值為0，殘差為像素值本身；
13、若待預(yù)測的像素為圖像中第一行或第一列的像素，預(yù)測值為前一個緊相鄰的像素；
14、其余像素采用jpeg-ls方法預(yù)測。
15、所述s4后，還對殘差圖像進(jìn)行異常值處理，具體為，對殘差出現(xiàn)次數(shù)設(shè)定閾值t，當(dāng)某個殘差值的出現(xiàn)頻率小于閾值t時，原始極光光譜圖像中與該殘差位置相同的像素被稱為異常值，將該殘差直接置為零，對修改后的殘差進(jìn)行熵編碼，最后將異常像素連同它們的位置以及殘差碼流一起傳輸?shù)浇獯a端，恢復(fù)原始圖像。
16、所述jpeg-ls方法預(yù)測具體為，
17、每個像素用其左、上、以及左上的三個像素按照如下公式進(jìn)行預(yù)測。其中，為當(dāng)前像素預(yù)測值，x1為當(dāng)前像素左邊的像素，x2為上邊的像素，x3為左上的像素。
18、
19、所述通過神經(jīng)網(wǎng)絡(luò)得到預(yù)測值的具體方法為，
20、使用詞嵌入技術(shù)對當(dāng)前像素p的上下文向量進(jìn)行嵌入，將上下文向量中的每個元素映射成一個512維的向量；
21、使用位置編碼技術(shù)對上下文向量進(jìn)行位置編碼，根據(jù)在上下文向量中的位置為每個元素生成一個512維的向量；
22、將詞嵌入向量與位置向量對應(yīng)位置元素相加，得到最終要輸入給神經(jīng)網(wǎng)絡(luò)的輸入向量；
23、將輸入向量輸入給由兩個transformer編碼單元組成的編碼器，得到隱層表示y；
24、將y輸入由三層全連接層組成的解碼器，得到p的預(yù)測值三個全連接層的大小分別為512、256和1，第一層和第二層之后均添加了relu激活函數(shù)和dropout層。
25、所述上下文向量具體為，
26、對于待預(yù)測像素所在圖像，以待預(yù)測像素為中心，左側(cè)空間像素?cái)?shù)目的像素，以及上方光譜方向像素?cái)?shù)目的像素；
27、待預(yù)測像素時間方向之前的圖像，以待預(yù)測像素為中心，左側(cè)和右側(cè)空間像素?cái)?shù)目的像素，以及上方和下方光譜方向像素?cái)?shù)目的像素；
28、以上所有像素按照固定順序排列，構(gòu)成下上文向量。
29、所述待預(yù)測像素時間方向之前的圖像，選擇空間和和光譜方向像素時，像素?cái)?shù)目小于之前設(shè)置需要的參考的空間和光譜參考像素?cái)?shù)目。
30、本專利技術(shù)的有益效果在于：基于transformer的神經(jīng)網(wǎng)絡(luò)可以提高建模精度，提高預(yù)測準(zhǔn)確度；引入時間相關(guān)性，同時用時間、空間和光譜方向的參考像素進(jìn)行預(yù)測，可以提高預(yù)測準(zhǔn)確度，進(jìn)一步消除冗余；引入異常處理，可以進(jìn)一步減小碼率。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于Transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：
2.根據(jù)權(quán)利要求1所述的一種基于Transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：還對待預(yù)測的圖像設(shè)置需要參考的時間參考像素?cái)?shù)目，能取到足夠多時間參考像素的圖像進(jìn)入S2，如果不能則采用Online?DPCM對整個圖像進(jìn)行壓縮。
3.根據(jù)權(quán)利要求1或2所述的一種基于Transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：圖像預(yù)測前，還對待預(yù)測的圖像設(shè)置需要參考的空間和光譜參考像素?cái)?shù)目，
4.根據(jù)權(quán)利要求1所述的一種基于Transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：所述S4后，還對殘差圖像進(jìn)行異常值處理，具體為，對殘差出現(xiàn)次數(shù)設(shè)定閾值T，當(dāng)某個殘差值的出現(xiàn)頻率小于閾值T時，原始極光光譜圖像中與該殘差位置相同的像素被稱為異常值，將該殘差直接置為零，對修改后的殘差進(jìn)行熵編碼，最后將異常像素連同它們的位置以及殘差碼流一起傳輸?shù)浇獯a端，恢復(fù)原始圖像。
5.根據(jù)權(quán)利要求3所述的一種基于Tra
6.根據(jù)權(quán)利要求1所述的一種基于Transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：所述通過神經(jīng)網(wǎng)絡(luò)得到預(yù)測值的具體方法為，
7.根據(jù)權(quán)利要求3所述的一種基于Transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：所述上下文向量具體為，
8.根據(jù)權(quán)利要求7所述的一種基于Transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：所述待預(yù)測像素時間方向之前的圖像，選擇空間和和光譜方向像素時，像素?cái)?shù)目小于之前設(shè)置需要的參考的空間和光譜參考像素?cái)?shù)目。
...【技術(shù)特征摘要】
1.一種基于transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：
2.根據(jù)權(quán)利要求1所述的一種基于transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：還對待預(yù)測的圖像設(shè)置需要參考的時間參考像素?cái)?shù)目，能取到足夠多時間參考像素的圖像進(jìn)入s2，如果不能則采用online?dpcm對整個圖像進(jìn)行壓縮。
3.根據(jù)權(quán)利要求1或2所述的一種基于transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：圖像預(yù)測前，還對待預(yù)測的圖像設(shè)置需要參考的空間和光譜參考像素?cái)?shù)目，
4.根據(jù)權(quán)利要求1所述的一種基于transformer的時空譜聯(lián)合的極光光譜圖像無損壓縮方法，其特征在于：所述s4后，還對殘差圖像進(jìn)行異常值處理，具體為，對殘差出現(xiàn)次數(shù)設(shè)定閾值t，當(dāng)某個殘差值的出現(xiàn)頻率小于閾值t時，原始極光光譜圖像中與該殘差位置相同的像素被稱為異...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李皎皎，曹鑫龍，李啟越，閆嘉鵬，胡慧敏，
申請(專利權(quán))人：西安郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。