【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于圖像質(zhì)量評價(jià)領(lǐng)域，具體涉及一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法。
技術(shù)介紹
1、隨著計(jì)算機(jī)技術(shù)以及人工智能的發(fā)展，圖像質(zhì)量評價(jià)技術(shù)成為了計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向。良好的圖像質(zhì)量評價(jià)方法能夠模擬人類主觀習(xí)慣對目標(biāo)圖像進(jìn)行評分，并且快速、準(zhǔn)確地處理大批量的圖像數(shù)據(jù)，這很好地減少了人工對大量圖像質(zhì)量進(jìn)行評價(jià)的成本，在計(jì)算機(jī)視覺領(lǐng)域具有很高的應(yīng)用價(jià)值。基于深度神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評價(jià)方法憑借良好的準(zhǔn)確率迅速風(fēng)靡，許多主流的圖像質(zhì)量評價(jià)方法取得了顯著效果，這也印證了深度神經(jīng)網(wǎng)絡(luò)的有效性。這些方法在學(xué)習(xí)的過程中顯現(xiàn)出重要的一點(diǎn)：模型學(xué)習(xí)過程中的語義分析階段大大影響著評價(jià)效果。許多圖像質(zhì)量評價(jià)方法通過特征融合、特征交互、網(wǎng)絡(luò)分支等方案提高語義分析階段的準(zhǔn)確性，隨著transformer的興起，視覺任務(wù)中的語義分析階段被提升到一個(gè)新的層次，許多由此改進(jìn)的圖像質(zhì)量評價(jià)方法也應(yīng)運(yùn)而生，這些方法的確取得了較好的效果。然而，無論是傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，還是transformer網(wǎng)絡(luò)，訓(xùn)練過程都需要大量的標(biāo)簽數(shù)據(jù)，得到預(yù)期的收斂模型依賴數(shù)據(jù)的成本投入，如何從現(xiàn)有的任務(wù)中更高效地利用有效知識，從而減少對大量數(shù)據(jù)的依賴十分重要。
2、元學(xué)習(xí)(meta-learning)是機(jī)器學(xué)習(xí)的一個(gè)分支，其主要目標(biāo)是讓機(jī)器學(xué)習(xí)算法自身成為一個(gè)學(xué)習(xí)器，能夠快速適應(yīng)新任務(wù)或新環(huán)境。它不是直接解決特定的任務(wù)，而是關(guān)注如何通過經(jīng)驗(yàn)學(xué)習(xí)來優(yōu)化學(xué)習(xí)過程本身，從而學(xué)習(xí)算法在解決新任務(wù)時(shí)如何調(diào)整參數(shù)或策略，以快速獲得良好的性能。這種“學(xué)習(xí)如何
技術(shù)實(shí)現(xiàn)思路
1、專利技術(shù)目的：為了克服現(xiàn)有技術(shù)的不足，提供一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其為了實(shí)現(xiàn)網(wǎng)絡(luò)對多區(qū)域特征的語義分析，提高模型在質(zhì)量波動(dòng)下評價(jià)失真圖像的準(zhǔn)確率，設(shè)計(jì)基于自注意力機(jī)制的語義分析網(wǎng)絡(luò)，制定隨機(jī)重組策略調(diào)整深度特征尺寸，減少自注意力機(jī)制帶來的參數(shù)負(fù)擔(dān)，為語義分析階段網(wǎng)絡(luò)提供數(shù)據(jù)支撐。同時(shí)為了適應(yīng)現(xiàn)實(shí)任務(wù)的需求，提高模型在多類型質(zhì)量評價(jià)任務(wù)中的泛化性，設(shè)計(jì)元學(xué)習(xí)框架下跨圖像類型質(zhì)量模型參數(shù)優(yōu)化方案，能夠準(zhǔn)確對多類型圖像質(zhì)量進(jìn)行評價(jià)，同時(shí)具備跨圖像類型進(jìn)行圖像質(zhì)量評價(jià)的能力，具有客觀、快速、以及使用性強(qiáng)的優(yōu)勢，為多類型圖像質(zhì)量評價(jià)方法提供了科學(xué)的依據(jù)。
2、技術(shù)方案：為實(shí)現(xiàn)上述目的，本專利技術(shù)提供一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，包括如下步驟：
3、s1：通過構(gòu)建好的基于密集連接的深度特征提取模塊，提取失真圖像的三種不同層次特征，并且將三種不同層次特征進(jìn)行拼接作為不同感受野下的深度融合特征；
4、s2：將深度融合特征作為構(gòu)建好的基于vision?transformer的語義分析模塊的特征輸入，分析得到多層次深度特征間的相互關(guān)系和語義信息，得到語義特征；
5、s3：將語義特征經(jīng)過線性連接層后得到質(zhì)量分?jǐn)?shù)；骨干網(wǎng)絡(luò)的損失函數(shù)為均方誤差損失，通過adam優(yōu)化器進(jìn)行梯度計(jì)算和反向傳播；
6、s4：將深度特征提取模塊、語義分析模塊和線性連接層共同組成骨干網(wǎng)絡(luò)，在步驟s1～s3的執(zhí)行過程中，通過構(gòu)建好的元學(xué)習(xí)框架學(xué)習(xí)并模擬骨干網(wǎng)絡(luò)的參數(shù)更新模式，將失真圖像數(shù)據(jù)集作為元訓(xùn)練對象，從失真圖像中總結(jié)評價(jià)圖像質(zhì)量規(guī)律的經(jīng)驗(yàn)，元學(xué)習(xí)框架按照學(xué)習(xí)步長周期性地學(xué)習(xí)每個(gè)元任務(wù)，并將學(xué)習(xí)得到的先驗(yàn)知識保存；
7、s5：將待識別的菊花失真圖像輸入到骨干網(wǎng)絡(luò)中，經(jīng)過先驗(yàn)知識融合到骨干網(wǎng)絡(luò)后進(jìn)行微調(diào)，獲得適用于菊花質(zhì)量評價(jià)的模型，獲取到菊花質(zhì)量評價(jià)結(jié)果，對菊花圖像進(jìn)行質(zhì)量篩選。
8、進(jìn)一步地，所述步驟s1中深度特征提取模塊由頭部特征提取、3個(gè)密集模塊和3個(gè)過渡層構(gòu)成。其中，頭部特征提取由卷積層、歸一化層、激活函數(shù)和最大池化層構(gòu)成，用于初步調(diào)整特征尺寸，將特征尺寸縮小至56*56。三3個(gè)密集模塊和3個(gè)過渡層交替完成特征提取任務(wù)，其中3個(gè)密集模塊分別由6、12、24個(gè)密集層組成，每個(gè)密集層由兩組卷積層、歸一化層、激活函數(shù)構(gòu)成，滿足對當(dāng)前感受野特征的提取，并且每個(gè)密集層的輸入和輸出特征進(jìn)行通道特征拼接，作為下一個(gè)密集層的輸入，以此減少梯度消失，增加特征傳遞的豐富度。每個(gè)密集模塊后的過渡層由卷積層、歸一化層、激活函數(shù)以及平均池化構(gòu)成，用于減少總體特征的尺寸及通道數(shù)。3個(gè)不同層次的過渡層分別會(huì)得到56*56、28*28、14*14尺寸的特征，56*56和28*28的特征分別經(jīng)過卷積處理后得到14*14的特征，將3個(gè)不同層次的14*14的特征進(jìn)行通道拼接，獲得初步融合的深度特征。該深度特征包含了不同層次的特征信息，減少了長距離依賴帶來的梯度傳遞負(fù)擔(dān)，同時(shí)能為整體網(wǎng)絡(luò)提供更加豐富的感受野特征以及語義分析的來源。
9、進(jìn)一步地，所述步驟s2中，設(shè)計(jì)了語義分析模塊，語義分析模塊利用positionembedding對不同通道特征進(jìn)行位置信息標(biāo)注，用于后續(xù)分析不同特征間的權(quán)重關(guān)系。將二維特征都降成一維后形成序列化輸入，利用encoder對特征語義進(jìn)行分析，通過encoder中的multi-headattention給每個(gè)序列特征分配q、k、v特征，通過加權(quán)得到不同特征之間的權(quán)重映射關(guān)系，在注意力機(jī)制的基礎(chǔ)上，允許輸入序列中的每個(gè)位置都能關(guān)注序列中的其他位置，并動(dòng)態(tài)計(jì)算加權(quán)平均值作為輸出，以此捕捉序列中的依賴關(guān)系，從而進(jìn)一步獲得不同通道特征整體以及局部的上下文關(guān)系，最終得到不同特征之間的語義信息和權(quán)重關(guān)系。其中multi-headattention獲得權(quán)重關(guān)系特征的過程如下，同于將獲得的權(quán)重歸一化，代表維度大?。?/p>
10、
11、進(jìn)一步地，所述步驟s3中，為了更好地通過s2獲得的語義特征，并從中獲得圖像質(zhì)量波動(dòng)和分?jǐn)?shù)的對應(yīng)關(guān)系，設(shè)計(jì)了線性連接層。線性連接層包含多個(gè)通道連接層，滿足整體通道從1000到512、512到256、256到32、32到1的映射需求，在通道映射之間穿插了歸一化操作和激活函數(shù)，減少了數(shù)值的極端化，有利于更合理地進(jìn)行數(shù)值分析，可以獲得更準(zhǔn)確的質(zhì)量分?jǐn)?shù)。為了科學(xué)地表達(dá)訓(xùn)練過程中預(yù)測值和真實(shí)值之間的損失情況，同時(shí)為了更好地反映模型的收斂過程，選擇了均方誤差損失作為損失的計(jì)算，同時(shí)設(shè)計(jì)了adam優(yōu)化器計(jì)算整體梯度變化，并進(jìn)行反向傳播，逐步獲得性能更好的模型，直至收斂。其中，損失函數(shù)的計(jì)算如下，為模型預(yù)測得到的質(zhì)量分?jǐn)?shù)，為圖像對應(yīng)的真實(shí)質(zhì)量分?jǐn)?shù)：
12、loss＝||ypre-y||2
13、進(jìn)一步地，所述步驟s4中，元學(xué)習(xí)框架通過周期性學(xué)習(xí)網(wǎng)絡(luò)更新參數(shù)的方式，具體過程如下：將失真圖像中失真類型相同的圖像歸為同一個(gè)元任務(wù)ti，按照4:1的比例將元任務(wù)中的圖像分為支持集和查詢集模型對支持集和查詢本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述步驟S1中深度特征提取模塊由頭部特征提取、3個(gè)密集模塊和3個(gè)過渡層構(gòu)成。
3.根據(jù)權(quán)利要求2所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述頭部特征提取由卷積層、歸一化層、激活函數(shù)和最大池化層構(gòu)成，用于初步調(diào)整特征尺寸。
4.根據(jù)權(quán)利要求2所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，3個(gè)密集模塊和3個(gè)過渡層交替完成特征提取任務(wù)，其中3個(gè)密集模塊分別由6、12、24個(gè)密集層組成，每個(gè)密集層由兩組卷積層、歸一化層、激活函數(shù)構(gòu)成，滿足對當(dāng)前感受野特征的提取，并且每個(gè)密集層的輸入和輸出特征進(jìn)行通道特征拼接，作為下一個(gè)密集層的輸入，以此減少梯度消失，增加特征傳遞的豐富度；每個(gè)密集模塊后的過渡層由卷積層、歸一化層、激活函數(shù)以及平均池化構(gòu)成，用于減少總體特征的尺寸及通道數(shù)。
5.根據(jù)權(quán)利要求4所述的
6.根據(jù)權(quán)利要求2所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述步驟S2的語義分析模塊中，去除了Vision?Transformer的PatchEmbedding部分，語義分析模塊利用Position?Embedding對不同通道特征進(jìn)行位置信息標(biāo)注，用于后續(xù)分析不同特征間的權(quán)重關(guān)系；將二維特征都降成一維后形成序列化輸入，利用Encoder對特征語義進(jìn)行分析，通過Encoder中的Multi-headAttention給每個(gè)序列特征分配Q、K、V特征，通過加權(quán)得到不同特征之間的權(quán)重映射關(guān)系，在注意力機(jī)制的基礎(chǔ)上，允許輸入序列中的每個(gè)位置都能關(guān)注序列中的其他位置，并動(dòng)態(tài)計(jì)算加權(quán)平均值作為輸出，以此捕捉序列中的依賴關(guān)系，從而進(jìn)一步獲得不同通道特征整體以及局部的上下文關(guān)系，最終得到不同特征之間的語義信息和權(quán)重關(guān)系。
7.根據(jù)權(quán)利要求6所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，Multi-headAttention獲得權(quán)重關(guān)系特征的過程為：softmax同于將獲得的權(quán)重歸一化，dk代表維度大小：
8.根據(jù)權(quán)利要求1所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述步驟S3中線性連接層包含多個(gè)通道連接層，滿足整體通道從1000到512、512到256、256到32、32到1的映射需求，在通道映射之間穿插了歸一化操作和激活函數(shù)；選擇了均方誤差損失作為損失的計(jì)算，同時(shí)設(shè)計(jì)了Adam優(yōu)化器計(jì)算整體梯度變化，并進(jìn)行反向傳播，逐步獲得性能更好的模型，直至收斂；其中，損失函數(shù)的計(jì)算如下，ypre為模型預(yù)測得到的質(zhì)量分?jǐn)?shù)，y為圖像對應(yīng)的真實(shí)質(zhì)量分?jǐn)?shù)：
9.根據(jù)權(quán)利要求1所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述步驟S4中，元學(xué)習(xí)框架通過周期性學(xué)習(xí)網(wǎng)絡(luò)更新參數(shù)的方式，具體過程如下：將失真圖像中失真類型相同的圖像歸為同一個(gè)元任務(wù)Ti，按照4:1的比例將元任務(wù)中的圖像分為支持集和查詢集模型對支持集和查詢集訓(xùn)練都完成時(shí)，元學(xué)習(xí)會(huì)學(xué)習(xí)并總結(jié)先驗(yàn)知識；其中同一個(gè)元任務(wù)Ti中的支持集和查詢集都平均分為多個(gè)子任務(wù)和元學(xué)習(xí)總結(jié)先驗(yàn)知識的規(guī)律為：每次訓(xùn)練單個(gè)元任務(wù)時(shí)，框架根據(jù)設(shè)定的學(xué)習(xí)步長分析部分網(wǎng)絡(luò)參數(shù)，當(dāng)完成設(shè)定數(shù)量的任務(wù)或當(dāng)前訓(xùn)練階段時(shí)，元學(xué)習(xí)將所積累的先驗(yàn)知識更新到參數(shù)字典中；當(dāng)所有訓(xùn)練任務(wù)完成時(shí)，元學(xué)習(xí)框架完成了對網(wǎng)絡(luò)模型的學(xué)習(xí)，并總結(jié)了所有類型圖像的區(qū)域聯(lián)系和語義信息，形成了具有泛化性和穩(wěn)定性的先驗(yàn)知識；在元訓(xùn)練過程對兩個(gè)模塊部分和線性連接層應(yīng)用了不同的學(xué)習(xí)率∈fnet、∈Linear對網(wǎng)絡(luò)更新，網(wǎng)絡(luò)訓(xùn)練第j個(gè)子任務(wù)時(shí)，多路特征提取網(wǎng)絡(luò)和層間融合網(wǎng)絡(luò)的參數(shù)更新過程為：
10.根據(jù)權(quán)利要求9所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述步驟S5中，將元學(xué)習(xí)獲得的先驗(yàn)知識θprior導(dǎo)入到骨干網(wǎng)絡(luò)中，利用骨干網(wǎng)絡(luò)再次訓(xùn)練的過程，快速微調(diào)出使用于菊花質(zhì)量評價(jià)的模型，鑒于微調(diào)過程的高效和準(zhǔn)確性，∈fnet和∈Linear設(shè)置為相同的數(shù)值∈，即骨干網(wǎng)絡(luò)的模塊部分和線...
【技術(shù)特征摘要】
1.一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述步驟s1中深度特征提取模塊由頭部特征提取、3個(gè)密集模塊和3個(gè)過渡層構(gòu)成。
3.根據(jù)權(quán)利要求2所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述頭部特征提取由卷積層、歸一化層、激活函數(shù)和最大池化層構(gòu)成，用于初步調(diào)整特征尺寸。
4.根據(jù)權(quán)利要求2所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，3個(gè)密集模塊和3個(gè)過渡層交替完成特征提取任務(wù)，其中3個(gè)密集模塊分別由6、12、24個(gè)密集層組成，每個(gè)密集層由兩組卷積層、歸一化層、激活函數(shù)構(gòu)成，滿足對當(dāng)前感受野特征的提取，并且每個(gè)密集層的輸入和輸出特征進(jìn)行通道特征拼接，作為下一個(gè)密集層的輸入，以此減少梯度消失，增加特征傳遞的豐富度；每個(gè)密集模塊后的過渡層由卷積層、歸一化層、激活函數(shù)以及平均池化構(gòu)成，用于減少總體特征的尺寸及通道數(shù)。
5.根據(jù)權(quán)利要求4所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，3個(gè)不同層次的過渡層分別會(huì)得到56*56、28*28、14*14尺寸的特征，56*56和28*28的特征分別經(jīng)過卷積處理后得到14*14的特征，將3個(gè)不同層次的14*14的特征進(jìn)行通道拼接，獲得初步融合的深度特征，即深度融合特征。
6.根據(jù)權(quán)利要求2所述的一種元學(xué)習(xí)框架下基于深度多尺度融合的菊花圖像智能篩選方法，其特征在于，所述步驟s2的語義分析模塊中，去除了vision?transformer的patchembedding部分，語義分析模塊利用position?embedding對不同通道特征進(jìn)行位置信息標(biāo)注，用于后續(xù)分析不同特征間的權(quán)重關(guān)系；將二維特征都降成一維后形成序列化輸入，利用encoder對特征語義進(jìn)行分析，通過encoder中的multi-headattention給每個(gè)序列特征分配q、k、v特征，通過加權(quán)得到不同特征之間的權(quán)重映射關(guān)系，在注意力機(jī)制的基礎(chǔ)上，允許輸入序列中的每個(gè)位置都能關(guān)注序列中的其他位置，并動(dòng)態(tài)計(jì)算加權(quán)平均值作為輸出，以此捕捉序列中的依賴關(guān)系，從而進(jìn)一步獲得不同通道特征整體以及局部的上下文關(guān)系，最終得到不同...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：楊曦晨，朱順，王天舒，陳天海，李能鑫，
申請(專利權(quán))人：南京師范大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。