本公開涉及一種視頻缺陷檢測方法、檢測模型訓(xùn)練方法及裝置，其中，檢測方法包括：將待檢測視頻中每一視頻幀分割為至少一個圖像塊；針對至少一個圖像塊中的每一圖像塊，通過訓(xùn)練好的檢測模型進行目標檢測，確定每一圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，其中，檢測模型基于多個圖像塊訓(xùn)練得到，且各圖像塊中缺陷區(qū)域?qū)?yīng)的缺陷類型不完全相同；根據(jù)至少一個圖像塊中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，確定每一視頻幀中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型；進而確定待檢測視頻中存在缺陷的視頻片段、視頻片段中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型。通過本公開，可以快速高精度檢測視頻中缺陷區(qū)域，并能夠精確識別缺陷類型。
【技術(shù)實現(xiàn)步驟摘要】
本公開涉及計算機視覺，尤其涉及一種視頻缺陷檢測方法、檢測模型訓(xùn)練方法及裝置。
技術(shù)介紹
1、影視作品作為娛樂文化的重要組成部分，其視頻質(zhì)量直接影響著觀眾的觀賞體驗。然而，在視頻內(nèi)容的捕捉、壓縮、傳輸和播放等多個環(huán)節(jié)中，很容易引入各種缺陷，例如，色階、色塊、色斑等局部缺陷。
2、在介質(zhì)交付、超高清視頻選片、老片修復(fù)等場景中，主要依賴于人工全片觀看來發(fā)現(xiàn)視頻中的缺陷，這種方法效率低下，容易出錯，難以滿足對高質(zhì)量和高效率生產(chǎn)的需求。
技術(shù)實現(xiàn)思路
1、有鑒于此，本公開提出了一種視頻缺陷檢測方法、檢測模型訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)。
2、根據(jù)本公開的一方面，提供了一種視頻缺陷檢測方法，所述方法包括：
3、將待檢測視頻中每一視頻幀分割為至少一個圖像塊；
4、針對所述至少一個圖像塊中的每一圖像塊，通過訓(xùn)練好的檢測模型進行目標檢測，確定每一圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型；其中，所述檢測模型基于多個圖像塊訓(xùn)練得到，且所述多個圖像塊中各圖像塊中缺陷區(qū)域?qū)?yīng)的缺陷類型不完全相同；
5、根據(jù)所述至少一個圖像塊中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，確定所述每一視頻幀中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型；
6、根據(jù)所述每一視頻幀中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，確定所述待檢測視頻中存在缺陷的視頻片段、所述視頻片段中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型。
7、在一種可能的實現(xiàn)方式中，所述方法還包括：
8、根據(jù)所述每一視頻幀中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，確定所述每一視頻幀對應(yīng)的缺陷分值，所述缺陷分值用于表示缺陷區(qū)域?qū)σ曈X效果的影響程度；
9、根據(jù)所述每一視頻幀對應(yīng)的缺陷分值，確定所述待檢測視頻對應(yīng)的缺陷分值。
10、在一種可能的實現(xiàn)方式中，所述針對所述至少一個圖像塊中的每一圖像塊，通過訓(xùn)練好的檢測模型進行目標檢測，確定每一圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，包括：
11、針對任一圖像塊，生成該圖像塊對應(yīng)的高頻子圖及低頻子圖；其中，所述高頻子圖用于表征該圖像塊的紋理信息，所述低頻子圖用于表征該圖像塊的結(jié)構(gòu)信息；
12、將該圖像塊對應(yīng)的高頻子圖及低頻子圖進行拼接處理后，輸入到所述檢測模型中，得到該圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型。
13、在一種可能的實現(xiàn)方式中，所述方法還包括：
14、根據(jù)所述至少一個圖像塊中每一圖像塊中的缺陷區(qū)域，生成所述每一視頻幀的缺陷程度圖；所述缺陷程度圖用于表征不同圖像塊對應(yīng)的缺陷程度；
15、對所述缺陷程度圖及所述每一圖像塊對應(yīng)的低頻子圖進行融合處理，生成所述每一視頻幀中的缺陷區(qū)域的掩膜；所述掩膜用于表征缺陷區(qū)域。
16、在一種可能的實現(xiàn)方式中，所述缺陷類型包括：色階、色塊、色斑中的至少一項。
17、根據(jù)本公開的另一方面，提供了一種檢測模型的訓(xùn)練方法，所述方法包括：
18、構(gòu)建訓(xùn)練樣本集；其中，所述訓(xùn)練樣本集中包括多個圖像塊及所述多個圖像塊中每一圖像塊的標簽，所述每一圖像塊的標簽包括每一圖像塊中是否存在缺陷區(qū)域的標簽、每一圖像塊中缺陷區(qū)域的標簽及缺陷區(qū)域?qū)?yīng)的缺陷類型的標簽；所述多個圖像塊中各圖像塊中缺陷區(qū)域?qū)?yīng)的缺陷類型不完全相同；
19、利用所述訓(xùn)練樣本集對預(yù)設(shè)模型進行訓(xùn)練，得到訓(xùn)練好的檢測模型，所述檢測模型用于檢測分割視頻得到的圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型。
20、在一種可能的實現(xiàn)方式中，所述構(gòu)建訓(xùn)練樣本集，包括：
21、獲取原始數(shù)據(jù)集；所述原始數(shù)據(jù)集中包括存在缺陷的視頻和/或不存在缺陷的視頻；
22、在所述原始數(shù)據(jù)集中篩選出滿足預(yù)設(shè)多樣性要求的候選視頻；
23、在所述候選視頻中提取樣本圖像，并獲取所述樣本圖像中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型；
24、將所述樣本圖像分割為所述多個圖像塊；
25、根據(jù)所述樣本圖像中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，確定所述多個圖像塊中每一圖像塊的標簽。
26、在一種可能的實現(xiàn)方式中，所述在候選視頻中提取樣本圖像，包括：
27、在所述候選視頻為不存在缺陷的視頻時，對所述候選視頻進行編碼處理，以使編碼處理后的視頻中存在缺陷；
28、在所述編碼處理后的視頻中提取所述樣本圖像。
29、在一種可能的實現(xiàn)方式中，所述利用所述訓(xùn)練樣本集對預(yù)設(shè)模型進行訓(xùn)練，得到訓(xùn)練好的檢測模型，包括：
30、針對所述多個圖像塊中任一圖像塊，生成該圖像塊對應(yīng)的高頻子圖及低頻子圖；其中，所述高頻子圖用于表征該圖像塊的紋理信息，所述低頻子圖用于表征該圖像塊的結(jié)構(gòu)信息；
31、將該圖像塊對應(yīng)的高頻子圖及低頻子圖輸入到所述預(yù)設(shè)模型中，得到該圖像塊的缺陷預(yù)測結(jié)果，所述缺陷預(yù)測結(jié)果中包括該圖像塊中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型；
32、基于該圖像塊的缺陷預(yù)測結(jié)果及該圖像塊的標簽，調(diào)整所述預(yù)設(shè)模型中參數(shù)，得到所述檢測模型。
33、在一種可能的實現(xiàn)方式中，所述缺陷類型包括：色階、色塊、色斑中的至少一項。
34、根據(jù)本公開的另一方面，提供了一種視頻缺陷檢測裝置，所述裝置包括：
35、分割模塊，用于將待檢測視頻中每一視頻幀分割為至少一個圖像塊；
36、圖像塊缺陷檢測模塊，用于針對所述至少一個圖像塊中的每一圖像塊，通過訓(xùn)練好的檢測模型進行目標檢測，確定每一圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型；其中，所述檢測模型基于多個圖像塊訓(xùn)練得到，且所述多個圖像塊中各圖像塊中缺陷區(qū)域?qū)?yīng)的缺陷類型不完全相同；
37、視頻幀缺陷檢測模塊，用于根據(jù)所述至少一個圖像塊中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，確定所述每一視頻幀中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型；
38、視頻缺陷檢測模塊，用于根據(jù)所述每一視頻幀中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，確定所述待檢測視頻中存在缺陷的視頻片段、所述視頻片段中的缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型。
39、根據(jù)本公開的另一方面，提供了一種檢測模型的訓(xùn)練裝置，所述裝置包括：
40、樣本構(gòu)建模塊，用于構(gòu)建訓(xùn)練樣本集；其中，所述訓(xùn)練樣本集中包括多個圖像塊及所述多個圖像塊中每一圖像塊的標簽，所述每一圖像塊的標簽包括每一圖像塊中是否存在缺陷區(qū)域的標簽、每一圖像塊中缺陷區(qū)域的標簽及缺陷區(qū)域?qū)?yīng)的缺陷類型的標簽；所述多個圖像塊中各圖像塊中缺陷區(qū)域?qū)?yīng)的缺陷類型不完全相同；
41、訓(xùn)練模塊，用于利用所述訓(xùn)練樣本集對預(yù)設(shè)模型進行訓(xùn)練，得到訓(xùn)練好的檢測模型，所述檢測模型用于檢測分割視頻得到的圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型。
42、根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：處理器；用于存儲處理器可執(zhí)行指令的存儲器；其中，所述處理器被配置為在執(zhí)行所述存儲器存儲的指令時本文檔來自技高網(wǎng)
...
【技術(shù)保護點】
1.一種視頻缺陷檢測方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對所述至少一個圖像塊中的每一圖像塊，通過訓(xùn)練好的檢測模型進行目標檢測，確定每一圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述缺陷類型包括：色階、色塊、色斑中的至少一項。
6.一種檢測模型的訓(xùn)練方法，其特征在于，所述方法包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述構(gòu)建訓(xùn)練樣本集，包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述在候選視頻中提取樣本圖像，包括：
9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述利用所述訓(xùn)練樣本集對預(yù)設(shè)模型進行訓(xùn)練，得到訓(xùn)練好的檢測模型，包括：
10.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述缺陷類型包括：色階、色塊、色斑中的至少一項。
11.一種視頻缺陷檢測裝置，其特征在于，所述裝置包括：
12.一種檢測模型的訓(xùn)練裝置，其特征在于，所述裝置包括：
13.一種電子設(shè)備，其特征在于，包括：
14.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至5中任意一項所述的方法或?qū)崿F(xiàn)權(quán)利要求6至10中任意一項所述的方法。
...
【技術(shù)特征摘要】
1.一種視頻缺陷檢測方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對所述至少一個圖像塊中的每一圖像塊，通過訓(xùn)練好的檢測模型進行目標檢測，確定每一圖像塊中缺陷區(qū)域及缺陷區(qū)域?qū)?yīng)的缺陷類型，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述缺陷類型包括：色階、色塊、色斑中的至少一項。
6.一種檢測模型的訓(xùn)練方法，其特征在于，所述方法包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述構(gòu)建訓(xùn)練樣本集，包括：
8.根據(jù)權(quán)利要求7所述...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：譚深，李亞旻，李嘉偉，李靜，江文斐，
申請(專利權(quán))人：北京優(yōu)酷科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。