【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及數(shù)據(jù)處理，尤其涉及數(shù)據(jù)采集、大模型等領(lǐng)域，能夠用于生成式搜索、文檔智能編輯、智能助手、虛擬助手、智能電商等應(yīng)用場景。
技術(shù)介紹
1、ai(artificial?intelligence，人工智能)繪畫作為人工智能的重要應(yīng)用領(lǐng)域之一，在近年來取得了重大突破。
2、相關(guān)技術(shù)中，可以根據(jù)用戶的自然語言描述生成各種風(fēng)格的圖像，為用戶提供強(qiáng)大的輔助工具的同時，為數(shù)字創(chuàng)意領(lǐng)域帶來了新的可能性。
技術(shù)實(shí)現(xiàn)思路
1、本公開提供了一種數(shù)據(jù)采集方法、裝置、設(shè)備以及存儲介質(zhì)。
2、根據(jù)本公開的一方面，提供了一種數(shù)據(jù)采集方法，包括：
3、采用多種方式獲取初始數(shù)據(jù)集中的初始數(shù)據(jù)，初始數(shù)據(jù)中包括樣本圖像以及樣本圖像對應(yīng)的文本描述；
4、采用預(yù)設(shè)評價指標(biāo)對初始數(shù)據(jù)集中的初始數(shù)據(jù)進(jìn)行綜合評價，以對初始數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，得到目標(biāo)數(shù)據(jù)集。
5、根據(jù)本公開的另一方面，提供了一種數(shù)據(jù)采集裝置，包括：
6、獲取模塊，用于采用多種方式獲取初始數(shù)據(jù)集中的初始數(shù)據(jù)，初始數(shù)據(jù)中包括樣本圖像以及樣本圖像對應(yīng)的文本描述；
7、篩選模塊，用于采用預(yù)設(shè)評價指標(biāo)對初始數(shù)據(jù)集中的初始數(shù)據(jù)進(jìn)行綜合評價，以對初始數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，得到目標(biāo)數(shù)據(jù)集。
8、根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：
9、至少一個處理器；以及
10、與該至少一個處理器通信連接的存儲器；其中，
11、該存儲器存儲有可被該至
12、根據(jù)本公開的另一方面，提供了一種存儲有計算機(jī)指令的非瞬時計算機(jī)可讀存儲介質(zhì)，其中，該計算機(jī)指令用于使該計算機(jī)執(zhí)行根據(jù)本公開實(shí)施例中任一方法。
13、根據(jù)本公開的另一方面，提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，該計算機(jī)程序在被處理器執(zhí)行時實(shí)現(xiàn)根據(jù)本公開實(shí)施例中任一方法。
14、本公開實(shí)施例中，通過多種方式獲取初始數(shù)據(jù)，能夠保障數(shù)據(jù)的多樣性，通過預(yù)設(shè)的指標(biāo)對數(shù)據(jù)進(jìn)行清洗，能夠產(chǎn)出高質(zhì)量的訓(xùn)練數(shù)據(jù)，使得文生圖模型生成更好的效果。
15、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)采集方法，包括：
2.根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)設(shè)評價指標(biāo)包括以下中的至少一種：
3.根據(jù)權(quán)利要求2所述的方法，其中，評價樣本圖像的圖像質(zhì)量的算子包括黑邊檢測算子，所述方法還包括：
4.根據(jù)權(quán)利要求2所述的方法，其中，評價樣本圖像的圖像質(zhì)量的算子包括水印檢測算子，所述方法還包括：
5.根據(jù)權(quán)利要求2所述的方法，其中，所述采用預(yù)設(shè)評價指標(biāo)對所述初始數(shù)據(jù)集中的初始數(shù)據(jù)進(jìn)行綜合評價，以對所述初始數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，得到目標(biāo)數(shù)據(jù)集，包括：
6.根據(jù)權(quán)利要求5所述的方法，其中，所述在所述預(yù)設(shè)評價指標(biāo)包括多種指標(biāo)的情況下，基于所述多種指標(biāo)對所述初始數(shù)據(jù)集中的初始數(shù)據(jù)進(jìn)行評分，得到各初始數(shù)據(jù)的綜合評分，包括：
7.根據(jù)權(quán)利要求5所述的方法，還包括：
8.根據(jù)權(quán)利要求2所述的方法，其中，所述樣本圖像的用戶偏好屬性包括以下中的至少一種：
9.根據(jù)權(quán)利要求8所述的方法，其中，所述正反饋屬性包括針對所述樣本圖像的以下至少一種信息：
10.根據(jù)權(quán)利要求1-9中任一項(xiàng)所述的方
11.根據(jù)權(quán)利要求10所述的方法，其中，所述生成所述待擴(kuò)充類別的數(shù)據(jù)集，包括：
12.根據(jù)權(quán)利要求1所述的方法，還包括：
13.根據(jù)權(quán)利要求1所述的方法，其中，所述采用多種方式獲取初始數(shù)據(jù)集中的初始數(shù)據(jù)，包括：
14.一種數(shù)據(jù)采集裝置，包括：
15.根據(jù)權(quán)利要求14所述的裝置，其中，所述預(yù)設(shè)評價指標(biāo)包括以下中的至少一種：
16.根據(jù)權(quán)利要求15所述的裝置，其中，評價樣本圖像的圖像質(zhì)量的算子包括黑邊檢測算子，所述裝置還包括第一質(zhì)量處理模塊，用于：
17.根據(jù)權(quán)利要求15所述的裝置，其中，評價樣本圖像的圖像質(zhì)量的算子包括水印檢測算子，所述裝置還包括第二質(zhì)量處理模塊，用于：
18.根據(jù)權(quán)利要求15所述的裝置，其中，所述篩選模塊，包括：
19.根據(jù)權(quán)利要求18所述的裝置，其中，所述評分單元，具體用于：
20.根據(jù)權(quán)利要求18所述的裝置，還包括：
21.根據(jù)權(quán)利要求15所述的裝置，其中，所述樣本圖像的用戶偏好屬性包括以下中的至少一種：
22.根據(jù)權(quán)利要求21所述的裝置，其中，所述正反饋屬性包括針對所述樣本圖像的以下至少一種信息：
23.根據(jù)權(quán)利要求14-22中任一項(xiàng)所述的裝置，還包括優(yōu)化模塊，用于：
24.根據(jù)權(quán)利要求23所述的裝置，其中，所述優(yōu)化模塊，具體用于：
25.根據(jù)權(quán)利要求14所述的裝置，還包括更新模塊，用于：
26.根據(jù)權(quán)利要求14所述的裝置，其中，所述獲取模塊，具體用于基于如下方式獲取初始數(shù)據(jù)集中的初始數(shù)據(jù)：
27.一種電子設(shè)備，包括：
28.一種存儲有計算機(jī)指令的非瞬時計算機(jī)可讀存儲介質(zhì)，其中，所述計算機(jī)指令用于使所述計算機(jī)執(zhí)行根據(jù)權(quán)利要求1-13中任一項(xiàng)所述的方法。
29.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序在被處理器執(zhí)行時實(shí)現(xiàn)根據(jù)權(quán)利要求1-13中任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)采集方法，包括：
2.根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)設(shè)評價指標(biāo)包括以下中的至少一種：
3.根據(jù)權(quán)利要求2所述的方法，其中，評價樣本圖像的圖像質(zhì)量的算子包括黑邊檢測算子，所述方法還包括：
4.根據(jù)權(quán)利要求2所述的方法，其中，評價樣本圖像的圖像質(zhì)量的算子包括水印檢測算子，所述方法還包括：
5.根據(jù)權(quán)利要求2所述的方法，其中，所述采用預(yù)設(shè)評價指標(biāo)對所述初始數(shù)據(jù)集中的初始數(shù)據(jù)進(jìn)行綜合評價，以對所述初始數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，得到目標(biāo)數(shù)據(jù)集，包括：
6.根據(jù)權(quán)利要求5所述的方法，其中，所述在所述預(yù)設(shè)評價指標(biāo)包括多種指標(biāo)的情況下，基于所述多種指標(biāo)對所述初始數(shù)據(jù)集中的初始數(shù)據(jù)進(jìn)行評分，得到各初始數(shù)據(jù)的綜合評分，包括：
7.根據(jù)權(quán)利要求5所述的方法，還包括：
8.根據(jù)權(quán)利要求2所述的方法，其中，所述樣本圖像的用戶偏好屬性包括以下中的至少一種：
9.根據(jù)權(quán)利要求8所述的方法，其中，所述正反饋屬性包括針對所述樣本圖像的以下至少一種信息：
10.根據(jù)權(quán)利要求1-9中任一項(xiàng)所述的方法，還包括：
11.根據(jù)權(quán)利要求10所述的方法，其中，所述生成所述待擴(kuò)充類別的數(shù)據(jù)集，包括：
12.根據(jù)權(quán)利要求1所述的方法，還包括：
13.根據(jù)權(quán)利要求1所述的方法，其中，所述采用多種方式獲取初始數(shù)據(jù)集中的初始數(shù)據(jù)，包括：
14.一種數(shù)據(jù)采集裝置，包括：
15.根據(jù)權(quán)利要求14所述的裝置，其中，所述預(yù)設(shè)評價指標(biāo)包括以下...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王藝鵬，
申請(專利權(quán))人：北京百度網(wǎng)訊科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。