【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像處理和信息檢索技術(shù)，特別是涉及數(shù)字照片/圖片的相冊(cè)管理系統(tǒng)和方法，尤其是利用多模態(tài)算法進(jìn)行數(shù)字照片分類和搜索的相冊(cè)管理系統(tǒng)和相冊(cè)管理方法。
技術(shù)介紹
1、多模態(tài)通常指的是在人工智能、人機(jī)交互、數(shù)據(jù)分析等領(lǐng)域中，同時(shí)使用或分析多種不同類型的數(shù)據(jù)或信息源。這些數(shù)據(jù)源可能包括但不限于文本、圖像、聲音、視頻等。多模態(tài)系統(tǒng)能夠理解、處理并整合來(lái)自不同模態(tài)的信息，以提供更全面、更準(zhǔn)確的理解和響應(yīng)。
2、照片是一種通過攝影技術(shù)捕捉并記錄現(xiàn)實(shí)世界場(chǎng)景的靜態(tài)圖像。數(shù)字照片是日常生活最為常見的照片形式，人們通過移動(dòng)設(shè)備拍攝數(shù)字照片用于捕捉場(chǎng)景信息，傳達(dá)情感信息，保存?zhèn)€人回憶等等用途。因此，會(huì)產(chǎn)生大量的數(shù)字照片。進(jìn)一步地，如何有效的管理大量的數(shù)字照片是一個(gè)需要解決的問題。常見的使用場(chǎng)景包括，大批量的數(shù)字照片會(huì)由移動(dòng)端設(shè)備轉(zhuǎn)存至個(gè)人電腦上，因此需要部署在電腦端的系統(tǒng)以用于對(duì)數(shù)字照片的管理。
3、目前，數(shù)字(照片/圖片)相冊(cè)管理一般是按照片/圖片的日期存儲(chǔ)，或者人為地給照片做分類，每次都要手動(dòng)移動(dòng)到對(duì)應(yīng)文件夾中做分類。當(dāng)照片數(shù)量過大時(shí)，后期需要使用照片時(shí)不利于搜索照片使用，人為肉眼去在相冊(cè)中查找則耗費(fèi)太多精力。
4、隨著數(shù)字?jǐn)z影技術(shù)的發(fā)展，用戶在日常生活中拍攝和存儲(chǔ)的照片數(shù)量急劇增加，如何有效管理和檢索這些照片成為一個(gè)亟待解決的問題。傳統(tǒng)的相冊(cè)管理方法通常依賴用戶手動(dòng)分類和搜索，這不僅耗時(shí)耗力，還容易導(dǎo)致照片管理混亂。
5、現(xiàn)有技術(shù)在自動(dòng)分類和高效搜索方面存在不足，因此需要一種新的相冊(cè)管理
6、本專利技術(shù)說(shuō)明書的此
技術(shù)介紹
部分中所包括的信息，包括本文中所引用的任何參考文獻(xiàn)及其任何描述或討論，僅出于技術(shù)參考的目的而被包括在內(nèi)，并且不被認(rèn)為是將限制本專利技術(shù)范圍的主題。
技術(shù)實(shí)現(xiàn)思路
1、鑒于以上所述以及其它更多的構(gòu)思而提出了本專利技術(shù)。
2、本專利技術(shù)提出一種基于多模態(tài)的相冊(cè)管理系統(tǒng)和方法，用于對(duì)數(shù)字照片/圖片進(jìn)行更高效便捷的管理。
3、本專利技術(shù)的目的在于提供基于多模態(tài)的相冊(cè)管理系統(tǒng)以及相冊(cè)管理方法，通過自動(dòng)歸類、以圖搜圖和以文本搜圖功能，解決照片分類和搜索的問題。具體而言，根據(jù)本專利技術(shù)的多模態(tài)的相冊(cè)管理系統(tǒng)的一個(gè)或多個(gè)實(shí)施例可具有以下功能。
4、照片自動(dòng)歸類功能：系統(tǒng)預(yù)設(shè)多個(gè)標(biāo)簽(如“風(fēng)景”、“動(dòng)物”)，當(dāng)用戶導(dǎo)入照片時(shí)，通過多模態(tài)算法提取照片特征向量，并與預(yù)設(shè)標(biāo)簽的特征向量進(jìn)行相似度計(jì)算，自動(dòng)為照片打上標(biāo)簽并存儲(chǔ)至向量數(shù)據(jù)庫(kù)中。
5、以圖搜圖功能：用戶可以提供一張圖片，系統(tǒng)將提取該圖片的特征向量，并與數(shù)據(jù)庫(kù)中存儲(chǔ)的所有照片特征向量進(jìn)行相似度計(jì)算，返回相似度最高的10張照片的路徑。
6、以文本搜圖功能：用戶輸入文本描述，系統(tǒng)提取該文本的特征向量，并與數(shù)據(jù)庫(kù)中存儲(chǔ)的照片特征向量進(jìn)行相似度計(jì)算，返回相似度最高的10張照片的路徑。
7、本專利技術(shù)主要解決如下幾個(gè)問題：
8、為了解決照片分類的問題，本專利技術(shù)通過在系統(tǒng)中設(shè)計(jì)了照片自動(dòng)歸類功能。系統(tǒng)會(huì)預(yù)設(shè)一些標(biāo)簽，如“風(fēng)景”，“動(dòng)物”，當(dāng)照片導(dǎo)入系統(tǒng)時(shí)，系統(tǒng)會(huì)基于多模態(tài)算法提取照片的特征向量，和預(yù)先提取的標(biāo)簽(文本)的特征向量做相似度計(jì)算，相似度最高的標(biāo)簽，會(huì)和照片的特征向量一起存儲(chǔ)至向量數(shù)據(jù)庫(kù)中，圖片/照片在無(wú)形中就被打上標(biāo)簽分了類，不需要用戶拖動(dòng)到對(duì)應(yīng)的文件夾中。
9、為了解決照片搜索的問題，本專利技術(shù)通過在系統(tǒng)中設(shè)計(jì)了以圖搜圖功能。用戶需要查找相冊(cè)中是否存在類似圖片，可以用此功能。用戶提供一張圖片，啟動(dòng)系統(tǒng)的以圖搜圖功能，這張圖片會(huì)經(jīng)過多模態(tài)算法提取圖片的特征向量，特征向量由向量數(shù)據(jù)庫(kù)的計(jì)算功能計(jì)算與預(yù)先提取好的所有存儲(chǔ)的照片的特征向量的相似度，返回相似度最高的10張照片的系統(tǒng)路徑，并且展示出來(lái)。
10、同樣的還是解決照片搜索的問題，本專利技術(shù)通過在系統(tǒng)中設(shè)計(jì)了以文本搜圖功能。得益于多模態(tài)算法模型，在相冊(cè)系統(tǒng)中用戶輸入一段文本描述，系統(tǒng)中的多模態(tài)算法會(huì)提取該文本的特征向量，特征向量由向量數(shù)據(jù)庫(kù)的計(jì)算功能計(jì)算與預(yù)先提取好的所有存儲(chǔ)的照片的特征向量的相似度，返回相似度最高的10張照片的系統(tǒng)路徑，并且展示出來(lái)。
11、根據(jù)本專利技術(shù)的一方面的構(gòu)思，旨在提供一種基于多模態(tài)的相冊(cè)管理系統(tǒng)，所述相冊(cè)管理系統(tǒng)包括：多模態(tài)clip模型，其包括文本特征提取模型textmodel和圖像特征提取模型imagemodel；向量數(shù)據(jù)庫(kù)，用于存儲(chǔ)照片的特征向量及其相關(guān)信息；自動(dòng)歸類模塊，用于根據(jù)預(yù)設(shè)的多個(gè)類別標(biāo)簽對(duì)導(dǎo)入的照片進(jìn)行自動(dòng)分類；以圖搜圖模塊，用于根據(jù)用戶提供的圖片查找相似照片；以文本搜圖模塊，用于根據(jù)用戶輸入的文本描述查找相似照片。
12、根據(jù)一實(shí)施例，所述相冊(cè)管理系統(tǒng)的自動(dòng)歸類模塊配置成用于：
13、-預(yù)設(shè)多個(gè)類別標(biāo)簽，并利用所述文本特征提取模型textmodel提取所述標(biāo)簽的特征向量；
14、-當(dāng)照片導(dǎo)入時(shí)，調(diào)用圖像特征提取模型imagemodel提取所述照片的特征向量；和
15、-通過計(jì)算所述照片的特征向量與所述預(yù)設(shè)的類別標(biāo)簽的特征向量之間的相似度，并選擇相似度最高的標(biāo)簽，并且將所述相似度最高的標(biāo)簽與所述照片的特征向量一同存儲(chǔ)至所述向量數(shù)據(jù)庫(kù)中。
16、根據(jù)一實(shí)施例，所述文本特征提取模型textmodel提取所述標(biāo)簽的特征向量為文本特征featuretext＝textmodel(text)，其中，featuretext為512維的特征向量，具體表示為：featuretext＝[a1,a2,a3,…,a512]，其中，feature?text是文本特征向量；textmodel(text)是文本特征提取的簡(jiǎn)易表達(dá)式，即，將文本輸入至文本特征提取模型中做特征提取；a1,a2,....,a512是向量中的各個(gè)數(shù)值。
17、根據(jù)一實(shí)施例，所述圖像特征提取模型imagemodel提取所述照片的特征向量為圖片特征featureimage＝imagemodel(image)，其中，featureimage為512維的特征向量，具體表示為：featureimage＝[b1,b2,b3,…,b512]，其中，feature?image是圖像特征向量；imagemodel(image)是圖像特征提取的簡(jiǎn)易表達(dá)式，即，將圖像輸入至圖像特征提取模型中做特征提取；b1,b2,....,b512是向量中的各個(gè)數(shù)值。
18、根據(jù)一實(shí)施例，所述以圖搜圖模塊配置成用于：
19、-在用戶提供一張圖片后，調(diào)用所述圖像特征提取模型imagemodel提取所述一張圖片的特征向量；
20、-計(jì)算所述一張圖片的特征向量與所述向量數(shù)據(jù)庫(kù)中所有存儲(chǔ)的照片的特征向量之間的相似度；
21、-將相似度從大到小排序，按照相似度從大到小的順序返回相似度至少前2位、例如前10位的對(duì)應(yīng)的10張照片的系統(tǒng)路徑(若系統(tǒng)中照片不滿10張，按照相似度從大到小的順序依本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于多模態(tài)的相冊(cè)管理系統(tǒng)，其特征在于，所述相冊(cè)管理系統(tǒng)包括：
2.根據(jù)權(quán)利要求1所述的相冊(cè)管理系統(tǒng)，其特征在于，所述相冊(cè)管理系統(tǒng)的自動(dòng)歸類模塊配置成用于：
3.根據(jù)權(quán)利要求2所述的相冊(cè)管理系統(tǒng)，其特征在于，所述文本特征提取模型TextModel提取所述標(biāo)簽的特征向量為文本特征向量Featuretext＝TextModel(text)，其中，F(xiàn)eaturetext為512維的特征向量，具體表示為：Featuretext＝[a1,a2,a3,…,a512]，TextModel(text)是文本特征提取的簡(jiǎn)易表達(dá)式，a1,a2,....,a512是文本特征向量中的各個(gè)數(shù)值。
4.根據(jù)權(quán)利要求2所述的相冊(cè)管理系統(tǒng)，其特征在于，所述圖像特征提取模型ImageModel提取所述照片的特征向量為圖片特征向量Featureimage＝ImageModel(image)，其中，F(xiàn)eatureimage為512維的特征向量，具體表示為：Featureimage＝[b1,b2,b3,…,b512]，ImageModel(image)是圖像特征提取的簡(jiǎn)易表達(dá)式
5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的相冊(cè)管理系統(tǒng)，其特征在于，所述以圖搜圖模塊配置成用于：
6.根據(jù)權(quán)利要求5所述的相冊(cè)管理系統(tǒng)，其特征在于，所述相似度的計(jì)算采用以下公式：
7.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的相冊(cè)管理系統(tǒng)，其特征在于，所述以文本搜圖模塊配置成用于：
8.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的相冊(cè)管理系統(tǒng)，其特征在于，所述向量數(shù)據(jù)庫(kù)采用Milvus向量數(shù)據(jù)庫(kù)。
9.一種相冊(cè)管理方法，其特征在于，所述方法包括以下步驟：
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述方法是利用權(quán)利要求1-8中任一項(xiàng)所述的基于多模態(tài)的相冊(cè)管理系統(tǒng)來(lái)執(zhí)行的。
...【技術(shù)特征摘要】
1.一種基于多模態(tài)的相冊(cè)管理系統(tǒng)，其特征在于，所述相冊(cè)管理系統(tǒng)包括：
2.根據(jù)權(quán)利要求1所述的相冊(cè)管理系統(tǒng)，其特征在于，所述相冊(cè)管理系統(tǒng)的自動(dòng)歸類模塊配置成用于：
3.根據(jù)權(quán)利要求2所述的相冊(cè)管理系統(tǒng)，其特征在于，所述文本特征提取模型textmodel提取所述標(biāo)簽的特征向量為文本特征向量featuretext＝textmodel(text)，其中，featuretext為512維的特征向量，具體表示為：featuretext＝[a1,a2,a3,…,a512]，textmodel(text)是文本特征提取的簡(jiǎn)易表達(dá)式，a1,a2,....,a512是文本特征向量中的各個(gè)數(shù)值。
4.根據(jù)權(quán)利要求2所述的相冊(cè)管理系統(tǒng)，其特征在于，所述圖像特征提取模型imagemodel提取所述照片的特征向量為圖片特征向量featureimage＝imagemodel(image)，其中，featureimage為...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳晨，李嘉成，張亮，
申請(qǐng)(專利權(quán))人：國(guó)科環(huán)宇南京電子技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。