【技術實現步驟摘要】
本說明書實施例涉及計算機，特別涉及一種機器學習模型訓練方法、一種應用于云側設備的機器學習模型訓練方法、一種應用于云側設備的基于文本的圖像搜索方法、一種應用于云側設備的自動問答方法。
技術介紹
1、隨著多模態大模型的發展，帶來了圖像視覺內容與文本語義內容的高效對齊以及在多種場景下均能展現出的穩定泛化能力。這種泛化能力特別適應于現實世界中不斷變化的環境，允許模型在需求發生微小變化時無需進行頻繁的算法迭代。
2、當前，多模態大模型通過對大量圖文對的學習提高了模型的理解和應用能力，解決了跨媒體內容理解的關鍵問題。但是，這種模型的訓練依賴于大規模的數據集，對數據集中數據的數量、多樣性與質量都有要求，而構建大規模滿足條件的數據集需要大量的成本，從而提高了在對多模態大模型進行訓練時的成本。所以，為了解決上述問題需要一種可降低多模態大模型訓練成本的機器學習模型訓練方法。
技術實現思路
1、有鑒于此，本說明書實施例提供了一種機器學習模型訓練方法、一種應用于云側設備的機器學習模型訓練方法、一種應用于云側設備的基于文本的圖像搜索方法、一種應用于云側設備的自動問答方法。本說明書一個或者多個實施例同時涉及一種機器學習模型訓練裝置，一種計算設備，一種計算機可讀存儲介質以及一種計算機程序產品，以解決現有技術中存在的技術缺陷。
2、根據本說明書實施例的第一方面，提供了一種機器學習模型訓練方法，包括：
3、獲取圖文數據對集合、圖像數據集合和文本數據集合，并通過特征提取模型處理所述
4、基于所述圖文數據特征對集合獲取至少兩個參考特征向量，其中，參考特征向量為表示所述圖文數據特征對集合中成對的圖文對圖像特征和圖文對文本特征之間對應關系的特征向量；
5、根據各參考特征向量、所述圖像數據集合和所述文本數據集合訓練所述特征提取模型，直至達到所述特征提取模型的訓練停止條件。
6、根據本說明書實施例的第二方面，提供了一種應用于云側設備的機器學習模型訓練方法，包括：
7、接收端側設備發送的圖文數據對集合、圖像數據集合和文本數據集合，并通過特征提取模型處理所述圖文數據對集合獲取圖文數據特征對集合；
8、基于所述圖文數據特征對集合獲取至少兩個參考特征向量，其中，參考特征向量為表示所述圖文數據特征對集合中成對的圖文對圖像特征和圖文對文本特征之間對應關系的特征向量；
9、根據各參考特征向量、所述圖像數據集合和所述文本數據集合訓練所述特征提取模型，直至達到所述特征提取模型的訓練停止條件；
10、獲取所述訓練完成的特征提取模型中的模型參數，并將所述模型參數返回至所述端側設備。
11、根據本說明書實施例的第三方面，提供了一種應用于云側設備的基于文本的圖像搜索方法，包括：
12、接收端側設備發送的圖像搜索指令，其中，所述圖像搜索指令攜帶有目標搜索文本；
13、將所述目標搜索文本輸入至特征提取模型，獲取所述特征提取模型輸出的目標搜索文本特征信息，其中，所述特征提取模型由上述機器學習模型訓練方法訓練獲得；
14、根據所述目標搜索文本特征信息，確定所述圖像搜索指令對應的圖像搜索結果，并將所述圖像搜索結果返回至所述端側設備。
15、根據本說明書實施例的第四方面，提供了一種應用于云側設備的自動問答方法，包括：
16、接收端側設備發送的問題數據，其中，所述問題數據包括問題文本數據和問題圖像數據中的至少一個；
17、將所述問題數據輸入至語言處理模型獲取待處理問題數據，并將所述待處理問題數據輸入至特征提取模型，獲取所述特征提取模型輸出的問題特征數據，其中，所述特征提取模型由上述機器學習模型訓練方法訓練獲得；
18、根據所述問題特征數據生成答案數據，并將所述答案數據返回至所述端側設備。
19、根據本說明書實施例的第五方面，提供了一種計算設備，包括：
20、存儲器和處理器；
21、所述存儲器用于存儲計算機可執行指令，所述處理器用于執行所述計算機可執行指令，該計算機可執行指令被處理器執行時實現上述機器學習模型訓練方法、應用于云側設備的機器學習模型訓練方法、應用于云側設備的基于文本的圖像搜索方法、應用于云側設備的圖像分析方法、應用于云側設備的自動問答方法的步驟。
22、根據本說明書實施例的第六方面，提供了一種計算機可讀存儲介質，其存儲有計算機可執行指令，該指令被處理器執行時實現上述機器學習模型訓練方法、應用于云側設備的機器學習模型訓練方法、應用于云側設備的基于文本的圖像搜索方法、應用于云側設備的圖像分析方法、應用于云側設備的自動問答方法的步驟。
23、根據本說明書實施例的第七方面，提供了一種計算機程序產品，包括計算機程序/指令，該計算機程序/指令被處理器執行時實現上述機器學習模型訓練方法、應用于云側設備的機器學習模型訓練方法、應用于云側設備的基于文本的圖像搜索方法、應用于云側設備的圖像分析方法、應用于云側設備的自動問答方法的步驟。
24、本說明書一個實施例實現了，獲取圖文數據對集合、圖像數據集合和文本數據集合，并通過特征提取模型處理所述圖文數據對集合獲取圖文數據特征對集合；基于所述圖文數據特征對集合獲取至少兩個參考特征向量，其中，參考特征向量為表示所述圖文數據特征對集合中成對的圖文對圖像特征和圖文對文本特征之間對應關系的特征向量；根據各參考特征向量、所述圖像數據集合和所述文本數據集合訓練所述特征提取模型，直至達到所述特征提取模型的訓練停止條件。
25、應用本說明書實施例的方案，通過圖文數據對獲得的圖文特征數據對獲取各個參考特征向量，使得參考特征向量攜帶有圖文數據對中圖像特征和文本特征之間關系，進而可以使模型對所提取的圖像特征和文本特征綜合攜帶有圖文特征關聯關系的參考特征向量進行理解，使得模型所提取出的圖像特征和文本特征更加精準，從而實現了通過未進行配對處理的圖像集合和文本集合對特征提取模型進行訓練，進而降低了對模型進行訓練所需的成本。
本文檔來自技高網...【技術保護點】
1.一種機器學習模型訓練方法，包括：
2.如權利要求1所述的方法，基于所述圖文數據特征對集合獲取至少兩個參考特征向量，包括：
3.如權利要求2所述的方法，根據所述圖文數據特征對集合調整各參考特征向量，包括：
4.如權利要求3所述的方法，圖文特征數據對包括圖文對圖像特征數據和圖文對圖像特征數據對應的圖文對文本特征數據，參考特征向量包括圖像原型特征向量或文本原型特征向量；
5.如權利要求4所述的方法，根據各圖文對原型向量相似度調整各參考特征向量，包括：
6.如權利要求5所述的方法，在調整各參考特征向量之后，所述方法還包括：
7.如權利要求1所述的方法，根據各參考特征向量、所述圖像數據集合和所述文本數據集合訓練所述特征提取模型，包括：
8.如權利要求7所述的方法，參考特征向量包括圖像原型特征向量或文本原型特征向量；
9.如權利要求8所述的方法，根據各圖像原型向量相似度和各文本原型向量相似度，計算模型損失值，包括：
10.如權利要求7所述的方法，根據各第一圖像特征數據和各第一文本特
11.如權利要求10所述的方法，根據各第一圖像特征數據和各第一文本特征數據，確定各第一圖像特征數據和各第一文本特征數據之間的圖文相似度，包括：
12.如權利要求11所述的方法，根據各第一圖像特征數據確定各第一圖像特征數據對應的第一圖像相似度特征數據，包括：
13.如權利要求11所述的方法，根據各第一文本特征數據確定各第一文本特征數據對應的第一文本相似度特征數據，包括：
14.如權利要求10所述的方法，基于各圖文相似度，確定至少一個第二圖像特征數據，并確定各第二圖像特征數據對應的第二文本特征數據，包括：
15.一種機器學習模型訓練方法，應用于云側設備，所述方法包括：
16.一種基于文本的圖像搜索方法，應用于云側設備，所述方法包括：
17.一種自動問答方法，應用于云側設備，所述方法包括：
18.如權利要求17所述的方法，在將所述答案數據返回至所述端側設備之后，所述方法還包括：
19.一種計算設備，包括：
20.一種計算機可讀存儲介質，其存儲有計算機程序/指令，該計算機程序/指令被處理器執行時實現權利要求1-18任意一項所述方法的步驟。
21.一種計算機程序產品，包括計算機程序/指令，該計算機程序/指令被處理器執行時實現權利要求1-18任意一項所述方法的步驟。
...【技術特征摘要】
1.一種機器學習模型訓練方法，包括：
2.如權利要求1所述的方法，基于所述圖文數據特征對集合獲取至少兩個參考特征向量，包括：
3.如權利要求2所述的方法，根據所述圖文數據特征對集合調整各參考特征向量，包括：
4.如權利要求3所述的方法，圖文特征數據對包括圖文對圖像特征數據和圖文對圖像特征數據對應的圖文對文本特征數據，參考特征向量包括圖像原型特征向量或文本原型特征向量；
5.如權利要求4所述的方法，根據各圖文對原型向量相似度調整各參考特征向量，包括：
6.如權利要求5所述的方法，在調整各參考特征向量之后，所述方法還包括：
7.如權利要求1所述的方法，根據各參考特征向量、所述圖像數據集合和所述文本數據集合訓練所述特征提取模型，包括：
8.如權利要求7所述的方法，參考特征向量包括圖像原型特征向量或文本原型特征向量；
9.如權利要求8所述的方法，根據各圖像原型向量相似度和各文本原型向量相似度，計算模型損失值，包括：
10.如權利要求7所述的方法，根據各第一圖像特征數據和各第一文本特征數據確定至少一個第二圖像特征數據以及各第二圖像特征數據對應的第二文本特征數據，包括：
11.如權利要求10所述的方法，根據各第一圖像特...
【專利技術屬性】
技術研發人員：萬超群，張巍，沈旭，葉杰平，
申請(專利權)人：杭州阿里云飛天信息技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。