【技術實現步驟摘要】
本申請涉及大模型技術、文本處理領域，具體而言，涉及一種多模態數據處理方法、電子設備及存儲介質。
技術介紹
1、大型語言模型較強的文字理解和創作能力催生了文檔閱讀或書寫工具的蓬勃發展，由于大型語言模型具備較強的輔助閱讀文字的能力，因此，可以通過使用大型語言模型理解文檔里的文字。在科學研究過程中，除了文本分析之外，研究者還需要進行圖表分析，但是，利用大型語言模型進行圖表分析的準確度較低，無法滿足用戶需求，導致用戶體驗感較差。
2、針對上述的問題，目前尚未提出有效的解決方案。
技術實現思路
1、本申請實施例提供了一種多模態數據處理方法、電子設備及存儲介質，以至少解決大型語言模型的圖表分析準確度較低的技術問題。
2、根據本申請實施例的一個方面，提供了一種多模態數據處理方法，包括：獲取預設格式數據，以及與預設格式數據匹配的場景文本數據，其中，場景文本數據用于表征對預設格式數據的使用場景進行描述的文本數據；基于場景文本數據對預設格式數據進行識別，得到與預設格式數據匹配的總結文本數據，其中，總結文本數據用于表征對預設格式數據進行概括總結的文本數據；基于場景文本數據和總結文本數據對預設格式數據進行數據分析，得到與預設格式數據的分析文本數據，其中，分析文本數據用于表征對預設格式數據進行解釋說明的文本數據。
3、根據本申請實施例的另一方面，還提供了一種多模態數據處理方法，包括：獲取圖表數據，以及與圖表數據匹配的場景文本數據，其中，場景文本數據用于表征對圖表數據的使用
4、根據本申請實施例的另一方面，還提供了一種多模態數據處理方法，包括：通過調用第一接口獲取圖表數據，以及與圖表數據匹配的前文文本數據，其中，第一接口包括第一參數，第一參數的參數值包括圖表數據和前文文本數據，前文文本數據用于表征對圖表數據的來源進行描述的文本數據；基于前文文本數據對圖表數據進行識別，得到與圖表數據匹配的概要文本數據，其中，概要文本數據用于表征對圖表數據進行總結描述的文本數據；基于前文文本數據和概要文本數據對圖表數據進行數據分析，得到與圖表數據匹配的分析文本數據，其中，分析文本數據用于表征對圖表數據進行解釋說明的文本數據；通過調用第二接口輸出分析文本數據，其中，第二接口包括第二參數，第二參數的參數值為分析文本數據。
5、在本申請實施例中，通過獲取預設格式數據，以及與預設格式數據匹配的場景文本數據，其中，場景文本數據用于表征對預設格式數據的使用場景進行描述的文本數據；基于場景文本數據對預設格式數據進行識別，得到與預設格式數據匹配的總結文本數據，其中，總結文本數據用于表征對預設格式數據進行概括總結的文本數據；基于場景文本數據和總結文本數據對預設格式數據進行數據分析，得到與預設格式數據的分析文本數據，其中，分析文本數據用于表征對預設格式數據進行解釋說明的文本數據。容易注意到的是，可以基于場景文本數據對預設格式數據進行識別，從而得到與預設格式數據匹配的總結文本數據，進一步的，基于場景文本數據和總結文本數據對預設格式數據進行數據分析，得到與預設格式數據匹配的分析文本數據，由于場景文本數據是對預設格式數據的來源進行描述的文本數據，總結文本數據為對預設格式數據進行總結描述的文本數據，也即，通過先對預設格式數據的來源進行描述，并對預設格式數據進行總結描述，在此基礎上再對預設格式數據進行數據分析，從而提高了對預設格式數據進行分析的準確率，進一步提升用戶的體驗感，解決了大型語言模型的圖表分析準確度較低的技術問題。
6、容易注意到的是，上面的通用描述和后面的詳細描述僅僅是為了對本申請進行舉例和解釋，并不構成對本申請的限定。
本文檔來自技高網...【技術保護點】
1.一種多模態數據處理方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，基于所述場景文本數據對所述預設格式數據進行識別，得到與所述預設格式數據匹配的總結文本數據，包括：
3.根據權利要求2所述的方法，其特征在于，基于所述場景文本數據和所述總結文本數據對所述預設格式數據進行數據分析，得到與所述預設格式數據匹配的分析文本數據，包括：
4.根據權利要求2所述的方法，其特征在于，所述方法還包括：
5.根據權利要求2所述的方法，其特征在于，在所述預設格式數據包括圖像格式的數據情況下，所述數據處理模型包括切分模塊、視覺編碼模塊、視覺抽象模塊和文本生成模塊；在所述預設格式數據包括文本格式的數據的情況下，所述數據處理模型包括：文本生成模塊。
6.根據權利要求5所述的方法，其特征在于，在所述預設格式數據包括圖像格式的數據的情況下，利用數據處理模型基于所述場景文本數據對所述預設格式數據進行識別，得到所述總結文本數據，包括：
7.根據權利要求5所述的方法，其特征在于，在所述預設格式數據包括圖像格式的數據的情況下，
8.根據權利要求2所述的方法，其特征在于，所述方法還包括：
9.根據權利要求8所述的方法，其特征在于，在基于所述多個處理任務對應的訓練數據對初始處理模型進行聯合訓練，得到所述數據處理模型之后，所述方法還包括：
10.根據權利要求9所述的方法，其特征在于，基于所述多個處理任務對應的評測數據對所述數據處理模型進行評測，得到所述多個處理任務對應的總評測指標，包括：
11.一種多模態數據處理方法，其特征在于，包括：
12.一種多模態數據處理方法，其特征在于，包括：
13.一種電子設備，其特征在于，包括：
14.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的可執行程序，其中，在所述可執行程序運行時控制所述計算機可讀存儲介質所在設備執行權利要求1至12中任意一項所述的方法。
...【技術特征摘要】
1.一種多模態數據處理方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，基于所述場景文本數據對所述預設格式數據進行識別，得到與所述預設格式數據匹配的總結文本數據，包括：
3.根據權利要求2所述的方法，其特征在于，基于所述場景文本數據和所述總結文本數據對所述預設格式數據進行數據分析，得到與所述預設格式數據匹配的分析文本數據，包括：
4.根據權利要求2所述的方法，其特征在于，所述方法還包括：
5.根據權利要求2所述的方法，其特征在于，在所述預設格式數據包括圖像格式的數據情況下，所述數據處理模型包括切分模塊、視覺編碼模塊、視覺抽象模塊和文本生成模塊；在所述預設格式數據包括文本格式的數據的情況下，所述數據處理模型包括：文本生成模塊。
6.根據權利要求5所述的方法，其特征在于，在所述預設格式數據包括圖像格式的數據的情況下，利用數據處理模型基于所述場景文本數據對所述預設格式數據進行識別，得到所述總結文本數據，包括：
7.根據權利要求5所述的方...
【專利技術屬性】
技術研發人員：胡安文，史雅雅，徐海洋，嚴明，張佶，黃非，
申請(專利權)人：杭州阿里云飛天信息技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。