【技術實現步驟摘要】
本說明書實施例涉及計算機，特別涉及一種問答模型訓練方法、數據處理方法、文本處理方法和視頻處理方法。
技術介紹
1、隨著大模型在指令跟隨能力上的出色表現，大模型逐漸被廣泛應用至各個
在實際應用中，不同長度訓練數據下訓練出來的預訓練模型之間并不通用，例如，在文本預測領域，有標注的樣本數據成本高昂，也很稀缺，常常會出現在短文本數據上訓練出來的模型在長文本數據上預測效果很差的情況，反之亦然。這使得訓練好的模型的性能較為單一化。從而，若使用基于短文本數據訓練好的模型，對長文本數據進行預測，其預測結果的準確性較低，因此，需要使用長文本數據重新對模型進行訓練，并使用重新訓練好的模型對長文本數據進行處理，但由于對長文本數據進行標注的成本高昂，使用標注后的長文本數據重新對模型進行訓練仍需花費高昂的成本。因此，亟需一種方法來解決使用訓練好的模型對不同數據進行處理所導致的準確性較低的技術問題。
技術實現思路
1、有鑒于此，本說明書實施例提供了一種問答模型訓練方法、數據處理方法、文本處理方法和視頻處理方法。本說明書一個或者多個實施例同時涉及一種問答模型訓練裝置、數據處理裝置、文本處理裝置和視頻處理裝置，一種計算設備，一種計算機可讀存儲介質以及一種計算機程序產品，以解決現有技術中存在的技術缺陷。
2、根據本說明書實施例的第一方面，提供了一種問答模型訓練方法，包括：
3、獲取原始訓練數據、所述原始訓練數據的切分訓練數據和所述切分訓練數據的待訓練問題，其中，所述原始訓練數據的數據
4、將所述切分訓練數據和所述待訓練問題輸入初始問答模型，獲得所述待訓練問題的第一答案數據；
5、將所述原始訓練數據和所述待訓練問題輸入所述初始問答模型，獲得所述待訓練問題的第二答案數據；
6、基于所述切分訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第一訓練數據對，基于所述原始訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第二訓練數據對；
7、根據所述第一訓練數據對和所述第二訓練數據對，訓練所述初始問答模型，獲得目標問答模型。
8、根據本說明書實施例的第二方面，提供了一種問答模型訓練裝置，包括：
9、獲取模塊，被配置為獲取原始訓練數據、所述原始訓練數據的切分訓練數據和所述切分訓練數據的待訓練問題，其中，所述原始訓練數據的數據長度大于預設長度閾值，所述切分訓練數據的數據長度小于或等于所述預設長度閾值；
10、第一輸入模塊，被配置為將所述切分訓練數據和所述待訓練問題輸入初始問答模型，獲得所述待訓練問題的第一答案數據；
11、第二輸入模塊，被配置為將所述原始訓練數據和所述待訓練問題輸入所述初始問答模型，獲得所述待訓練問題的第二答案數據；
12、生成模塊，被配置為基于所述切分訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第一訓練數據對，基于所述原始訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第二訓練數據對；
13、訓練模塊，被配置為根據所述第一訓練數據對和所述第二訓練數據對，訓練所述初始問答模型，獲得目標問答模型。
14、根據本說明書實施例的第三方面，提供了另一種問答模型訓練方法，應用于云側設備，包括：
15、響應于問答模型訓練指令獲取原始訓練數據、所述原始訓練數據的切分訓練數據和所述切分訓練數據的待訓練問題，其中，所述原始訓練數據的數據長度大于預設長度閾值，所述切分訓練數據的數據長度小于或等于所述預設長度閾值；
16、將所述切分訓練數據和所述待訓練問題輸入初始問答模型，獲得所述待訓練問題的第一答案數據；
17、將所述原始訓練數據和所述待訓練問題輸入所述初始問答模型，獲得所述待訓練問題的第二答案數據；
18、基于所述切分訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第一訓練數據對，基于所述原始訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第二訓練數據對；
19、根據所述第一訓練數據對和所述第二訓練數據對，訓練所述初始問答模型，獲得目標問答模型；
20、將所述目標問答模型的目標模型參數反饋至目標終端。
21、根據本說明書實施例的第四方面，提供了另一種問答模型訓練裝置，應用于云側設備，包括：
22、響應模塊，被配置為響應于問答模型訓練指令獲取原始訓練數據、所述原始訓練數據的切分訓練數據和所述切分訓練數據的待訓練問題，其中，所述原始訓練數據的數據長度大于預設長度閾值，所述切分訓練數據的數據長度小于或等于所述預設長度閾值；
23、第一數據輸入模塊，被配置為將所述切分訓練數據和所述待訓練問題輸入初始問答模型，獲得所述待訓練問題的第一答案數據；
24、第二數據輸入模塊，被配置為將所述原始訓練數據和所述待訓練問題輸入所述初始問答模型，獲得所述待訓練問題的第二答案數據；
25、數據對生成模塊，被配置為基于所述切分訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第一訓練數據對，基于所述原始訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第二訓練數據對；
26、模型訓練模塊，被配置為根據所述第一訓練數據對和所述第二訓練數據對，訓練所述初始問答模型，獲得目標問答模型；
27、反饋模塊，被配置為將所述目標問答模型的目標模型參數反饋至目標終端。
28、根據本說明書實施例的第五方面，提供了一種數據處理方法，包括：
29、獲取待處理業務數據和針對所述待處理業務數據的待確定問題；
30、將所述待處理業務數據和所述待確定問題輸入目標問答模型，獲得所述待確定問題的目標答案，其中，所述目標問答模型根據上述問答模型訓練方法獲得。
31、根據本說明書實施例的第六方面，提供了一種數據處理裝置，包括：
32、業務數據獲取模塊，被配置為獲取待處理業務數據和針對所述待處理業務數據的待確定問題；
33、業務數據輸入模塊，被配置為將所述待處理業務數據和所述待確定問題輸入目標問答模型，獲得所述待確定問題的目標答案，其中，所述目標問答模型根據上述問答模型訓練方法獲得。
34、根據本說明書實施例的第七方面，提供了一種文本處理方法，包括：
35、獲取待處理文本和針對所述待處理文本的待確定文本問題，其中，所述待處理文本包括待處理長文本或待處理短文本；
36、將所述待處理文本和所述待確定文本問題輸入目標問答模型，獲得所述待確定文本問題的目標文本答案，其中，所述目標問答模型根據上述問答模型訓練方法獲得。
37、根據本說明書實施例的第八方面，提供了一種文本處理裝置，包括：...
【技術保護點】
1.一種問答模型訓練方法，包括：
2.如權利要求1所述的方法，基于所述切分訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第一訓練數據對，包括：
3.如權利要求1所述的方法，基于所述原始訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第二訓練數據對，包括：
4.如權利要求1所述的方法，根據所述第一訓練數據對和所述第二訓練數據對，訓練所述初始問答模型，獲得目標問答模型，包括：
5.如權利要求4所述的方法，根據所述第一訓練數據對，確定所述初始問答模型的參考輸出分布，包括：
6.如權利要求1所述的方法，獲取所述原始訓練數據的切分訓練數據，包括：
7.如權利要求1所述的方法，獲取所述切分訓練數據的待訓練問題，包括：
8.一種問答模型訓練方法，應用于云側設備，包括：
9.一種數據處理方法，包括：
10.一種文本處理方法，包括：
11.一種視頻處理方法，包括：
12.一種計算設備，包括：
13.一種計算機可讀存儲介
14.一種計算機程序產品，包括計算機程序/指令，該計算機程序/指令被處理器執行時實現權利要求1-11任意一項所述方法的步驟。
...【技術特征摘要】
1.一種問答模型訓練方法，包括：
2.如權利要求1所述的方法，基于所述切分訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第一訓練數據對，包括：
3.如權利要求1所述的方法，基于所述原始訓練數據、所述待訓練問題、所述第一答案數據和所述第二答案數據，生成第二訓練數據對，包括：
4.如權利要求1所述的方法，根據所述第一訓練數據對和所述第二訓練數據對，訓練所述初始問答模型，獲得目標問答模型，包括：
5.如權利要求4所述的方法，根據所述第一訓練數據對，確定所述初始問答模型的參考輸出分布，包括：
6.如權利要求1所述的方法，獲取所述原始訓練數據的...
【專利技術屬性】
技術研發人員：陳官正，李昕，邴立東，
申請(專利權)人：阿里巴巴中國有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。