【技術實現步驟摘要】
本公開涉及計算機，特別涉及一種信息處理方法、信息處理裝置、計算機可讀存儲介質和計算機程序產品。
技術介紹
1、在機器學習模型的推理解碼過程中，尤其在長文場景下，推理速度主要的制約因素為self-attention(自注意力)模塊。為了解決這一技術問題，token(標記數據)稀疏化方法被提出，以提高機器學習模型的推理效率。
2、在相關技術中，可以在推理過程中保留若干固定的token，以提高機器學習模型的推理效率。
技術實現思路
1、根據本公開的一些實施例，提供了信息處理方法，包括：利用機器學習模型，計算待處理信息包括的多個標記數據中每一個標記數據的查詢向量和鍵向量；根據查詢向量中的部分特征和鍵向量中的部分特征，計算每一個標記數據的第一注意力權重；根據第一注意力權重，確定待處理信息的處理結果。
2、在一些實施例中，根據第一注意力權重，確定待處理信息的處理結果包括：根據第一注意力權重，確定多個標記數據中的關鍵標記數據；根據關鍵標記數據，利用機器學習模型確定處理結果。
3、在一些實施例中，根據第一注意力權重，確定多個標記數據中的關鍵標記數據包括：將第一注意力權重最大的至少一個標記數據，確定為關鍵標記數據。
4、在一些實施例中，根據第一注意力權重，確定待處理信息的處理結果包括：根據每一個標記數據的查詢向量和關鍵標記數據的鍵向量，計算每一個標記數據的第二注意力權重；根據第二注意力權重，利用機器學習模型確定待處理信息的處理結果。
5、在
6、在一些實施例中，多個處理單元為機器學習模型中相鄰排列的多個注意力頭，和/或機器學習模型中相鄰排列的多個層。
7、在一些實施例中，處理單元包括第一處理單元和第二處理單元，根據關鍵標記數據，利用機器學習模型確定處理結果包括：利用第二處理單元，根據在第一處理單元中確定的關鍵標記數據確定處理結果。
8、在一些實施例中，預設數量的相鄰查詢向量對應同一個關鍵標記數據。
9、在一些實施例中，預設數量的相鄰查詢向量包括第一查詢向量和第二查詢向量，根據第一注意力權重，確定多個標記數據中的關鍵標記數據包括：根據第一查詢向量對應的第一注意力權重，確定第一查詢向量對應的關鍵標記數據；將第一查詢向量對應的關鍵標記數據，確定為第二查詢向量對應的關鍵標記數據。
10、根據本公開的另一些實施例，提供了一種信息處理裝置，包括：向量計算模塊，用于利用機器學習模型，計算待處理信息包括的多個標記數據中每一個標記數據的查詢向量和鍵向量；注意力計算模塊，用于根據查詢向量中的部分特征和鍵向量中的部分特征，計算每一個標記數據的第一注意力權重；處理模塊，用于根據第一注意力權重，確定待處理信息的處理結果。
11、在一些實施例中，處理模塊根據第一注意力權重，確定多個標記數據中的關鍵標記數據；根據關鍵標記數據，利用機器學習模型確定處理結果。
12、在一些實施例中，處理模塊將第一注意力權重最大的至少一個標記數據，確定為關鍵標記數據。
13、在一些實施例中，注意力計算模塊根據每一個標記數據的查詢向量和關鍵標記數據的鍵向量，計算每一個標記數據的第二注意力權重；處理模塊根據第二注意力權重，利用機器學習模型確定待處理信息的處理結果。
14、在一些實施例中，機器學習模型中的多個處理單元根據同一個關鍵標記數據處理待處理信息，多個處理單元在機器學習模型中相鄰排列。
15、在一些實施例中，多個處理單元為機器學習模型中相鄰排列的多個注意力頭，和/或機器學習模型中相鄰排列的多個層。
16、在一些實施例中，處理單元包括第一處理單元和第二處理單元，處理模塊利用第二處理單元，根據在第一處理單元中確定的關鍵標記數據確定處理結果。
17、在一些實施例中，預設數量的相鄰查詢向量對應同一個關鍵標記數據。
18、在一些實施例中，預設數量的相鄰查詢向量包括第一查詢向量和第二查詢向量，處理模塊根據第一查詢向量對應的第一注意力權重，確定第一查詢向量對應的關鍵標記數據，將第一查詢向量對應的關鍵標記數據，確定為第二查詢向量對應的關鍵標記數據。
19、根據本公開的一些實施例，提供一種信息處理裝置，包括：存儲器；和耦接至存儲器的處理器，處理器被配置為基于存儲在所述存儲器中的指令，執行本公開中的任一實施例的信息處理方法。
20、根據本公開的一些實施例，提供一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時執行本公開中的任一實施例的信息處理方法。
21、根據本公開的一些實施例，提供一種計算機程序產品，包括指令，指令當由處理器執行時使處理器執行根據本公開中的任一實施例的信息處理方法。
22、通過以下參照附圖對本公開的示例性實施例的詳細描述，本公開的其它特征、方面及其優點將會變得清楚。
本文檔來自技高網...【技術保護點】
1.一種信息處理方法，包括：
2.根據權利要求1所述的信息處理方法，其中，所述根據所述第一注意力權重，確定所述待處理信息的處理結果包括：
3.根據權利要求2所述的信息處理方法，其中，所述根據所述第一注意力權重，確定所述多個標記數據中的關鍵標記數據包括：
4.根據權利要求2所述的信息處理方法，其中，所述根據所述第一注意力權重，確定所述待處理信息的處理結果包括：
5.根據權利要求2-4任一項所述的信息處理方法，其中，所述機器學習模型中的多個處理單元根據同一個關鍵標記數據處理所述待處理信息，所述多個處理單元在所述機器學習模型中相鄰排列。
6.根據權利要求5所述的信息處理方法，其中，所述多個處理單元為所述機器學習模型中相鄰排列的多個注意力頭，和/或所述機器學習模型中相鄰排列的多個層。
7.根據權利要求5所述的信息處理方法，其中，所述處理單元包括第一處理單元和第二處理單元，
8.根據權利要求2所述的信息處理方法，其中，預設數量的相鄰查詢向量對應同一個關鍵標記數據。
9.根據權利要求8所述的信息處
10.一種信息處理裝置，包括：
11.一種信息處理裝置，包括：
12.一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現權利要求1-9任一項所述的信息處理方法。
13.一種計算機程序產品，包括指令，所述指令當由處理器執行時使所述處理器執行根據權利要求1-9任一項所述的信息處理方法。
...【技術特征摘要】
1.一種信息處理方法，包括：
2.根據權利要求1所述的信息處理方法，其中，所述根據所述第一注意力權重，確定所述待處理信息的處理結果包括：
3.根據權利要求2所述的信息處理方法，其中，所述根據所述第一注意力權重，確定所述多個標記數據中的關鍵標記數據包括：
4.根據權利要求2所述的信息處理方法，其中，所述根據所述第一注意力權重，確定所述待處理信息的處理結果包括：
5.根據權利要求2-4任一項所述的信息處理方法，其中，所述機器學習模型中的多個處理單元根據同一個關鍵標記數據處理所述待處理信息，所述多個處理單元在所述機器學習模型中相鄰排列。
6.根據權利要求5所述的信息處理方法，其中，所述多個處理單元為所述機器學習模型中相鄰排列的多個注意力頭，和/或所...
【專利技術屬性】
技術研發人員：李連強，吳懷瑾，余明輝，
申請(專利權)人：北京火山引擎科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。