【技術實現(xiàn)步驟摘要】
本申請涉及人工智能，尤其涉及一種多硬件混合大模型推理的方法、系統(tǒng)及相關裝置。
技術介紹
1、隨著人工智能技術的快速發(fā)展，尤其是大規(guī)模的多模態(tài)大模型在各個領域中的廣泛應用，如何高效地部署和運行這些大模型已成為當前的一個技術難題。傳統(tǒng)的計算平臺和硬件架構無法滿足大規(guī)模模型在性能和資源消耗上的要求，尤其是在計算需求、存儲帶寬和數(shù)據(jù)傳輸?shù)确矫娲嬖谄款i。
2、現(xiàn)有技術中，使用多硬件進行模型推理則可整合不同硬件的優(yōu)勢，例如?gpu?的強大并行計算能力可加速模型計算核心部分，fpga?的可編程性與低功耗特性適合特定數(shù)據(jù)處理任務，而新型智能芯片能在特定場景下優(yōu)化運算效率。尤其是在計算需求方面，多硬件協(xié)同可突破單一硬件算力上限，實現(xiàn)更高效的運算處理。通過多硬件模型推理，能有效提升大規(guī)模多模態(tài)大模型的部署與運行效率，降低資源消耗。
3、但傳統(tǒng)的多硬件推理任務調(diào)度方案往往依據(jù)預先設定的規(guī)則或固定的模型評估結果來分配任務到不同硬件資源，在任務執(zhí)行過程中缺乏對任務實際運行情況變化的動態(tài)響應能力。例如，一旦任務分配到特定硬件后，通常不會根據(jù)數(shù)據(jù)特性變化進行調(diào)整，即使后續(xù)數(shù)據(jù)處理需求發(fā)生改變，資源分配也難以靈活變動，無法有效應對數(shù)據(jù)特征和計算負載的快速變化，最終導致對于多模態(tài)數(shù)據(jù)處理的效率和推理結果的準確性降低。
技術實現(xiàn)思路
1、本申請?zhí)峁┝艘环N多硬件混合大模型推理的方法、系統(tǒng)及相關裝置，用于提升對復雜模態(tài)任務的推理效率和靈活性。
2、本申請第一方面提供了一種多硬件混合大模
3、收集多模態(tài)大模型的結構信息，所述結構信息包括所述多模態(tài)大模型的若干模態(tài)處理分支以及所述模態(tài)處理分支內(nèi)部的子模塊和層結構；
4、在多個硬件的模擬環(huán)境下，使用多模態(tài)數(shù)據(jù)樣本對所述多模態(tài)大模型進行基準測試，得到所述多個硬件的性能指標；
5、基于所述性能指標對所述多模態(tài)大模型與所述多個硬件的適配性進行評估，生成硬件適配報告；
6、接收推理任務請求，并根據(jù)所述推理任務請求生成對應的推理任務存入任務隊列；
7、根據(jù)所述多模態(tài)大模型的結構信息和不同任務階段的模態(tài)變化特性對所述任務隊列中的目標推理任務進行分解，得到若干個子任務和每個所述子任務對應的若干個計算單元；
8、確定所述計算單元的計算類型和輸入輸出數(shù)據(jù)規(guī)模，并根據(jù)所述計算類型和所述輸入輸出數(shù)據(jù)規(guī)模估算所述計算單元的任務資源需求；
9、根據(jù)所述硬件適配報告和所述任務資源需求制定調(diào)度策略，并根據(jù)所述調(diào)度策略將所述計算單元分配至合適的硬件進行執(zhí)行；
10、在任務執(zhí)行過程中使用多模態(tài)語義融合模型和時間序列預測模型進行動態(tài)模態(tài)變化監(jiān)測，實時分析所述任務執(zhí)行過程中的模態(tài)變化趨勢，根據(jù)所述模態(tài)變化趨勢動態(tài)調(diào)整所述調(diào)度策略；
11、當所有所述子任務完成后，對所述子任務的結果進行合并和驗證，輸出最終的推理結果。
12、可選的，所述根據(jù)所述多模態(tài)大模型的結構信息和不同任務階段的模態(tài)變化特性對所述任務隊列中的目標推理任務進行分解，得到若干個子任務和每個所述子任務對應的若干個計算單元，包括：
13、根據(jù)目標推理任務的任務需求將所述任務隊列中的所述目標推理任務劃分為不同任務階段，根據(jù)所述不同任務階段之間的依賴關系和轉(zhuǎn)換規(guī)律確定所述目標推理任務在不同任務階段的模態(tài)變化特性；
14、根據(jù)所述模態(tài)處理分支和所述模態(tài)變化特性對所述目標推理任務進行初步分解，得到若干個子任務；
15、根據(jù)所述模態(tài)處理分支內(nèi)部的子模塊和層結構對所述子任務進行細化分解，得到若干個計算單元。
16、可選的，所述多模態(tài)語義融合模型基于多頭注意力機制和多層感知機網(wǎng)絡構建，所述時間序列預測模型采用長短期記憶網(wǎng)絡或門控循環(huán)單元構建；
17、所述在任務執(zhí)行過程中使用多模態(tài)語義融合模型和時間序列預測模型進行動態(tài)模態(tài)變化監(jiān)測，實時分析所述任務執(zhí)行過程中的模態(tài)變化趨勢，根據(jù)所述模態(tài)變化趨勢動態(tài)調(diào)整所述調(diào)度策略，包括：
18、在任務執(zhí)行過程中，通過多模態(tài)語義融合模型對不同模態(tài)的特征向量進行融合，生成多模態(tài)語義特征向量；
19、將所述多模態(tài)語義特征向量作為所述時間序列預測模型的輸入，并根據(jù)所述時間序列預測模型的輸出結果確定所述任務執(zhí)行過程中的模態(tài)變化趨勢，所述時間序列預測模型用于將所述多模態(tài)語義特征向量轉(zhuǎn)換為時間序列數(shù)據(jù)進行預測；
20、當根據(jù)所述模態(tài)變化趨勢確定調(diào)度策略不滿足模態(tài)變化后的任務需求時，根據(jù)所述模態(tài)變化趨勢進行任務遷移操作。
21、可選的，所述根據(jù)所述時間序列預測模型的輸出結果確定所述任務執(zhí)行過程中的模態(tài)變化趨勢，包括：
22、計算所述時間序列預測模型的輸出結果與實際的多模態(tài)語義特征向量之間的預測誤差；
23、基于所述預測誤差和預設誤差閾值進行綜合分析，確定所述任務執(zhí)行過程中的模態(tài)變化趨勢。
24、可選的，所述在多個硬件的模擬環(huán)境下，使用多模態(tài)數(shù)據(jù)樣本對所述多模態(tài)大模型進行基準測試，得到所述多個硬件的性能指標，包括：
25、利用虛擬化技術創(chuàng)建所述多個硬件的硬件模擬環(huán)境，根據(jù)不同硬件的架構特點和性能參數(shù)設置所述硬件模擬環(huán)境的參數(shù)；
26、在每個所述硬件模擬環(huán)境中使用多模態(tài)數(shù)據(jù)樣本對所述多模態(tài)大模型進行獨立測試，記錄所述多模態(tài)大模型在所述硬件模擬環(huán)境中的第一性能指標，所述第一性能指標包括推理時間、內(nèi)存占用峰值、計算資源利用率和功耗；
27、在多個所述硬件模擬環(huán)境中使用所述多模態(tài)數(shù)據(jù)樣本進行多硬件組合的協(xié)同測試，記錄不同硬件組合在處理多模態(tài)融合任務時的第二性能指標，所述第二性能指標包括整體推理時間和數(shù)據(jù)傳輸量。
28、可選的，所述基于所述性能指標對所述多模態(tài)大模型與所述多個硬件的適配性進行評估，生成硬件適配報告，包括：
29、根據(jù)所述多模態(tài)大模型的運行需求確定所述第一性能指標的預設權重，通過所述第一性能指標和所述預設權重計算每個硬件對于不同模態(tài)數(shù)據(jù)的硬件適配得分；
30、通過所述第二性能指標計算所述不同硬件組合的協(xié)同效率得分；
31、根據(jù)所述硬件適配得分和所述協(xié)同效率得分生成硬件適配報告。
32、可選的，所述子任務包括圖像識別子任務、音頻識別子任務、文本提取子任務、動作分析子任務、場景轉(zhuǎn)換子任務、情感分析子任務和模態(tài)融合子任務。
33、本申請第二方面提供了一種多硬件混合大模型推理的系統(tǒng)，包括：
34、收集單元，用于收集多模態(tài)大模型的結構信息，所述結構信息包括所述多模態(tài)大模型的若干模態(tài)處理分支以及所述模態(tài)處理分支內(nèi)部的子模塊和層結構；
35、測試單元，用于在多個硬件的模擬環(huán)境下，使用多模態(tài)數(shù)據(jù)樣本對所述多模態(tài)大模型進行基準測試，得到所述多個硬件的性能指標；
36、生成單元，用于基于所述性能指標對所述多模態(tài)大模型與所述多個硬件的適配性進行評本文檔來自技高網(wǎng)...
【技術保護點】
1.一種多硬件混合大模型推理的方法，其特征在于，所述方法包括：
2.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述多模態(tài)大模型的結構信息和不同任務階段的模態(tài)變化特性對所述任務隊列中的目標推理任務進行分解，得到若干個子任務和每個所述子任務對應的若干個計算單元，包括：
3.根據(jù)權利要求1所述的方法，其特征在于，所述多模態(tài)語義融合模型基于多頭注意力機制和多層感知機網(wǎng)絡構建，所述時間序列預測模型采用長短期記憶網(wǎng)絡或門控循環(huán)單元構建；
4.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述時間序列預測模型的輸出結果確定所述任務執(zhí)行過程中的模態(tài)變化趨勢，包括：
5.根據(jù)權利要求1所述的方法，其特征在于，所述在多個硬件的模擬環(huán)境下，使用多模態(tài)數(shù)據(jù)樣本對所述多模態(tài)大模型進行基準測試，得到所述多個硬件的性能指標，包括：
6.根據(jù)權利要求5所述的方法，其特征在于，所述基于所述性能指標對所述多模態(tài)大模型與所述多個硬件的適配性進行評估，生成硬件適配報告，包括：
7.根據(jù)權利要求1至6中任一項所述的方法，其特征在于，所述子任務包括
8.一種多硬件混合大模型推理的系統(tǒng)，其特征在于，所述系統(tǒng)包括：
9.一種多硬件混合大模型推理的裝置，其特征在于，所述裝置包括：
10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上保存有程序，所述程序在計算機上執(zhí)行時執(zhí)行如權利要求1至7中任一項所述方法。
...【技術特征摘要】
1.一種多硬件混合大模型推理的方法，其特征在于，所述方法包括：
2.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述多模態(tài)大模型的結構信息和不同任務階段的模態(tài)變化特性對所述任務隊列中的目標推理任務進行分解，得到若干個子任務和每個所述子任務對應的若干個計算單元，包括：
3.根據(jù)權利要求1所述的方法，其特征在于，所述多模態(tài)語義融合模型基于多頭注意力機制和多層感知機網(wǎng)絡構建，所述時間序列預測模型采用長短期記憶網(wǎng)絡或門控循環(huán)單元構建；
4.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述時間序列預測模型的輸出結果確定所述任務執(zhí)行過程中的模態(tài)變化趨勢，包括：
5.根據(jù)權利要求1所述的方法，其特征在于，所述在多個硬件的模擬環(huán)境下，使用多模態(tài)數(shù)據(jù)樣本對所述多模...
【專利技術屬性】
技術研發(fā)人員：陳碩，徐雷，鄧富城，羅韻，
申請(專利權)人：山東極視角科技股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。