【技術實現步驟摘要】
本專利技術涉及云計算和分布式計算，具體為一種基于人工智能算法的云端數據處理系統。
技術介紹
1、隨著云計算和分布式計算技術和人工智能算法的快速發展，大規模高維數據處理逐漸成為各行業的關鍵需求。在人工智能模型訓練、大數據分析和科學模擬等領域，數據規模和計算復雜度的快速增長對云端計算平臺的資源分配、任務調度和結果處理提出了更高的要求。通常，傳統的云端數據處理系統采用固定資源分配或集中式任務調度策略，難以應對復雜數據結構和動態計算環境。這種處理模式在任務并行度、資源利用效率以及結果準確性方面存在顯著不足，尤其是在處理高維數據時，容易造成計算資源浪費、任務依賴瓶頸以及處理時間的顯著增加。
2、現有技術在任務分解和資源調度中缺乏對任務之間復雜依賴關系的有效處理，導致任務調度和執行順序無法充分優化。此外，數據處理任務通常以靜態的方式分配計算資源，忽略了動態計算環境中資源狀態的實時變化，從而在資源利用率和執行效率上難以達到全局最優。同時，現有技術對并行計算結果的合并和校驗缺乏有效機制，容易因計算過程中的精度損失或數據不一致問題而影響最終結果的可靠性和準確性。
技術實現思路
1、針對現有技術的不足，本專利技術提供了一種基于人工智能算法的云端數據處理系統，解決了現有技術中高維數據處理效率低、資源利用率不足以及計算結果準確性與一致性難以保證的技術問題。
2、為實現以上目的，本專利技術通過以下技術方案予以實現：一種基于人工智能算法的云端數據處理系統，包括：
3、數據輸
4、任務分解模塊，用于對所述高維數據進行分解，基于高階奇異值分解將高維張量分解為核心張量和多個正交矩陣，并生成多個子任務；
5、資源調度模塊，用于基于分布式優化方法對所述子任務進行資源分配和調度，最小化任務執行時間和資源消耗；
6、并行計算模塊，用于在時間域和空間域上對所述子任務進行并行計算，包括時間并行流水線執行和空間并行任務分發；
7、結果重構模塊，用于將所述并行計算模塊處理得到的子任務結果進行合并重構，生成最終計算結果。
8、優選的，所述數據輸入模塊對輸入數據進行預處理，包括數據清洗、格式化和張量化轉換。
9、優選的，所述高階奇異值分解將高維張量分解為核心張量和多個正交矩陣包括：
10、對張量的每一維進行矩陣展開，將高維張量轉換為矩陣形式；
11、通過奇異值分解對所述矩陣進行分解，得到對應維度的正交矩陣；
12、根據所述正交矩陣，對高維張量進行核心張量分解。
13、優選的，所述資源調度模塊通過分布式拉格朗日優化方法實現資源分配，具體包括：
14、構建資源調度目標函數，用于同時優化任務執行時間、資源消耗和數據傳輸開銷，目標函數為：
15、
16、其中，為任務的數量，為任務的執行時間，為任務的資源消耗，為任務和任務之間的數據傳輸延遲，分別為時間、資源和傳輸的權重因子；
17、引入資源約束條件，約束條件為：
18、
19、其中，為任務分配的資源量，為系統總資源量；
20、構建拉格朗日函數，將資源調度目標函數與約束條件結合，得到：
21、
22、其中，為拉格朗日乘子；
23、基于分布式迭代優化方法求解拉格朗日函數，通過更新拉格朗日乘子實現資源分配的全局最優解，所述迭代更新公式為：
24、
25、其中，為迭代次數，為步長參數；
26、根據所述全局最優解確定任務分配方案，將任務分配至計算節點。
27、優選的，所述資源調度模塊基于所述拉格朗日函數優化結果進行任務調度，具體包括：
28、通過分布式求解器將目標函數分解為多個子問題，每個子問題的優化目標為：
29、
30、其中，為任務的資源限制；
31、在每個計算節點上并行求解子問題，確定各任務的資源分配量；
32、基于任務執行時間、資源消耗和數據傳輸開銷的權衡結果，對任務分配方案進行動態調整；
33、根據所述任務分配方案，將子任務分配到對應計算節點，最小化系統的整體執行時間和資源消耗。
34、優選的，所述并行計算模塊包括：
35、時間并行單元，用于將子任務分配到時間窗口，形成任務流水線；
36、空間并行單元，用于將所述子任務分發到不同的計算節點并行執行；
37、任務依賴分析單元，用于基于有向無環圖分析任務的依賴關系，保證執行順序與數據同步。
38、優選的，所述任務依賴分析單元用于基于有向無環圖對任務的依賴關系進行建模與調度，具體包括：
39、將任務集合表示為有向無環圖，其中為任務頂點集合，為任務之間的數據依賴邊，所述邊的權重表示任務之間的數據傳輸開銷；
40、對所述有向無環圖進行拓撲排序，確定任務執行順序，所述拓撲排序通過以下條件進行：
41、若，即任務依賴于任務的結果，則任務須先于任務執行；
42、計算任務的執行優先級，所述執行優先級通過節點權重和路徑長度進行確定，節點權重為任務執行時間，路徑長度為從起始任務到當前任務的累計權重；
43、基于所述執行優先級，生成任務調度順序；
44、在調度執行過程中，根據任務之間的數據依賴，確保任務的執行在所有依賴任務完成后進行，執行條件為：
45、對于任意任務，若，則任務的開始時間必須晚于任務的完成時間；
46、動態調整任務調度順序，當計算資源狀態或任務執行時間發生變化時，基于任務依賴圖重新優化調度順序。
47、優選的，所述并行計算模塊處理得到的子任務結果進行合并重構，生成最終計算結果包括：
48、接收并行計算模塊輸出的所有子任務結果，其中表示第個子任務的計算結果；
49、基于任務分解模塊的分塊信息，按照子任務的邏輯順序和依賴關系，將合并為整體結果；
50、對子任務結果進行矩陣拼接或張量重構，若子任務為矩陣結果，則按以下規則進行拼接：
51、
52、若子任務為張量結果，則基于張量的多維索引重構原始張量；
53、輸出最終計算結果，并將結果反饋給系統或外部調用接口。
54、優選的，所述并行計算模塊處理得到的子任務結果進行合并重構，生成最終計算結果還包括：
55、執行結果校驗，對合并后的結果進行完整性和一致性驗證，通過以下公式判斷是否滿足計算精度要求：
56、
57、其中，為原始張量，為重構后的張量，表示frobenius范數，為精度閾值。
58、本專利技術還提供一種基于人工智能算法的云端數據處理方法，包括以下步驟：
59、接收高維數據，將所述數據轉換為張量本文檔來自技高網...
【技術保護點】
1.一種基于人工智能算法的云端數據處理系統，其特征在于，包括：
2.根據權利要求1所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述數據輸入模塊對輸入數據進行預處理，包括數據清洗、格式化和張量化轉換。
3.根據權利要求1所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述高階奇異值分解將高維張量分解為核心張量和多個正交矩陣包括：
4.根據權利要求1所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述資源調度模塊通過分布式拉格朗日優化方法實現資源分配，具體包括：
5.根據權利要求4所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述資源調度模塊基于所述拉格朗日函數優化結果進行任務調度，具體包括：
6.根據權利要求1所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述并行計算模塊包括：
7.根據權利要求6所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述任務依賴分析單元用于基于有向無環圖對任務的依賴關系進行建模與調度，具體包括：
8.根據
9.根據權利要求8所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述并行計算模塊處理得到的子任務結果進行合并重構，生成最終計算結果還包括：
...【技術特征摘要】
1.一種基于人工智能算法的云端數據處理系統，其特征在于，包括：
2.根據權利要求1所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述數據輸入模塊對輸入數據進行預處理，包括數據清洗、格式化和張量化轉換。
3.根據權利要求1所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述高階奇異值分解將高維張量分解為核心張量和多個正交矩陣包括：
4.根據權利要求1所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述資源調度模塊通過分布式拉格朗日優化方法實現資源分配，具體包括：
5.根據權利要求4所述的一種基于人工智能算法的云端數據處理系統，其特征在于，所述資源調度模塊基于所述拉格...
【專利技術屬性】
技術研發人員：姚毓凱，朱亞男，張憲立，許天鵬，張恩展，顧群，趙付青，
申請(專利權)人：蘭州理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。