【技術實現步驟摘要】
本專利技術涉及計算機，尤其涉及一種數據訓練的優化方法及系統。
技術介紹
1、目前大部分的人工智能ai場景中，都需要一個通用的或專門的大模型進行數據的分析以及結果的輸出，大模型通常使用python語言進行編程并通過大量的訓練數據進行模型訓練以得到所需要的大模型，在訓練的過程中，由于需要使用海量的訓練數據，因此，訓練過程耗時久，為了減少訓練時長，通過都會采用分布式任務的訓練方式，將相關的訓練任務切片后分配到不同的機器節點上進行任務訓練，由于每一個機器節點都需要進行任務訓練可能會存在數據的重復以及數據被占用的情況，從而影響訓練效率。
技術實現思路
1、本專利技術所要解決的技術問題是：本專利技術提供一種數據訓練的優化方法及系統，減少訓練時長的同時提高訓練效率。
2、為了解決上述技術問題，本專利技術采用的技術方案為：
3、第一方面，本專利技術提供一種數據訓練的優化方法，包括：
4、數據管理層獲取待訓練任務的待訓練數據量，同時獲取每一個空閑節點的節點處理量，并根據所述節點處理量計算出當次待加載數據總量；
5、所述數據管理層根據所述當次待加載數據總量對所述待訓練數據量進行分批次加載，并在每加載完一次當次待加載數據總量時根據所述節點處理量將所述當次待加載數據總量分發至對應的空閑節點進行數據訓練；
6、所述空閑節點在進行數據訓練時將產生的訓練結果存儲至本地，同時將所述訓練結果發送至所述數據管理層進行存儲，當所述數據管理層進行下一次當次待加載
7、本專利技術的有益效果在于：通過數據管理層統一管理待訓練任務，根據每一個空閑節點的節點處理量計算出當次待加載數據總量，從而根據當次待加載數據總量對待訓練任務的待訓練數據量進行分批次加載，每加載完一次當次待加載數據總量就根據節點處理量對其進行分發，避免重復加載數據，同時提高加載效率，空閑節點在進行數據訓練時產生的訓練結果不僅存儲在本地還存儲在數據管理層，在數據管理層進行下一次當次待加載數據總量分發時，會預先判斷是否存在需要訓練結果的空閑節點，如果存在，則將進行當次待加載數據總量分發時將訓練結果也一起發送到對應的空閑節點進行數據訓練，無需后期再進行訓練結果的申請的傳輸，減少傳輸時間和訓練時長，提高訓練效率。
8、可選地，所述同時獲取每一個空閑節點的節點處理量，并根據所述節點處理量計算出當次待加載數據總量包括：
9、將每一個空閑節點的節點處理量進行匯總計算出當次待加載數據總量；
10、或
11、從所有節點處理量中篩選出最小的節點處理量，根據最小的節點處理量統計出當次待加載數據總量。
12、根據上述描述可知，將多種情況考慮在內采用多種方式計算當次待加載數據總量，保證所計算出的的當次待加載數據總量的靈活性，以每一個空閑節點的節點處理量進行匯總計算出當次待加載數據總量，保證每一個節點的充分利用，提高利用率，以最小的節點處理量統計出當次待加載數據總量，提高當次待加載數據總量的加載效率。
13、可選地，所述當所述數據管理層進行下一次當次待加載數據總量分發時包括：
14、判斷是否存在新的空閑節點，若存在，則根據新的空閑節點的節點處理量對所述當次待加載數據總量進行更新。
15、根據上述描述可知，數據管理層在進行下一次當次待加載數據總量分發時會對空閑節點進行更新，保證空閑節點的實時性提高節點的利用率。
16、可選地，所述訓練結果包括當前節點id。
17、根據上述描述可知，訓練結果包括當前節點id，使得數據管理層知悉訓練結果的來源，便于后續進行溯源。
18、第二方面，本專利技術提供一種數據訓練的優化系統，包括：
19、管理模塊，用于數據管理層獲取待訓練任務的待訓練數據量，同時獲取每一個空閑節點的節點處理量，并根據所述節點處理量計算出當次待加載數據總量；
20、分發模塊，用于所述數據管理層根據所述當次待加載數據總量對所述待訓練數據量進行分批次加載，并在每加載完一次當次待加載數據總量時根據所述節點處理量將所述當次待加載數據總量分發至對應的空閑節點進行數據訓練；
21、訓練模塊，用于所述空閑節點在進行數據訓練時將產生的訓練結果存儲至本地，同時將所述訓練結果發送至所述數據管理層進行存儲，當所述數據管理層進行下一次當次待加載數據總量分發時，判斷是否存在需要所述訓練結果的空閑節點，若存在，則在進行當次待加載數據總量分發時將所述訓練結果發送至對應的空閑節點進行數據訓練。
22、本專利技術的有益效果在于：通過數據管理層統一管理待訓練任務，根據每一個空閑節點的節點處理量計算出當次待加載數據總量，從而根據當次待加載數據總量對待訓練任務的待訓練數據量進行分批次加載，每加載完一次當次待加載數據總量就根據節點處理量對其進行分發，避免重復加載數據，同時提高加載效率，空閑節點在進行數據訓練時產生的訓練結果不僅存儲在本地還存儲在數據管理層，在數據管理層進行下一次當次待加載數據總量分發時，會預先判斷是否存在需要訓練結果的空閑節點，如果存在，則將進行當次待加載數據總量分發時將訓練結果也一起發送到對應的空閑節點進行數據訓練，無需后期再進行訓練結果的申請的傳輸，減少傳輸時間和訓練時長，提高訓練效率。
23、可選地，所述管理模塊具體為：
24、將每一個空閑節點的節點處理量進行匯總計算出當次待加載數據總量；
25、或
26、從所有節點處理量中篩選出最小的節點處理量，根據最小的節點處理量統計出當次待加載數據總量。
27、根據上述描述可知，將多種情況考慮在內采用多種方式計算當次待加載數據總量，保證所計算出的的當次待加載數據總量的靈活性，以每一個空閑節點的節點處理量進行匯總計算出當次待加載數據總量，保證每一個節點的充分利用，提高利用率，以最小的節點處理量統計出當次待加載數據總量，提高當次待加載數據總量的加載效率。
28、可選地，所述訓練模塊包括：
29、更新模塊，用于判斷是否存在新的空閑節點，若存在，則根據新的空閑節點的節點處理量對所述當次待加載數據總量進行更新。
30、根據上述描述可知，數據管理層在進行下一次當次待加載數據總量分發時會對空閑節點進行更新，保證空閑節點的實時性提高節點的利用率。
31、可選地，所述訓練結果包括當前節點id。
32、根據上述描述可知，訓練結果包括當前節點id，使得數據管理層知悉訓練結果的來源，便于后續進行溯源。
本文檔來自技高網...【技術保護點】
1.一種數據訓練的優化方法，其特征在于，包括：
2.如權利要求1所述的一種數據訓練的優化方法，其特征在于，所述同時獲取每一個空閑節點的節點處理量，并根據所述節點處理量計算出當次待加載數據總量包括：
3.如權利要求1所述的一種數據訓練的優化方法，其特征在于，所述當所述數據管理層進行下一次當次待加載數據總量分發時包括：
4.如權利要求1所述的一種數據訓練的優化方法，其特征在于，所述訓練結果包括當前節點ID。
5.一種數據訓練的優化系統，其特征在于，包括：
6.如權利要求5所述的一種數據訓練的優化系統，其特征在于，所述管理模塊具體為：
7.如權利要求5所述的一種數據訓練的優化系統，其特征在于，所述訓練模塊包括：
8.如權利要求5所述的一種數據訓練的優化系統，其特征在于，所述訓練結果包括當前節點ID。
【技術特征摘要】
1.一種數據訓練的優化方法，其特征在于，包括：
2.如權利要求1所述的一種數據訓練的優化方法，其特征在于，所述同時獲取每一個空閑節點的節點處理量，并根據所述節點處理量計算出當次待加載數據總量包括：
3.如權利要求1所述的一種數據訓練的優化方法，其特征在于，所述當所述數據管理層進行下一次當次待加載數據總量分發時包括：
4.如權利要求1所述的一種數據訓練的優化...
【專利技術屬性】
技術研發人員：林偉，蔣鋒，
申請(專利權)人：福建福諾移動通信技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。