【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種基于多輪對抗優化的大模型快速調優方法及裝置。
技術介紹
1、隨著人工智能技術的飛速發展，大模型(如語言模型、圖像識別模型等)在各個領域的應用日益廣泛。然而，大模型的訓練與優化過程復雜且耗時，特別是在面對復雜多變的任務需求時，如何快速有效地對大模型進行調優成為了一個亟待解決的問題。
2、當前，大模型的調優方法主要依賴于傳統的迭代訓練與超參數調整策略。這些方法雖然在一定程度上能夠提升模型性能，但是效率低下且成本高昂。
技術實現思路
1、本專利技術提供一種基于多輪對抗優化的大模型快速調優方法及裝置，其主要目的在于解決現有的大模型的調優方法效率低成本高的問題。
2、為實現上述目的，本專利技術提供的一種基于多輪對抗優化的大模型快速調優方法，包括：
3、將預先獲取的調優圖像數據集劃分為訓練集以及驗證集，利用預訓練的大模型對所述訓練集進行結果預測，得到預測結果集合；
4、獲取所述預測結果集合中每一個預測結果與預置的標準結果的梯度值，得到梯度值集合，根據所述梯度值集合為所述訓練集添加噪聲，得到初始對抗數據集；
5、利用所述大模型對所述初始對抗數據集中每一個對抗樣本進行結果預測，得到對抗預測結果集合，計算所述對抗預測結果集合中每一個對抗預測結果與預置的標準結果的損失值，得到損失值集合；
6、根據所述損失值集合調整所述大模型的超參數，以及根據所述損失值集合為所述訓練集添加噪聲，得到迭代對抗數據集
7、利用所述大模型對所述迭代對抗數據集中每一個對抗樣本進行結果預測，得到對抗預測結果集合后，返回所述計算所述對抗預測結果集合中每一個對抗預測結果與預置的標準結果的損失值，得到損失值集合的步驟；
8、當所述大模型達到預設的迭代次數，利用所述驗證集對所述大模型進行性能驗證；
9、若所述調優大模型未通過所述性能驗證，則獲取全新的調整數據集，返回所述將預先獲取的調優圖像數據集劃分為訓練集以及驗證集，利用預訓練的大模型對所述訓練集進行結果預測，得到預測結果集合的步驟；
10、若所述調優大模型通過所述性能驗證，則確認所述大模型調優完成，得到調優大模型；
11、利用所述調優大模型對預先獲取的監控圖像進行物體識別，得到物體識別結果。
12、可選地，所述利用預訓練的大模型對所述訓練集進行結果預測，得到預測結果集合，包括：
13、對所述訓練集進行特征提取，得到訓練集特征；
14、利用所述大模型的卷積層提取所述訓練集中每一個數據的局部特征，得到卷積特征集合；
15、利用所述大模型的池化層提取所述卷積特征集合中每一個卷積特征的局部平均值，得到池化特征集合；
16、利用所述大模型的激活層為所述池化特征集合中每一個池化特征添加非線性因素，得到激活特征集合；
17、利用所述大模型的全連接層根據預設的權重參數和偏置項輸出所述激活特征集合中每一個激活特征的預測結果，得到預測結果集合。
18、可選地，所述獲取所述預測結果集合中每一個預測結果與預置的標準結果的梯度值，得到梯度值集合，包括：
19、利用如下公式計算所述梯度值：
20、
21、其中，li為所述得到梯度值集合中第i個梯度值，n為所述預測結果集合中樣本的數量，yi為所述預測結果集合中第i個樣本，為所述預測結果集合中第i個樣本對應的標準結果。
22、可選地，所述根據所述梯度值集合為所述訓練集添加噪聲，得到初始對抗數據集，包括：
23、利用如下公式為所述訓練集添加噪聲：
24、
25、其中，pi為所述初始對抗訓練集中第i個數據，zi為所述訓練集中第i個數據，li為所述得到梯度值集合中第i個梯度值，α為控制噪聲大小的縮放因子，σ為所述梯度值集合的標準差，μ為所述梯度值集合的平均值。
26、可選地，所述計算所述對抗預測結果集合中每一個對抗預測結果與預置的標準結果的損失值，包括：
27、利用如下公式計算所述損失值：
28、
29、其中，di為所述損失值集合中第i個損失值，xi為所述對抗預測結果集合中第i個對抗預測結果，為所述對抗預測結果集合中第i個對抗預測結果對應的標準結果。
30、可選地，所述根據所述損失值集合調整所述大模型的超參數，包括：
31、計算所述損失值集合的平均值，得到平均損失值；
32、利用所述平均損失值調整所述超參數中包含的學習率，得到更新學習率；
33、利用如下公式根據所述平均損失值以及更新學習率更新所述超參數中包含的權重參數，得到更新權重參數：
34、
35、其中，為所述更新權重參數，θ為所述權重參數，η為所述更新學習率，為所述平均損失值。
36、可選地，所述根據所述損失值集合為所述訓練集添加噪聲，得到迭代對抗數據集，包括：
37、利用如下公式為所述訓練集添加噪聲：
38、
39、其中，qi為所述迭代對抗數據集中第i個數據，zi為所述訓練集中第i個數據，β為控制噪聲大小的調整因子，di為所述損失值集合中第i個損失值，為所述損失值集合的標準差。
40、可選地，所述利用所述驗證集對所述大模型進行性能驗證，包括：
41、利用所述大模型對所述驗證集中每一個數據進行結果預測，得到驗證集預測結果集合；
42、根據所述驗證集預測結果集合與所述驗證預置的標準結果計算損失值，得到驗證集損失值；
43、若所述驗證集損失值大于或等于預設的損失值閾值，則判定所述大模型未通過所述性能驗證；
44、若所述驗證集損失值小于所述損失值閾值，則判定所述大模型通過所述性能驗證。
45、可選地，所述根據所述驗證集預測結果集合與所述驗證預置的標準結果計算損失值，得到驗證集損失值，包括：
46、利用如下公式計算所述驗證集損失值：
47、
48、其中，x為所述驗證集損失值，k為所述驗證集的樣本數量，ri為所述驗證集預測結果集合中第i個預測結果，為所述驗證集預測結果集合中第i個預測結果對應的真實結果。
49、為了解決上述問題，本專利技術還提供一種基于多輪對抗優化的大模型快速調優裝置，所述裝置包括：
50、模型預測模塊，用于將預先獲取的調優圖像數據集劃分為訓練集以及驗證集，利用預訓練的大模型對所述訓練集進行結果預測，得到預測結果集合；
51、噪聲添加模塊，用于獲取所述預測結果集合中每一個預測結果與預置的標準結果的梯度值，得到梯度值集合，根據所述梯度值集合為所述訓練集添加噪聲，得到初始對抗數據集；
52、多輪優化模塊，用于利用所述大模型對所述初始對抗數據集中每一個對抗樣本進行結果預測，得到對抗預測結果集合，計算所述對抗預本文檔來自技高網...
【技術保護點】
1.一種基于多輪對抗優化的大模型快速調優方法，其特征在于，所述方法包括：
2.如權利要求1所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述利用預訓練的大模型對所述訓練集進行結果預測，得到預測結果集合，包括：
3.如權利要求2所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述獲取所述預測結果集合中每一個預測結果與預置的標準結果的梯度值，得到梯度值集合，包括：
4.如權利要求3所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述根據所述梯度值集合為所述訓練集添加噪聲，得到初始對抗數據集，包括：
5.如權利要求4所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述計算所述對抗預測結果集合中每一個對抗預測結果與預置的標準結果的損失值，包括：
6.如權利要求5所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述根據所述損失值集合調整所述大模型的超參數，包括：
7.如權利要求6所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述根據所述損失值集合為所述訓練集添加噪聲，
8.如權利要求7所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述利用所述驗證集對所述大模型進行性能驗證，包括：
9.如權利要求8所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述根據所述驗證集預測結果集合與所述驗證預置的標準結果計算損失值，得到驗證集損失值，包括：
10.一種基于多輪對抗優化的大模型快速調優裝置，其特征在于，所述裝置包括：
...【技術特征摘要】
1.一種基于多輪對抗優化的大模型快速調優方法，其特征在于，所述方法包括：
2.如權利要求1所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述利用預訓練的大模型對所述訓練集進行結果預測，得到預測結果集合，包括：
3.如權利要求2所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述獲取所述預測結果集合中每一個預測結果與預置的標準結果的梯度值，得到梯度值集合，包括：
4.如權利要求3所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述根據所述梯度值集合為所述訓練集添加噪聲，得到初始對抗數據集，包括：
5.如權利要求4所述的基于多輪對抗優化的大模型快速調優方法，其特征在于，所述計算所述對抗預測結果集合中每一個對抗預測結果與預置的標準結果...
【專利技術屬性】
技術研發人員：冷健，侯文奇，楊杰，
申請(專利權)人：深之瞳深圳信息科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。