【技術實現步驟摘要】
本專利技術屬于大數據分析領域，尤其涉及一種涉及隱私保護的模型訓練、微調和推理系統及方法。
技術介紹
1、大語言模型蓬勃發展，對算力的需求激增，因為考慮到數據和模型隱私性和安全性的問題，模型公司訓練基礎模型必須采購物理gpu私有化部署，不能使用云服務的彈性資源，如果gpu不能長時間滿負荷利用，為公司造成成本的提高和浪費。
2、有些大語言模型泛化能力很強，但也需要垂直行業知識的能力，所以小型行業公司需要對大模型進行微調訓練，但也是因為數據隱私和安全問題，不得已購買物理gpu進行微調訓練。而這對小型行業公司來說，成本更高，如果要減少gpu成本使用彈性云gpu，就必須冒著數據和模型泄露的風險。
3、而模型訓練好之后，要使用模型進行推理服務，同樣，如果要使用彈性的云gpu資源，也會存在模型泄露的風險。
4、現有技術中有利用差分隱私技術，其核心思想是通過在模型訓練或推理過程中添加隨機噪聲，使得模型的輸出對于任何單個訓練樣本或輸入樣本都不太敏感，從而達到隱私保護的目的。然而差分隱私技術僅僅是保護個體隱私，而無法保證完全保護所有數據。
5、現有技術中還有采用聯邦訓練以及聯邦推理解決數據隱私保護，但其主要是通過分布式的方法，在通信效率、模型收斂速度、參與方之間的信任等方面仍然存在不足。
技術實現思路
1、本專利技術的技術目的是提供一種涉及隱私保護的模型訓練、微調和推理系統及方法，以解決無法安全且低成本地使用模型問題。
2、為解決上述問題，本
3、一種涉及隱私保護的模型訓練、微調和推理系統，包括：
4、第一輸入端、本地加解密模塊、云端訓練模塊和云端模型存儲模塊；
5、獲取由第一輸入端輸入大規模的數據集數據；
6、本地加解密模塊與第一輸入端信號連接，被配置為接收數據集數據并轉化為加密數據集數據；
7、云端訓練模塊與本地加解密模塊通信連接，被配置為接收加密數據集數據并訓練得到加密大語言模型并存儲于云端模型存儲模塊；
8、其中，第一輸入端和本地加解密模塊位于本地數據集提供端，云端訓練模塊和云端模型存儲模塊位于云端服務器。
9、進一步優選地，還包括第二輸入端；
10、獲取由第二輸入端輸入的提示詞；
11、本地加解密模塊與第二輸入端通信連接，被配置為接收提示詞并轉化為加密提示詞；
12、云端訓練模塊被配置為從本地加解密模塊接收加密提示詞，從云端模型存儲模塊接收加密大語言模型，實現對加密提示詞進行模型推理，得到加密推理結果；
13、本地加解密模塊還被配置為接收加密推理結果并進行解密，得到正常推理結果后傳回至云端服務器；
14、其中，第二輸入端位于云端服務器，第二輸入端的數據來源與第一輸入端相一致。
15、進一步優選地，還包括第三輸入端；
16、獲取由第三輸入端輸入垂直行業的數據集數據；
17、本地加解密模塊與第三輸入端通信連接，被配置為接收數據集數據并轉化為加密數據集數據；
18、云端訓練模塊還被配置為從本地加解密模塊接收加密數據集數據，以及從云端模型存儲模塊接收加密大語言模型，實現基于加密數據集數據對加密大語言模型進行微調，并訓練得到加密lora模型并存儲于云端模型存儲模塊；
19、其中，第三輸入端位于云端服務器，第三輸入端的數據來源與第一輸入端不一致。
20、進一步優選地，還包括第四輸入端；
21、獲取由第四輸入端輸入的提示詞；
22、本地加解密模塊與第四輸入端通信連接，被配置為接收提示詞并轉化為加密提示詞；
23、云端訓練模塊被配置為從本地加解密模塊接收加密提示詞，從云端模型存儲模塊接收加密lora模型和加密大語言模型，實現對加密提示詞地模型推理，得到加密推理結果；
24、本地加解密模塊還被配置為接收加密推理結果并進行解密，得到正常推理結果后傳回至云端服務器
25、其中，第四輸入端位于云端服務器，第四輸入端的數據來源與第三輸入端相一致。
26、一種涉及隱私保護的模型訓練、微調和推理方法，應用于如上述任意一項的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，模型訓練包括如下步驟：
27、獲取大規模的數據集數據；對數據集數據進行加密處理，得到加密數據集數據；接收加密數據集數據并訓練得到加密大語言模型，并存儲于云端模型存儲模塊。
28、進一步優選地，模型推理包括如下步驟：
29、獲取提示詞；對接收提示詞進行加密處理，得到加密提示詞；將加密提示詞送入加密大語言模型，實施模型推理，得到加密推理結果；再將加密推理結果進行解密處理，得到正常推理結果。
30、進一步優選地，模型微調包括如下步驟：
31、獲取垂直行業的數據集數據；對數據集數據進行加密處理，得到加密數據集數據；將加密數據集數據送入加密大語言模型實現模型微調，訓練得到加密lora模型。
32、進一步優選地，微調后模型推理包括如下步驟：
33、獲取提示詞；對提示詞進行加密處理，得到加密提示詞；將加密提示詞送入加密lora模型和加密大語言模型，實施模型推理，得到加密推理結果；再對加密推理結果進行解密，得到正常推理結果。
34、一種電子設備，電子設備包括處理器和存儲器，存儲器上存儲有可在處理器上運行的計算機指令，處理器用于調用存儲器中的計算機指令執行如上述任一項的涉及隱私保護的模型訓練、微調和推理方法。
35、一種存儲介質，存儲介質用于存儲計算機指令，其中，在計算機指令運行時控制存儲介質所在設備執行如上述任一項的涉及隱私保護的模型訓練、微調和推理方法。
36、本專利技術由于采用以上技術方案，使其與現有技術相比具有以下的優點和積極效果：
37、本專利技術通過加密的方式實現隱私保護，可在云端處理器內實施模型訓練、微調和推理，降低了大模型公司和小行業的模型訓練，微調和推理成本。彈性地使用云端處理器的gpu資源，提高社會全體利用率，降低社會全局能耗。分工更明確，合理利用云端的gpu資源，模型公司注重數據和算法，云公司注重算力，提高整體的工作效率。
本文檔來自技高網...【技術保護點】
1.一種涉及隱私保護的模型訓練、微調和推理系統，其特征在于，包括：第一輸入端、本地加解密模塊、云端訓練模塊和云端模型存儲模塊；
2.根據權利要求1所述的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，還包括第二輸入端；
3.根據權利要求1所述的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，還包括第三輸入端；
4.根據權利要求3所述的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，還包括第四輸入端；
5.一種涉及隱私保護的模型訓練、微調和推理方法，應用于如權利要求1至4任意一項所述的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，模型訓練包括如下步驟：
6.根據權利要求5所述的涉及隱私保護的模型訓練、微調和推理方法，其特征在于，模型推理包括如下步驟：
7.根據權利要求5所述的涉及隱私保護的模型訓練、微調和推理方法，其特征在于，模型微調包括如下步驟：
8.根據權利要求7所述的涉及隱私保護的模型訓練、微調和推理方法，其特征在于，微調后模型推理包括如下步驟：
9.一種電子設備
10.一種存儲介質，其特征在于，所述存儲介質用于存儲計算機指令，其中，在所述計算機指令運行時控制所述存儲介質所在設備執行如權利要求5-8中任一項所述的涉及隱私保護的模型訓練、微調和推理方法。
...【技術特征摘要】
1.一種涉及隱私保護的模型訓練、微調和推理系統，其特征在于，包括：第一輸入端、本地加解密模塊、云端訓練模塊和云端模型存儲模塊；
2.根據權利要求1所述的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，還包括第二輸入端；
3.根據權利要求1所述的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，還包括第三輸入端；
4.根據權利要求3所述的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，還包括第四輸入端；
5.一種涉及隱私保護的模型訓練、微調和推理方法，應用于如權利要求1至4任意一項所述的涉及隱私保護的模型訓練、微調和推理系統，其特征在于，模型訓練包括如下步驟：
6.根據權利要求5所述的涉及隱私保護的模型訓練、微調和推理方法，其特征...
【專利技術屬性】
技術研發人員：劉峰，
申請(專利權)人：派歐云計算上海有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。