【技術實現步驟摘要】
本申請屬于大模型管控，更具體地，涉及一種多源大模型服務標準化管控系統及方法。
技術介紹
1、大模型提供商將訓練好的大型機器學習模型(例如gpt、bert等)以服務的形式提供給用戶使用，大模型服務具有高效性、易用性、可擴展性等優點。但是，在用戶調用大模型的過程中，存在以下缺陷：
2、一方面，由于各個模型提供商在開發大模型時采用了不同的技術架構和設計方案，導致它們提供的服務請求格式各不相同。這種多樣化給使用者帶來了不便，需要針對每個模型提供商的服務進行特定的適配和調用。
3、另一方面，除了服務請求格式的差異外，各個模型提供商的調用接口也不統一。這包括接口的參數、返回值、錯誤處理等方面。使用者需要花費大量時間和精力去熟悉和掌握不同模型提供商的調用接口，這無疑增加了使用成本。
4、再一方面，大模型調用還缺乏統一的標準和規范。這導致各個模型提供商在提供服務時缺乏統一的技術要求和評估標準，難以保證服務的質量和穩定性。同時，也給使用者帶來了選擇和使用的困難。
5、最后，由于服務請求格式和調用接口的不統一，各個模型提供商的大模型在集成和互操作性方面面臨挑戰。這限制了不同模型之間的協同工作和數據共享，降低了大模型的應用效率和價值。
6、綜述，目前大模型調用存在多樣化、不統一、缺乏標準等問題，限制了大模型服務的發展。
技術實現思路
1、針對相關技術存在的缺陷，本申請實施例提供一種多源大模型服務標準化管控系統及方法，旨在解決多源大模型服務調用缺
2、第一方面，本申請實施例提供一種多源大模型服務標準化管控系統，包括：
3、標準化層，用于對原始消息序列進行標準化處理，獲取按照標準順序排列的標準消息序列；
4、模型適配層，用于將標準消息序列轉換為不同類型的大模型對應的請求體作為輸入，并將不同類型的大模型輸出的響應體轉換為標準響應體后反饋給用戶。
5、在一些實施例中，獲取按照標準順序排列的標準消息序列，包括：
6、對原始消息序列中的消息角色進行判斷，消息角色為系統消息、用戶消息或助理消息；
7、根據消息角色進行消息合并、重排序和濾除，獲取標準消息序列。
8、在一些實施例中，根據消息角色進行消息合并、重排序和濾除，包括：
9、檢測原始消息序列中是否存在系統提示，若不存在則在序列頭部添加系統提示，獲取包含有系統提示的消息序列；
10、檢測是否存在多個系統提示，若存在則將多個系統提示合并為一個，獲取包含一個系統提示的消息序列；
11、檢測包含一個系統提示的消息序列中不同角色消息的排列順序，若未按照標準順序排列則重排序后執行以下至少一項操作，獲取標準消息序列：
12、合并連續的助理消息；
13、合并連續的用戶消息；
14、濾除序列尾部的助理消息；
15、其中，標準順序為：以系統提示作為起始，依次為一個或多個助理消息和用戶消息的組合。
16、在一些實施例中，系統還包括業務賦能層，用于根據業務需求將標準消息序列頭部的系統提示替換、拼接或優化為定制化系統提示。
17、在一些實施例中，模型適配層包括模型適配器和標準輸入輸出接口，模型適配器包括請求適配器和響應適配器，請求適配器用于將標準消息序列轉換為不同類型的大模型對應的請求體作為輸入，響應適配器用于將不同類型的大模型輸出的響應體轉換為標準響應體后反饋給用戶，標準消息序列通過標準輸入輸出接口發起大模型調用請求，標準響應體通過標準輸入輸出接口反饋給用戶。
18、在一些實施例中，模型適配器還包括：
19、異常適配器，用于將響應適配器反饋的異常響應體轉換為標準異常響應體后反饋給用戶。
20、在一些實施例中，模型適配器還包括：
21、資源消耗適配器，用于對標準消息序列請求消耗的大模型資源進行統一計費度量，并將統一計費度量結果反饋給用戶。
22、在一些實施例中，該系統還包括：
23、資源管控層，用于對大模型資源和用戶資源進行管控。
24、在一些實施例中，對大模型資源和用戶資源進行管控，包括：
25、將不同模型提供商提供的大模型資源注冊至資源池中；
26、以模型適配層上傳的大模型資源的請求流量和資源池中大模型資源的余量情況從資源池中協調大模型資源，并將請求消耗的大模型資源進行扣除。
27、在一些實施例中，對大模型資源和用戶資源進行管控，包括：
28、基于模型適配層上傳的標準異常響應體，對模型可用性進行校驗；
29、基于模型適配層上傳的統一計費度量結果，對用戶資源余額進行管控。第二方面，本申請實施例還提供一種多源大模型服務標準化管控方法，包括：
30、對原始消息序列進行標準化處理，獲取按照標準順序排列的標準消息序列；
31、將所述標準消息序列轉換為不同類型的大模型對應的請求體作為輸入，并將不同類型的大模型輸出的響應體轉換為標準響應體后反饋給用戶。
32、本申請實施例提供的多源大模型服務標準化管控系統及方法，提供了多源大模型服務調用時的統一管控技術，通過標準化層完成了用戶請求消息流的格式標準化及異常消除；通過業務賦能層完成了系統提示的定制化設計，實現了業務賦能；通過模型適配層完成了大模型服務接口的標準化，確保了多源大模型調用請求格式、用量統計以及異常處理的統一；通過資源管控層實現了大模型資源和用戶資源的統一管控。
本文檔來自技高網...【技術保護點】
1.一種多源大模型服務標準化管控系統，其特征在于，包括：
2.根據權利要求1所述的多源大模型服務標準化管控系統，其特征在于，所述獲取按照標準順序排列的標準消息序列，包括：
3.根據權利要求2所述的多源大模型服務標準化管控系統，其特征在于，所述根據消息角色進行消息合并、重排序和濾除，包括：
4.根據權利要求3所述的多源大模型服務標準化管控系統，其特征在于，所述系統還包括業務賦能層，用于根據業務需求將所述標準消息序列頭部的系統提示替換、拼接或優化為定制化系統提示。
5.根據權利要求1所述的多源大模型服務標準化管控系統，其特征在于，所述模型適配層包括模型適配器和標準輸入輸出接口，所述模型適配器包括請求適配器和響應適配器，所述請求適配器用于將所述標準消息序列轉換為不同類型的大模型對應的請求體作為輸入，所述響應適配器用于將不同類型的大模型輸出的響應體轉換為標準響應體后反饋給用戶，所述標準消息序列通過所述標準輸入輸出接口發起大模型調用請求，所述標準響應體通過所述標準輸入輸出接口反饋給用戶。
6.根據權利要求5所述的多源大模型服務標準
7.根據權利要求5所述的多源大模型服務標準化管控系統，其特征在于，所述系統還包括：
8.根據權利要求7所述的多源大模型服務標準化管控系統，其特征在于，所述對大模型資源和用戶資源進行管控，包括：
9.根據權利要求7所述的多源大模型服務標準化管控系統，其特征在于，所述對大模型資源和用戶資源進行管控，包括：
10.一種多源大模型服務標準化管控方法，其特征在于，應用于如權利要求1至9任一項所述的多源大模型服務標準化管控系統，所述方法包括：
...【技術特征摘要】
1.一種多源大模型服務標準化管控系統，其特征在于，包括：
2.根據權利要求1所述的多源大模型服務標準化管控系統，其特征在于，所述獲取按照標準順序排列的標準消息序列，包括：
3.根據權利要求2所述的多源大模型服務標準化管控系統，其特征在于，所述根據消息角色進行消息合并、重排序和濾除，包括：
4.根據權利要求3所述的多源大模型服務標準化管控系統，其特征在于，所述系統還包括業務賦能層，用于根據業務需求將所述標準消息序列頭部的系統提示替換、拼接或優化為定制化系統提示。
5.根據權利要求1所述的多源大模型服務標準化管控系統，其特征在于，所述模型適配層包括模型適配器和標準輸入輸出接口，所述模型適配器包括請求適配器和響應適配器，所述請求適配器用于將所述標準消息序列轉換為不同類型的大模型對應的請求體作為輸入，所述響應適配...
【專利技術屬性】
技術研發人員：陳惠玲，覃玉才，馮文珍，嚴炎，漆仲軍，吳海燕，
申請(專利權)人：武漢云閣科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。