【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及大模型智能體的聯(lián)邦學(xué)習(xí)領(lǐng)域，特別是涉及一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法。
技術(shù)介紹
1、大模型往往擁有數(shù)十億以上的參數(shù)量，并且在海量的數(shù)據(jù)上經(jīng)過訓(xùn)練，這使得大模型具有很多傳統(tǒng)小模型不具有的能力，其中就包括了作為智能體使用工具的能力。通過工具的使用，大模型能夠在日常生活中為人類提供很多幫助，包括天氣查詢，旅行計(jì)劃安排等等。然而大模型智能體在下游任務(wù)重的表現(xiàn)常受限于高質(zhì)量數(shù)據(jù)的稀缺性。大多數(shù)數(shù)據(jù)都是本地存儲(chǔ)且私有的，這限制了大型語言模型智能體通過更多數(shù)據(jù)的訓(xùn)練來提升性能。聯(lián)邦學(xué)習(xí)作為一種有前景的方法應(yīng)運(yùn)而生，它能夠在不直接交換私有數(shù)據(jù)的情況下，實(shí)現(xiàn)多個(gè)客戶端之間模型的協(xié)同改進(jìn)。在聯(lián)邦學(xué)習(xí)中，通過聚合不同客戶端的模型權(quán)重來促進(jìn)知識(shí)共享，這種方式有效保護(hù)了數(shù)據(jù)隱私。然而，大模型參數(shù)量極大的特性導(dǎo)致聯(lián)邦學(xué)習(xí)中大模型參數(shù)的聚合所需要的帶寬遠(yuǎn)遠(yuǎn)超出了主流設(shè)備的網(wǎng)絡(luò)傳輸能力，客戶端的計(jì)算也給算力設(shè)備帶來了嚴(yán)峻挑戰(zhàn)，并且不同用戶的數(shù)據(jù)異構(gòu)問題使得聯(lián)邦學(xué)習(xí)的效果容易受到顯著的負(fù)面影響。因此，優(yōu)化聯(lián)邦學(xué)習(xí)中的通信，計(jì)算開銷和緩解數(shù)據(jù)異構(gòu)問題帶來的影響成為當(dāng)務(wù)之急。
2、當(dāng)前的研究已經(jīng)提出了幾種策略來優(yōu)化，包括基于lora等高效參數(shù)微調(diào)方法的聯(lián)邦學(xué)習(xí)算法，基于正則化的聯(lián)邦學(xué)習(xí)算法等。然而目前流行的算法在大模型智能體聯(lián)邦學(xué)習(xí)的場(chǎng)景下都不能高效并且有效地完成訓(xùn)練。為了解決這些問題，我們提出了首個(gè)具有隱私保護(hù)性的基于上下文學(xué)習(xí)的大模型智能體聯(lián)邦學(xué)習(xí)算法。fical包括一下創(chuàng)新點(diǎn)：設(shè)計(jì)基于大模型的本地知識(shí)綱要生成模塊
3、與傳統(tǒng)的聯(lián)邦聯(lián)邦學(xué)習(xí)相比，大模型智能體的聯(lián)邦學(xué)習(xí)面臨幾個(gè)關(guān)鍵的挑戰(zhàn)：1)高帶寬消耗與現(xiàn)代通信系統(tǒng)之間的不匹配。例如，流行的大模型如llama3.1-405b在典型的100mbps通信網(wǎng)絡(luò)速率下，需要在兩個(gè)分布式節(jié)點(diǎn)之間傳輸超過十個(gè)小時(shí)。在聯(lián)邦學(xué)習(xí)中，客戶端與中央服務(wù)器之間每輪共享大模型參數(shù)所需要的數(shù)據(jù)量對(duì)現(xiàn)代通信系統(tǒng)構(gòu)成了巨大負(fù)擔(dān)。2)高計(jì)算消耗與現(xiàn)代計(jì)算硬件之間存在不匹配。流行的現(xiàn)代大模型通常擁有數(shù)十億個(gè)以上的參數(shù)，這比傳統(tǒng)模型大數(shù)千倍之多，而硬件的發(fā)展速度無法跟上這一急劇增長(zhǎng)的步伐。訓(xùn)練這些大模型計(jì)算密集，不僅導(dǎo)致訓(xùn)練時(shí)間顯著延長(zhǎng)，而且還因?yàn)樾枰@取具有高處理能力和大內(nèi)存容量的gpu而產(chǎn)生了顯著的成本。3)不同客戶端上的異質(zhì)數(shù)據(jù)分布。由于用戶地理位置或行業(yè)的差異，不同客戶端可能擁有非獨(dú)立同分布(non-iid)的數(shù)據(jù)分布。這可能損害模型參數(shù)的聚合，并進(jìn)一步加劇聯(lián)邦學(xué)習(xí)過程的復(fù)雜性。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，基于檢索增強(qiáng)生成的知識(shí)學(xué)習(xí)使用模型設(shè)計(jì)，有效減小了大模型智能體聯(lián)邦學(xué)習(xí)的帶寬、計(jì)算需求，并考慮了不同客戶端的異質(zhì)數(shù)據(jù)分布問題，能夠提供高效且性能優(yōu)良的聯(lián)邦學(xué)習(xí)過程。
2、本專利技術(shù)的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，包括以下步驟：
3、s1.每個(gè)客戶端通過基于大模型的知識(shí)概要生成模塊生成本地知識(shí)概要；
4、s2.每個(gè)客戶端將生成的知識(shí)綱要傳輸?shù)街行姆?wù)器；
5、s3.中心服務(wù)器將收集到的所有本地知識(shí)綱要進(jìn)行拼接聚合創(chuàng)造全局知識(shí)綱要；
6、s4.中心服務(wù)器將全局知識(shí)綱要下發(fā)到所有客戶端；
7、s5.客戶端將收到的全局知識(shí)綱要轉(zhuǎn)換為向量數(shù)據(jù)庫進(jìn)行數(shù)據(jù)存儲(chǔ)，客戶端的大模型智能體結(jié)合檢索增強(qiáng)生成實(shí)現(xiàn)全局知識(shí)綱要根據(jù)用戶的需求實(shí)現(xiàn)對(duì)應(yīng)知識(shí)獲取。
8、本專利技術(shù)的有益效果是：本專利技術(shù)基于檢索增強(qiáng)生成的知識(shí)學(xué)習(xí)使用模型設(shè)計(jì)，有效降低了大模型智能體聯(lián)邦學(xué)習(xí)的帶寬、計(jì)算需求，并解決數(shù)據(jù)異構(gòu)問題(在這里是指不同客戶端的數(shù)據(jù)分布不同，比如有的用戶對(duì)于某一個(gè)工具的數(shù)據(jù)比較多，有的用戶對(duì)另一個(gè)工具的數(shù)據(jù)比較多，數(shù)據(jù)分布的不同往往會(huì)造成聯(lián)邦學(xué)習(xí)效果的下降)，能夠提供高效且性能優(yōu)良的聯(lián)邦學(xué)習(xí)過程：通過知識(shí)綱要的傳遞，用戶能夠在互相保護(hù)隱私的條件下學(xué)習(xí)到不同工具的使用方法，從而獲取知識(shí)，并且在大模型的場(chǎng)景下大大減少了通信開銷，提高了大模型智能體聯(lián)邦學(xué)習(xí)的通信效率和計(jì)算效率和算法有效性。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：所述步驟S1包括：
3.根據(jù)權(quán)利要求2所述的一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：所述知識(shí)綱要的內(nèi)容包括：工具名稱、工具描述、工具使用場(chǎng)景注意事項(xiàng)、工具輸入數(shù)據(jù)的數(shù)據(jù)格式、工具調(diào)用的版本信息以及調(diào)用工具需要的權(quán)限。
4.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：所述步驟S3包括：
5.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：所述步驟S5包括：
6.根據(jù)權(quán)利要求5所述的一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：所述相似度計(jì)算使用余弦相似度或Jaccard相似度的度量標(biāo)準(zhǔn)來評(píng)估請(qǐng)求向量與存儲(chǔ)向量之間的相似程度。
【技術(shù)特征摘要】
1.一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：所述步驟s1包括：
3.根據(jù)權(quán)利要求2所述的一種基于聯(lián)邦上下文學(xué)習(xí)和大模型智能體的知識(shí)查詢方法，其特征在于：所述知識(shí)綱要的內(nèi)容包括：工具名稱、工具描述、工具使用場(chǎng)景注意事項(xiàng)、工具輸入數(shù)據(jù)的數(shù)據(jù)格式、工具調(diào)用的版本信息以及調(diào)用工具需要的權(quán)限。
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王方鑫，吳攀龍，
申請(qǐng)(專利權(quán))人：香港中文大學(xué)深圳，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。