【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及聯(lián)邦學(xué)習(xí)以及跨模態(tài)哈希領(lǐng)域，尤其涉及一種基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希。
技術(shù)介紹
1、在大數(shù)據(jù)時(shí)代背景下，海量不同模態(tài)的數(shù)據(jù)如圖像、文本、音頻等呈現(xiàn)爆炸性增長(zhǎng)趨勢(shì)，用戶(hù)不再滿(mǎn)足于單一模態(tài)數(shù)據(jù)間的相似性檢索，而更多關(guān)注于跨模態(tài)數(shù)據(jù)之間的相互檢索，即用來(lái)自一個(gè)模態(tài)(如文本模態(tài))的數(shù)據(jù)來(lái)檢索另一個(gè)模態(tài)(如圖像模態(tài))的相關(guān)數(shù)據(jù)。哈希檢索方法是一種近似最鄰近的檢索方法，對(duì)于給定的一個(gè)查詢(xún)樣本，哈希檢索的目的是返回檢索集中視覺(jué)上或語(yǔ)義上最相似的圖像或文本。因其對(duì)大規(guī)模數(shù)據(jù)具有檢索速度快，存儲(chǔ)消耗低等優(yōu)點(diǎn)，已經(jīng)被廣泛的應(yīng)用于圖像檢索、視頻檢索和跨模態(tài)檢索領(lǐng)域。然而深度跨模態(tài)哈希模型的訓(xùn)練需要大量的多模態(tài)數(shù)據(jù)，會(huì)帶來(lái)高額的傳輸消耗和維護(hù)成本；受數(shù)據(jù)安全與隱私保護(hù)相關(guān)法律法規(guī)的限制，收集大量的多模態(tài)數(shù)據(jù)也會(huì)導(dǎo)致巨大的隱私泄露風(fēng)險(xiǎn)。此外企業(yè)、學(xué)?；蛘哒块T(mén)都擁有各自的“小數(shù)據(jù)”，具有潛在價(jià)值而無(wú)法直接共享，使得數(shù)據(jù)孤島問(wèn)題日益嚴(yán)重。
2、作為一種分布式機(jī)器學(xué)習(xí)方法，聯(lián)邦學(xué)習(xí)可以在不暴露參與方數(shù)據(jù)的情況下進(jìn)行協(xié)作學(xué)習(xí)得到一個(gè)全局模型，因而可以有效避免隱私泄露。除此之外，各個(gè)機(jī)構(gòu)“小數(shù)據(jù)”的潛在價(jià)值也通過(guò)這種協(xié)作學(xué)習(xí)得到體現(xiàn)，使得數(shù)據(jù)孤島問(wèn)題也得到一定程度的解決。最近，一些跨模態(tài)檢索方法在聯(lián)邦框架中得以實(shí)現(xiàn)。然而，在現(xiàn)實(shí)場(chǎng)景中，各個(gè)客戶(hù)端數(shù)據(jù)分布通常存在差異，造成數(shù)據(jù)異構(gòu)；每個(gè)客戶(hù)端需要獨(dú)立設(shè)計(jì)自己的模型，造成模型異構(gòu)，強(qiáng)迫每個(gè)客戶(hù)端接受相同參數(shù)的策略會(huì)阻止每個(gè)客戶(hù)端更好地適應(yīng)自己的本地?cái)?shù)據(jù)。除此之外現(xiàn)有聯(lián)邦檢索方法
技術(shù)實(shí)現(xiàn)思路
1、為解決目前聯(lián)邦框架中的數(shù)據(jù)異構(gòu)、模型異構(gòu)以及全局原型偏差問(wèn)題，本專(zhuān)利技術(shù)提供一種基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，該方法能夠在分布式存儲(chǔ)條件下進(jìn)行跨模態(tài)相似性檢索。
2、為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)提供了如下技術(shù)方案：
3、一種基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，該方法通過(guò)服務(wù)端聚類(lèi)局部類(lèi)級(jí)原型生成聚類(lèi)原型和無(wú)偏原型，在客戶(hù)端，基于聚類(lèi)原型的對(duì)抗學(xué)習(xí)和無(wú)偏原型的嵌入策略能夠解決聯(lián)邦學(xué)習(xí)中數(shù)據(jù)異構(gòu)的同時(shí)緩解全局原型偏差，并且，使用超網(wǎng)絡(luò)動(dòng)態(tài)更新客戶(hù)端網(wǎng)絡(luò)不同層的權(quán)值解決聯(lián)邦學(xué)習(xí)中的模型異構(gòu)問(wèn)題，實(shí)現(xiàn)對(duì)不同客戶(hù)端網(wǎng)絡(luò)參數(shù)的定制，該方法包括如下步驟：
4、步驟1)，在服務(wù)端，對(duì)客戶(hù)端上傳的局部類(lèi)級(jí)原型進(jìn)行聚類(lèi)，得到聚類(lèi)原型，平均以后進(jìn)一步得到無(wú)偏原型；除此之外，根據(jù)梯度變化，四個(gè)超網(wǎng)絡(luò)分別用來(lái)生成所有客戶(hù)端圖像模態(tài)網(wǎng)絡(luò)、圖像鑒別器以及文本模態(tài)網(wǎng)絡(luò)、文本鑒別器的分層權(quán)重；然后，服務(wù)端將更新后的分層權(quán)重以及聚類(lèi)原型和無(wú)偏原型更新后傳遞給客戶(hù)端；
5、步驟2)，客戶(hù)端接收到分層權(quán)重后，更新圖像模態(tài)網(wǎng)絡(luò)、文本模態(tài)網(wǎng)絡(luò)以及圖像鑒別器、文本鑒別器的個(gè)性化模型參數(shù)；然后客戶(hù)端通過(guò)圖像模態(tài)網(wǎng)絡(luò)、文本模態(tài)網(wǎng)絡(luò)提取私有數(shù)據(jù)集的特征，以獲得樣本豐富的語(yǔ)義信息和本地客戶(hù)端的類(lèi)級(jí)原型；使用兩個(gè)模態(tài)網(wǎng)絡(luò)的近似哈希碼和聚類(lèi)原型構(gòu)建對(duì)抗學(xué)習(xí)過(guò)程，使客戶(hù)端哈希模型選擇更適合自己的原型來(lái)指導(dǎo)學(xué)習(xí)，將無(wú)偏原型嵌入到客戶(hù)端模型的訓(xùn)練過(guò)程中，并保持其與局部類(lèi)級(jí)原型之間的一致性；
6、步驟3)，本地訓(xùn)練完成后，兩種模態(tài)的客戶(hù)端模型參數(shù)，以及相應(yīng)的鑒別器參數(shù)以及客戶(hù)端的局部類(lèi)級(jí)原型都將上傳到服務(wù)器；繼續(xù)循環(huán)以上過(guò)程直至達(dá)到訓(xùn)練停止條件；
7、步驟4)，最后一個(gè)通信輪次完成后，根據(jù)待檢索數(shù)據(jù)，基于最終的客戶(hù)端參數(shù)生成待檢索哈希碼，然后計(jì)算待檢索哈希碼與客戶(hù)端存儲(chǔ)的哈希碼之間的漢明距離，然后以距離最小的哈希碼對(duì)應(yīng)的原始數(shù)據(jù)位置信息來(lái)提供原始數(shù)據(jù)檢索結(jié)果。
8、特別地，所述步驟1)中圖像模態(tài)、文本模態(tài)的聚類(lèi)原型及可以通過(guò)下式獲?。?/p>
9、
10、其中表示第i個(gè)客戶(hù)端標(biāo)注為c的局部類(lèi)級(jí)原型，m為客戶(hù)端數(shù)量，jc標(biāo)注為c的聚類(lèi)原型數(shù)量k為哈希碼位數(shù)，圖像模態(tài)和文本模態(tài)的聚類(lèi)原型可分別表示為和所述方法中圖像模態(tài)、文本模態(tài)的無(wú)偏原型可以通過(guò)下式獲取：
11、
12、其中c是類(lèi)數(shù)目，同樣地，圖像模態(tài)以及文本模態(tài)都有相應(yīng)的無(wú)偏原型矩陣ux和ut。
13、特別地，所述步驟2)中構(gòu)建帶有聚類(lèi)原型的對(duì)抗學(xué)習(xí)，跨模態(tài)檢索中，圖像和文本模態(tài)相應(yīng)的對(duì)抗損失函數(shù)分別為：
14、
15、其中為第i個(gè)客戶(hù)端圖像鑒別器網(wǎng)絡(luò)，而文本鑒別器網(wǎng)絡(luò)，jx和jt分別為圖像模態(tài)和文本模態(tài)的聚類(lèi)原型數(shù)目，為聚類(lèi)原型與其相應(yīng)的標(biāo)簽結(jié)合后產(chǎn)生具有代表性的標(biāo)注為c的擴(kuò)展聚類(lèi)原型，為第i個(gè)客戶(hù)端圖像模態(tài)的第j個(gè)樣本近似哈希碼與相應(yīng)標(biāo)簽相結(jié)合后得到的擴(kuò)展哈希碼，為文本模態(tài)的擴(kuò)展聚類(lèi)原型，為文本模態(tài)的擴(kuò)展哈希碼，總的對(duì)抗損失表示為：
16、特別地，所述步驟2)中為減輕客戶(hù)端類(lèi)分布對(duì)訓(xùn)練的影響，并提升本地跨模態(tài)哈希模型的檢索性能，使用式來(lái)保持客戶(hù)端局部類(lèi)級(jí)原型和無(wú)偏原型的一致性，其中和分別為第i客戶(hù)端當(dāng)前通信輪次產(chǎn)生的所有圖像，文本類(lèi)級(jí)原型矩陣，mse(.)為均方誤差。
17、特別地，所述步驟2)中將無(wú)偏原型嵌入到本地哈希模型的訓(xùn)練過(guò)程中，使得局部近似哈希碼能夠與無(wú)偏原型進(jìn)行交互，深度哈希模型可以同時(shí)進(jìn)行特征的提取和哈希碼的學(xué)習(xí)，對(duì)于第i個(gè)客戶(hù)端，使用表示提取到的圖像特征，其中表示圖像模態(tài)網(wǎng)絡(luò)的參數(shù)，對(duì)于文本模態(tài)，使用或得文本模態(tài)網(wǎng)絡(luò)的輸出，表示文本模態(tài)網(wǎng)絡(luò)的參數(shù)，無(wú)偏原型的嵌入損失函數(shù)可以表示為：
18、
19、其中yi∈{-1,1}k×c分別是第i個(gè)客戶(hù)端的標(biāo)簽矩陣，樣本的哈希碼和類(lèi)哈希碼矩陣；ui為第i個(gè)客戶(hù)端的樣本數(shù)；α，β和μ為超參數(shù)，因此，模態(tài)網(wǎng)絡(luò)的損失函數(shù)是：其中η為超參數(shù)。
20、本專(zhuān)利技術(shù)采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：
21、1、與現(xiàn)有技術(shù)相比，本專(zhuān)利技術(shù)提出一種基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，與收集所有圖像文本數(shù)據(jù)的集中式訓(xùn)練相比，該專(zhuān)利技術(shù)不直接將數(shù)據(jù)上傳服務(wù)端，能夠在分布式存儲(chǔ)條件下進(jìn)行跨模態(tài)相似性檢索，而避免隱私泄露。
22、2、與現(xiàn)有技術(shù)相比，本專(zhuān)利技術(shù)使用超網(wǎng)絡(luò)，動(dòng)態(tài)更新客戶(hù)端上哈希模型及相應(yīng)的鑒別器不同層的權(quán)值，實(shí)現(xiàn)針對(duì)不同客戶(hù)端的個(gè)性化參數(shù)定制，因其沒(méi)有使用加和等數(shù)學(xué)運(yùn)算，可以解決聯(lián)邦學(xué)習(xí)中的模型異構(gòu)問(wèn)題。
23、3、與現(xiàn)有技術(shù)相比，本專(zhuān)利技術(shù)構(gòu)建基于聚類(lèi)原型的對(duì)抗學(xué)習(xí)，使得客戶(hù)端可以挑選適應(yīng)自己數(shù)據(jù)分布的原型進(jìn)行指導(dǎo)和訓(xùn)練，即具有相似分布的客戶(hù)端會(huì)有趨于相似的特征表示，而不具相似分布的客戶(hù)端區(qū)分度也能得到提升。
24、4、與現(xiàn)有技術(shù)相比，本專(zhuān)利技術(shù)將無(wú)偏原型嵌入本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，該方法通過(guò)服務(wù)端聚類(lèi)局部類(lèi)級(jí)原型生成聚類(lèi)原型和無(wú)偏原型，在客戶(hù)端，基于聚類(lèi)原型的對(duì)抗學(xué)習(xí)和無(wú)偏原型的嵌入策略能夠解決聯(lián)邦學(xué)習(xí)中數(shù)據(jù)異構(gòu)的同時(shí)緩解全局原型偏差，并且，使用超網(wǎng)絡(luò)動(dòng)態(tài)更新客戶(hù)端網(wǎng)絡(luò)不同層的權(quán)值解決聯(lián)邦學(xué)習(xí)中的模型異構(gòu)問(wèn)題，實(shí)現(xiàn)對(duì)不同客戶(hù)端網(wǎng)絡(luò)參數(shù)的定制，該方法包括如下步驟：
2.如權(quán)利要求1所述的基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，其特征在于：所述步驟1)中圖像模態(tài)、文本模態(tài)的聚類(lèi)原型及可以通過(guò)下式獲?。?/p>
3.如權(quán)利要求1所述的基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，其特征在于：所述步驟2)中構(gòu)建帶有聚類(lèi)原型的對(duì)抗學(xué)習(xí)，跨模態(tài)檢索中，圖像和文本模態(tài)相應(yīng)的對(duì)抗損失函數(shù)分別為：
4.如權(quán)利要求1所述的基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，其特征在于：所述步驟2)中為減輕客戶(hù)端類(lèi)分布對(duì)訓(xùn)練的影響，并提升本地跨模態(tài)哈希模型的檢索性能，使用式來(lái)保持客戶(hù)端局部類(lèi)級(jí)原型和無(wú)偏原型的一致性，其中和分別為第i客戶(hù)端當(dāng)前通信輪次產(chǎn)生的所有圖像，文本類(lèi)級(jí)原型矩陣，MSE(.)為均方誤差。>
5.如權(quán)利要求1所述的基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，其特征在于：所述步驟2)中將無(wú)偏原型嵌入到本地哈希模型的訓(xùn)練過(guò)程中，使得局部近似哈希碼能夠與無(wú)偏原型進(jìn)行交互，深度哈希模型可以同時(shí)進(jìn)行特征的提取和哈希碼的學(xué)習(xí)，對(duì)于第i個(gè)客戶(hù)端，使用表示提取到的圖像特征，其中表示圖像模態(tài)網(wǎng)絡(luò)的參數(shù)，對(duì)于文本模態(tài)，使用或得文本模態(tài)網(wǎng)絡(luò)的輸出，表示文本模態(tài)網(wǎng)絡(luò)的參數(shù)，無(wú)偏原型的嵌入損失函數(shù)可以表示為：
...【技術(shù)特征摘要】
1.一種基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，該方法通過(guò)服務(wù)端聚類(lèi)局部類(lèi)級(jí)原型生成聚類(lèi)原型和無(wú)偏原型，在客戶(hù)端，基于聚類(lèi)原型的對(duì)抗學(xué)習(xí)和無(wú)偏原型的嵌入策略能夠解決聯(lián)邦學(xué)習(xí)中數(shù)據(jù)異構(gòu)的同時(shí)緩解全局原型偏差，并且，使用超網(wǎng)絡(luò)動(dòng)態(tài)更新客戶(hù)端網(wǎng)絡(luò)不同層的權(quán)值解決聯(lián)邦學(xué)習(xí)中的模型異構(gòu)問(wèn)題，實(shí)現(xiàn)對(duì)不同客戶(hù)端網(wǎng)絡(luò)參數(shù)的定制，該方法包括如下步驟：
2.如權(quán)利要求1所述的基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，其特征在于：所述步驟1)中圖像模態(tài)、文本模態(tài)的聚類(lèi)原型及可以通過(guò)下式獲?。?/p>
3.如權(quán)利要求1所述的基于雙原型的個(gè)性化聯(lián)邦對(duì)抗跨模態(tài)哈希方法，其特征在于：所述步驟2)中構(gòu)建帶有聚類(lèi)原型的對(duì)抗學(xué)習(xí)，跨模態(tài)檢索中，圖像和文本模態(tài)相應(yīng)的對(duì)抗損失函數(shù)分別為：
4.如權(quán)利要...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：萬(wàn)文博，申曉娟，顧凌晨，李靜，孫建德，
申請(qǐng)(專(zhuān)利權(quán))人：山東師范大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。