【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及車聯(lián)網(wǎng)，尤其是多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法。
技術(shù)介紹
1、近年來，隨著傳感網(wǎng)絡(luò)和通信技術(shù)的不斷發(fā)展，車聯(lián)網(wǎng)(vehicular?networks，vn)已成為智慧城市的重要一環(huán)。通過建立車輛與車輛、車輛與道路基礎(chǔ)設(shè)施之間的通信連接，vn可實現(xiàn)高效的信息共享與協(xié)同作業(yè)，提升了城市交通的智能化水平。vn中的智能應(yīng)用(如，自動駕駛，路徑規(guī)劃和增強現(xiàn)實)通常具有計算密集或延遲敏感特性，但車載單元有限的處理能力成為其進一步發(fā)展的瓶頸。一種可行的解決方案是將應(yīng)用任務(wù)轉(zhuǎn)發(fā)至遠程云進行處理，但遠距離的通信傳輸會造成過度的通信開銷。為了緩解該問題，多接入邊緣計算(multi-access?edge?computing，mec)將計算與存儲資源下沉到網(wǎng)絡(luò)邊緣，以更好滿足智能應(yīng)用對服務(wù)質(zhì)量(quality-of-service，qos)的高要求。具體而言，邊緣服務(wù)提供商(edgeservice?provider，esp)在邊緣服務(wù)器上部署服務(wù)，車輛通過內(nèi)置的前端組件接入這些服務(wù)，這擴展了車輛的對復雜應(yīng)用的處理能力。
2、在mec使能的vn中，大量配備邊緣服務(wù)器的通信基站(base?stations，bss)形成了多邊緣密集蜂窩網(wǎng)絡(luò)。通過虛擬化技術(shù)，各類應(yīng)用服務(wù)會部署在邊緣服務(wù)器上。當車輛發(fā)送任務(wù)請求時，邊緣服務(wù)器將為其創(chuàng)建專用的服務(wù)實例。考慮到車輛的移動性與bs有限的通信覆蓋范圍，車輛可能需要經(jīng)歷多跳路由方可接入其所需的服務(wù)，這導致了服務(wù)中斷和qos降級。因此，當車輛跨邊緣移動時，esp需要根據(jù)其移動性
3、根據(jù)遷移決策，服務(wù)實例需要被遷移至合適的邊緣節(jié)點以處理多樣化的任務(wù)請求。相比于遠程云，邊緣節(jié)點資源受限。因此，需要進行合理的資源分配以提升利用率并減少系統(tǒng)開銷。大部分現(xiàn)有工作在處理服務(wù)遷移問題時，并未充分考慮資源分配優(yōu)化，這嚴重影響了系統(tǒng)性能。一些工作嘗試采用經(jīng)典優(yōu)化理論對兩個問題進行聯(lián)合優(yōu)化。但是，隨著系統(tǒng)規(guī)模的擴大(如，車輛數(shù)目)，其大量的迭代將造成過度的計算開銷并易陷入局部最優(yōu)。新興的深度強化學習(deep?reinforcement?learning，drl)通過與環(huán)境進行交互，為處理復雜動態(tài)環(huán)境下的資源優(yōu)化問題提供支持。現(xiàn)有工作通常將服務(wù)遷移與資源分配問題建模為馬爾科夫決策過程(markov?decision?process，mdp)并采用集中式的drl，但在處理大規(guī)模場景時仍存在一些難題需要解決：1)收集完整的系統(tǒng)級信息會造成高額的通信開銷并顯著增加決策時間；2)智能體會面臨更為復雜的神經(jīng)網(wǎng)絡(luò)構(gòu)建與更高維度的特征表示，導致車輛之間的潛在關(guān)系難以被捕捉。為了解決這些問題，多智能體強化學習(multi-agentreinforcement?learning，marl)被提出以探索一種分布式的求解方案。作為marl的基礎(chǔ)形態(tài)，獨立強化學習(independent?reinforcement?learning，irl)為復雜系統(tǒng)的建模和智能體間的交互提供了一個直觀的起點。在irl中，智能體基于本地觀察做出決策，所有智能體獨立進行學習與策略優(yōu)化。在這個過程中，其他智能體被視為環(huán)境的一部分，它們的行為被歸結(jié)為環(huán)境的擾動，這增加了環(huán)境的非平穩(wěn)性并無法保證模型收斂。此外，當不同智能體基于本地其觀察做出相同的決策時，將導致邊緣資源的劇烈競爭與系統(tǒng)性能的嚴重下降。因此，智能體在進行決策時，需要考慮其他智能體的潛在影響，進而實現(xiàn)更好的協(xié)作。通過結(jié)合集中式與分布式解決方案，中心化訓練與去中心化執(zhí)行(centralized?training?withdecentralized?execution，ctde)方法被提出，其在訓練時可獲取全局信息并避免了智能體之間的通信約束。少量工作探索了ctde方法下基于值函數(shù)分解的marl。但是，它們假設(shè)全局狀態(tài)價值函數(shù)可被各智能體線性分解或向各智能體施加局部價值函數(shù)的單調(diào)性約束，這不適用于復雜動態(tài)的多邊緣密集蜂窩車聯(lián)網(wǎng)環(huán)境。
4、為解決上述重要問題，本專利技術(shù)提出了一種新型的面向多邊緣密集蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法promote。通過有效結(jié)合深度學習、改進的marl方法與運籌學理論，promote方法能夠有效應(yīng)對動態(tài)多變的多邊緣密集蜂窩車聯(lián)網(wǎng)環(huán)境并展現(xiàn)出更優(yōu)的性能。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提出多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，能夠有效提升esp的長期收益，并在不同場景下均展現(xiàn)出更加優(yōu)越的性能。
2、本專利技術(shù)采用以下技術(shù)方案。
3、多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，用于根據(jù)遷移決策，將服務(wù)實例遷移至合適的邊緣節(jié)點以處理多樣化的任務(wù)請求，其特征在于：所述方法將邊緣服務(wù)提供商esp(edge?service?provider，esp)長期收益作為優(yōu)化目標，以服務(wù)收入與能源支出進行度量；包括服務(wù)遷移子問題方法及資源分配子問題方法；
4、在服務(wù)遷移子問題方法中，采用面向復雜動態(tài)多邊緣密集蜂窩車聯(lián)網(wǎng)環(huán)境的服務(wù)遷移與資源分配統(tǒng)一模型，采用基于概率稀疏自注意力的車輛軌跡預測方法來提升預測精度并為服務(wù)遷移決策提供依據(jù)，使用基于改進多智能體強化學習marl(multi-agentreinforcement?learning，marl)的服務(wù)遷移方法來根據(jù)軌跡預測探索最優(yōu)遷移策略，通過在critic網(wǎng)絡(luò)引入其他智能體的觀察與動作來解決環(huán)境非平穩(wěn)問題；同時引入異步更新機制來降低actor網(wǎng)絡(luò)估計策略梯度時的高方差，
5、在資源分配的子問題方法中，使用基于隱枚舉的資源分配方法，以近似最優(yōu)資源分配策略；考慮資源分配子問題的強約束性條件，將原始問題轉(zhuǎn)化為0-1規(guī)劃問題并引入剪枝操作，以在保證解質(zhì)量的同時減小搜索空間。
6、所述多邊緣密集蜂窩車聯(lián)網(wǎng)系統(tǒng)由一個mec控制器、m個邊緣節(jié)點及n臺車輛構(gòu)成；
7、邊緣節(jié)點記為集合車輛的記為集合esp在邊緣節(jié)點上部署多種服務(wù)，記為集合
8、車輛通過蜂窩網(wǎng)絡(luò)訪問服務(wù)，邊緣節(jié)點負責處理或轉(zhuǎn)發(fā)來自車輛的服務(wù)請求，mec控制器負責收集區(qū)域內(nèi)信息并用于marl的訓練過程；服務(wù)利用虛擬化技術(shù)進行托管，形成應(yīng)用程序的抽象，采用細粒度的三層架構(gòu)，包括基礎(chǔ)層、應(yīng)用層和實例層；
9、基礎(chǔ)層包含操作系統(tǒng)、內(nèi)核等組件，為上層應(yīng)用提供環(huán)境支持；
10、應(yīng)用層包含應(yīng)用程序的無狀態(tài)數(shù)據(jù)，無狀態(tài)數(shù)據(jù)包括通用數(shù)據(jù)庫和代碼；
11、當車輛發(fā)送服務(wù)請求時，邊緣節(jié)點為其創(chuàng)建專用的服務(wù)實本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，用于根據(jù)遷移決策，將服務(wù)實例遷移至合適的邊緣節(jié)點以處理多樣化的任務(wù)請求，其特征在于：所述方法將邊緣服務(wù)提供商ESP長期收益作為優(yōu)化目標，以服務(wù)收入與能源支出進行度量；包括服務(wù)遷移子問題方法及資源分配子問題方法；在服務(wù)遷移子問題方法中，采用面向復雜動態(tài)多邊緣密集蜂窩車聯(lián)網(wǎng)環(huán)境的服務(wù)遷移與資源分配統(tǒng)一模型，采用基于概率稀疏自注意力的車輛軌跡預測方法來提升預測精度并為服務(wù)遷移決策提供依據(jù)，使用基于改進多智能體強化學習MARL的服務(wù)遷移方法來根據(jù)軌跡預測探索最優(yōu)遷移策略，通過在critic網(wǎng)絡(luò)引入其他智能體的觀察與動作來解決環(huán)境非平穩(wěn)問題；同時引入異步更新機制來降低actor網(wǎng)絡(luò)估計策略梯度時的高方差，
2.根據(jù)權(quán)利要求1所述的多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，其特征在于：所述多邊緣密集蜂窩車聯(lián)網(wǎng)系統(tǒng)由一個MEC控制器、M個邊緣節(jié)點及N臺車輛構(gòu)成；
3.根據(jù)權(quán)利要求2所述的多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，其特征在于：在收益感知服務(wù)遷移與資源分配方法中，遷移模型具體為；
<...【技術(shù)特征摘要】
1.多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，用于根據(jù)遷移決策，將服務(wù)實例遷移至合適的邊緣節(jié)點以處理多樣化的任務(wù)請求，其特征在于：所述方法將邊緣服務(wù)提供商esp長期收益作為優(yōu)化目標，以服務(wù)收入與能源支出進行度量；包括服務(wù)遷移子問題方法及資源分配子問題方法；在服務(wù)遷移子問題方法中，采用面向復雜動態(tài)多邊緣密集蜂窩車聯(lián)網(wǎng)環(huán)境的服務(wù)遷移與資源分配統(tǒng)一模型，采用基于概率稀疏自注意力的車輛軌跡預測方法來提升預測精度并為服務(wù)遷移決策提供依據(jù)，使用基于改進多智能體強化學習marl的服務(wù)遷移方法來根據(jù)軌跡預測探索最優(yōu)遷移策略，通過在critic網(wǎng)絡(luò)引入其他智能體的觀察與動作來解決環(huán)境非平穩(wěn)問題；同時引入異步更新機制來降低actor網(wǎng)絡(luò)估計策略梯度時的高方差，
2.根據(jù)權(quán)利要求1所述的多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，其特征在于：所述多邊緣密集蜂窩車聯(lián)網(wǎng)系統(tǒng)由一個mec控制器、m個邊緣節(jié)點及n臺車輛構(gòu)成；
3.根據(jù)權(quán)利要求2所述的多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，其特征在于：在收益感知服務(wù)遷移與資源分配方法中，遷移模型具體為；
4.根據(jù)權(quán)利要求3所述的多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，其特征在于：收益感知服務(wù)遷移與資源分配方法中，收益模型具體為；
5.根據(jù)權(quán)利要求4所述的多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，其特征在于：p1為一個np難問題；即背包問題kp，在kp中，存在g個物品與一個容量為w的背包；物品記為集合其中物品zg(1≤g≤g)的重量和價值分別為wg和vg；求解kp的目標是找到一組物品以最大化背包的總價值；因此，kp可形式化為
6.根據(jù)權(quán)利要求5所述的多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，其特征在于：所述服務(wù)遷移子問題方法為結(jié)合軌跡預測的改進marl服務(wù)遷移方法，包括基于概率稀疏自注意力的軌跡預測、基于改進marl的服務(wù)遷移；
7.根據(jù)權(quán)利要求6所述的多邊緣蜂窩車聯(lián)網(wǎng)的收益感知服務(wù)遷移與資源分配方法，其特征...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳哲毅，黃思進，張俊杰，吳舒霞，
申請(專利權(quán))人：福州大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。