【技術實現步驟摘要】
本專利技術涉及深度強化學習領域，尤其涉及基于深度確定性策略梯度的云機器人協同任務卸載方法。
技術介紹
1、隨著人工智能、物聯網和相關技術的快速發展，工業部門目前正在經歷第四次革命。新興的自主技術正推動傳統工廠轉變為工業4.0應用的智能工廠。機器人作為智能工廠的重要組成部分，配備的計算資源可以進行小規模的數據處理，但不足以支撐機器人獨立完成大規模任務計算。為了解決獨立機器人的這一局限性，多機器人系統的概念被提出。機器人的特性及有限資源可能導致機器人之間通信、交換和保存數據時出現中斷，因此云和邊緣計算被先后擴展到多機器人系統中，形成面向云機器人的端邊云協同計算架構。
2、工業場景中端(機器人)、邊(邊緣服務器)和云(云服務器)各有各的優缺點，復雜多元的工業場景需要端邊云三層資源之間相互協作提供按需服務，能夠有效發揮各資源最大的效能，在更大程度上有助于工業的數字化智能化轉型。面向云機器人的端邊云協同為任務執行提供了不同的選擇。由于機器人在計算能力、存儲方面存在限制，通常需要將計算密集型任務卸載到資源豐富的云或邊緣服務器，以實時高效地執行機器人應用程序。而任務卸載中任務是否需要被卸載及卸載到哪個資源等問題需要考慮多個因素，例如任務時延要求、任務能耗要求、機器人功率、傳輸帶寬、計算資源等。此外，機器人移動性和各資源異構性使得任務卸載問題變得更加復雜。結合上述因素，為了盡可能提高任務生產效率和降低設備能耗，對工業互聯網下面向云機器人的端邊云協同任務卸載策略的研究是很有必要的。
技術實現思路p>
1、本專利技術針對工業互聯網中面向云機器人的端、邊、云協同任務卸載問題進行研究。首先，提出了一個面向云機器人的端、邊、云協同任務卸載框架，并對框架中的任務卸載問題進行建模。接著提出了基于深度確定性策略梯度(英文deep?deterministic?policygradient，簡寫ddpg)的協同任務卸載算法，簡稱npe_ddpg，從而以低復雜性地解決上述任務卸載問題。
2、為了實現上述目的，本專利技術采取了基于深度確定性策略梯度的云機器人協同任務卸載方法的技術方案，具體包括如下步驟：
3、步驟一、利用典型的工業物流工廠代表工業互聯網場景，將實際物流場景中的程序進行特征提取并簡化，提出“包裹分揀和分發應用程序”，共包含4個步驟：
4、首先是包裹請求生成階段，新訂單到來時，主機器人根據信息自動前往取貨點，輔助機器人協助抓取物品，共同完成包裹分揀任務。其次是拾貨和包裝階段，到達貨架位置后，機器人挑選物品并存至指定地點，然后通過無線傳感器網絡將更新信息提供給主機器人，以便其檢測并抓取物品。接下來，機器人根據客戶需求對包裹進行個性化包裝，相比手工操作，自動化流程在包裝中心完成所有包裝步驟。接著是包裝收集階段，定制包裝完成后，包裹經傳送帶送至收集中心。主機器人接收更新信息，前往收集點領取包裹，并在移動期間規劃路徑與收集中心通信，以更新主中心。最后是交付階段，機器人在收貨點檢測并拾取包裹，隨后向主中心發送更新信息并創建新訂單，通知送貨機器人準備。接著，主機器人在落包點放下包裹，由送貨機器人收取。
5、步驟二、針對工業互聯網中典型的工業物流工廠場景，抽象出面向云機器人的端邊云協同任務卸載架構：
6、首先是預訓練階段，在邊緣服務器上，npe_ddpg算法通過離線訓練預先完成模型訓練并保存，以便于在線快速決策，避免迭代優化，從而減少決策延遲。接著是卸載決策過程，邊緣服務器啟動npe_ddpg算法，利用訓練好的actor模型，輸入當前狀態信息后迅速得出決策。最后是執行決策過程，一旦邊緣服務器確定卸載決策，它將指導主機器人分發任務。
7、步驟三、分析面向云機器人的端邊云協同任務卸載架構下的具體流程，將卸載問題歸納為一個具有延遲、能耗和資源約束的多目標優化問題，隨后對歸納出的任務卸載問題進行數學建模：
8、將步驟1中的程序任務步驟提煉為有向無環圖(directed?acyclic?graph，dag)。每個節點代表一個子任務；
9、以一個元組d＝(t,k)表示任務，其中t＝{vj,j＝1:t}和k＝{ki,j＝(vi,vj)}；
10、k表示一組邊，是指從節點vi和vj存在依賴關系。具體地說，ti表示任務圖中的任務i，其執行時間依賴于具有輸入數據d(ti)的前繼任務執行結束時間。部分存在位置約束的特定任務被認為是“不可卸載的”，只能在主機器人上執行。本方法假設在dag的同一級別上的節點是相互獨立的，并受到任務之間依賴性的限制，任務只有在上一級別上的所有先前任務完成后才能開始執行。其建模過程如下：
11、1.通信模型
12、(1)機器人之間的通信，通信參數(能量/時間)基于機器人之間的距離。對于閾值距離為l0，如果兩通信機器人的距離滿足l<l0，考慮使用“自由空間”信道模型，傳輸能耗為γfs。否則，考慮使用“多徑衰落”信道模型，傳輸能耗為γmf。因此，主機器人r和輔助機器人a機器人之間的通信的能量和時間的計算公式為：
13、
14、其中plo是機器人a局部卸載的計算功率、d(ti)是任務ti的數據大小。eβ是操作用于本地通信的發射機無線電的基準能量消耗。
15、(2)機器人和邊緣的通信
16、邊緣服務器e的帶寬資源記為be?hz，機器人r的傳輸功率表示為ptran(ri)，機器人r和服務器e之間的信道增益為白噪音的功率為n0。因此，當機器人r連接到邊緣服務器e時，上行可達到的傳輸速率可以用香農公式近似為：
17、
18、其中nr表示機器人的連接數，be為機器人至邊緣端的傳輸帶寬。
19、根據傳輸速率，機器人r將任務t卸載到邊緣服務器e的上行傳輸延遲表示為：
20、
21、機器人r將任務t卸載到邊緣服務器e產生的傳輸能耗表示為：
22、
23、其中ptran(r)是機器人r傳輸功率、d(ti)是任務ti的數據大小；
24、2.移動模型
25、機器人r在執行任務時移動位置，則會產生移動時延和能耗：
26、
27、其中l(x,y)為當前機器人r現在所處位置x和即將抵達的任務執行位置y之間的歐式距離，v(r)為機器r的移動速度；
28、3.計算模型
29、(1)本地計算模型
30、對于任務設備的本地計算，根據其卸載的位置可以分為兩種情況：一種是任務交由負責任務的主機器人，另一種是交由與主設備屬于同一工廠的輔助機器人處理；
31、在第一種情況中，由于任務被決策為直接在主機器人r處理，因此只需計算任務處理過程中的消耗，其總時延和總能耗可以表示為：
32、
33、其中機器人r的計算功率表示為pcom(r)，s(r)為機器人r的計算能力。
34、在第二種情況中，除了考慮計算任務處理本文檔來自技高網...
【技術保護點】
1.基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，所述步驟1中要求主要的移動機器人完成一組運送包裹必要的任務，包括4個主要步驟：
3.根據權利要求1所述的基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，所述步驟2中，包括預訓練、卸載決策和決策執行三個階段；
4.根據權利要求1所述的基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，
5.根據權利要求1所述的基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，所述步驟4中，針對上述單目標問題p，利用改進的深度確定性策略梯度算法NPE_DDPG算法來尋求最優解；
6.根據權利要求1所述的基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，所述步驟5中，包括卸載決策階段與決策執行階段；在模型訓練結束后，將Actor網絡模型保存在邊緣服務器助中，將當前環境狀態S(t)輸入Actor網絡則可以得到相應的任務卸載決策A(t
...【技術特征摘要】
1.基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，所述步驟1中要求主要的移動機器人完成一組運送包裹必要的任務，包括4個主要步驟：
3.根據權利要求1所述的基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，所述步驟2中，包括預訓練、卸載決策和決策執行三個階段；
4.根據權利要求1所述的基于深度確定性策略梯度的云機器人協同任務卸載方法，其特征在于，
5.根據...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。