【技術實現步驟摘要】
本專利技術屬于物聯網、移動邊緣計算領域，具體設計一種邊端架構下基于強化學習的面向人工智能模型推理任務協同計算的多目標優化策略。
技術介紹
1、近年來，接入互聯網的終端設備數量爆發式增長，物聯網設備和移動終端在現代生活各個場景中都廣泛存在，負責運行各式的應用程序，需要強大而密集的服務計算能力。另一方面，現代人工智能技術也出現突破性進展，在圖像識別、自然語言處理等方面的應用逐漸成熟，人工智能模型與復雜現實場景逐漸結合，產生了一系列運行在終端設備上的智能應用，在我們周圍的生產生活中隨處可見，典型的智能應用有實時智能監控、智能對話助理、人臉識別等。智能應用一個顯著的特點是需求大量的計算與內存資源，這使得資源受限的單一物聯網設備很難滿足智能應用的普及，這對計算資源的要求也更加突出，然而現有計算架構受到物理法則的限制，單設備的計算能力很難在短時間得到倍數級增長，終端設備與服務器如何高效的進行協同計算就成為了一個迫切需要的研究方向。
2、邊緣計算作為云計算的延伸擴展領域，通過在靠近物聯網端設備物理位置，能夠有效降低物聯網設備與服務器之間的通信延遲；同時，通過有效利用計算能力更強的邊緣服務器資源，單一物聯網設備將本地難以實時處理的人工智能應用計算任務，部分的卸載到邊緣服務器端進行協同計算，來達到更低的應用響應時間、更低的端側能源消耗、更高效的計算資源利用。容器是部署在邊緣服務器集群上的一種輕量級的虛擬化技術，它能夠將應用程序及其運行環境封裝在一起，實現跨平臺的便捷部署。相比于傳統的虛擬機，容器共享主機操作系統的內核，因此啟動速度更快
3、邊緣計算彌補了用戶終端設備計算能力不夠的缺點，同時，由于邊緣服務器通常部署在基站附近的機房等位置，有著更靠近用戶的地理位置，能夠提供比云計算提供更快的請求響應，從而降低計算請求的延遲。因此通過結合邊緣計算與邊緣設備提供人工智能推理任務的協同計算，聯合優化服務延遲與能源開銷，為用戶提供更好的應用體驗質量。
技術實現思路
1、針對邊端架構下，邊緣設備與邊緣服務器之間協同計算困難、資源分配不夠高效的問題，本專利技術提出一種面向人工智能應用邊端協同計算的多目標優化策略。邊緣設備上的人工智能應用產生多個推理任務以后，通過與邊緣服務器協同計算，降低處理延遲，提高物聯網設備的續航能力，同時高效利用邊緣服務器資源。
2、本專利技術提供運行在終端設備上的多智能體強化學習模型，用來確定當前推理任務從模型的哪一層開始劃分，通過選擇最優的劃分點，優化推理任務的完成時間與終端能源消耗。在邊緣服務器上部署強化學習模型，用來統籌邊緣服務器集群的資源狀態，將終端設備發送來的推理任務打包成容器在集群內調度執行，通過聯合優化任務執行時間與邊緣服務器能源消耗，提升用戶服務質量，優化能源開銷。為了實現這一目標，首先確定了多對多的邊端架構，然后根據架構進行建模，模型包括系統模型、通信模型和計算模型，然后根據建立好的模型建立聯合優化模型。根據聯合優化模型，結合深度強化學習算法的優點，邊緣設備采用多智能體深度確定性策略梯度(deep?deterministic?policy?gradient，maddpg)算法得到最優的模型劃分點，邊緣服務器采用深度q值網絡(dqn)進行推理任務的調度。其中，強化學習算法的使用需要根據系統模型、計算模型和聯合優化模型構建一個深度強化學習模型，模型包括四個部分，狀態單元，動作單元，獎懲制和q值函數。利用強化學習算法來優化推理的執行與調度，得到最優的劃分策略，同時減少系統執行任務的整體開銷。
3、下面具體介紹本專利技術所述方法及其實現原理。
4、步驟1.邊端架構系統模型
5、基于端邊架構的系統模型如圖1所示。模型分為邊緣終端層與邊緣服務器層，邊緣終端上運行著人工智能應用，邊緣服務器上運行負責執行剩余部分神經網絡執行的應用。邊緣終端層總共有n臺設備，標記為n＝{1,2,…,n}，每個終端設備都有對應的性能信息{caln,comn,ramn,batn}，caln代表第n臺終端設備可用的計算能力，單位為flops，即每秒浮點數運算能力；comn代表第n臺終端設備的可分配的通信帶寬，單位為mb/s；ramn代表第n臺終端設備的可用內存大小，單位為mb；batn代表第n臺終端設備的可用能源大小，單位為焦耳。
6、邊緣終端設備應用產生若干神經網絡推理任務表示第n臺設備產生的第i個任務；代表該推理任務需要計算模型的輸入數據大小，單位為mb；代表執行該任務剩余神經網絡部分需要的計算資源，單位為flops；代表推理任務最大容忍延遲；代表該任務從神經網絡的第層開始，將推理任務發送到邊緣服務器上進行計算。
7、邊緣服務器層中的邊緣服務器數量總共有m臺，標記為m＝{1,2,…,m}，每臺邊緣服務器有其狀態信息sm＝{calm,loadm,comm,ramm,modelm}，sm表示第m臺邊緣服務器的狀態信息集合，calm代表此邊緣服務器的計算能力，loadm代表此邊緣服務器的負載情況，comm代表可用通信帶寬，ramm代表可用的內存資源，modelm代表是否有該神經網絡模型的資源，如果接收到邊緣終端的推理任務，但是沒有對應的神經網絡模型，則需要到中心服務器去拉取模型參數。
8、步驟2.通信模型
9、在通信模型中總通信延遲分為四部分，第一部分為傳播延遲，定義為常數dprop，代表信號在信道傳播過程中的延遲，由傳播載質的物理性質決定，這部分延遲無法避免；第二部分為傳輸延遲，定義為dtrans，代表發送端將需要傳輸的數據按照信道速率發送完所需要的時間，這部分延遲與傳輸速率有關；第三部分為排隊延遲，定義為dqueue，代表傳輸的數據包在路由中的排隊等待發送的時間；第四部分為處理延遲，定義為dproc，代表路由設備在發送與接收過程中處理轉發數據包的延遲。
10、本文在邊端架構中以通信鏈路的方式，在各計算節點間進行任務數據的傳輸。當終端設備上的人工智能應用開始產生推理任務后，使用強化學習算法來決定任務的劃分方式，通過將推理任務分為兩部分，前一部分由終端設備本地執行，后一部分由強大的邊緣服務器執行。
11、令hn表示終端設備與其鄰近邊緣服務器間的信道增益，令表示第n臺終端設備的傳輸功率，σ2表示噪聲功耗，b表示邊緣服務器分配給終端設備的無線信道帶寬，則終端設備的傳輸速率定義為傳輸延遲計算為代表第i個任務的傳輸延遲；邊緣終端n的傳輸功耗計算為
12、邊緣服務器側信道排隊延遲信道處理延遲表示第m臺邊緣服務器的傳輸功率，邊緣服務器的總傳輸速率邊緣服務器m的傳輸功耗
13、最后，任務i的總傳輸延遲計算為...
【技術保護點】
1.邊端架構下人工智能模型推理任務的協同計算策略，其特征在于包括以下步驟：
【技術特征摘要】
1.邊端架構下人工智能模型推理任務的協...
【專利技術屬性】
技術研發人員：方娟，王星浩，李嘉葆，何雨彬，
申請(專利權)人：北京工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。