【技術實現步驟摘要】
本申請涉及數據傳輸領域，特別是涉及一種基于深度強化學習的去中心化多通信鏈路數據傳輸方法、系統、計算機設備和計算機可讀存儲介質。
技術介紹
1、數據傳輸是指在不同設備或系統之間發送和接收數據的過程，這個過程可以通過多種方式進行，涉及多種協議和技術。
2、在相關技術中，如果僅依賴單條通信鏈路，當通信鏈路出現故障或中斷時，整個數據傳輸會受到影響，導致可靠性下降；同時，單條通信鏈路在高負載情況下容易產生擁塞，造成延遲增加，影響數據傳輸速度；此外，單條通信鏈路的帶寬和處理能力也比較有限，無法有效應對計算密集型任務的數據通信需求。
3、為了解決單通信鏈路傳輸技術的上述問題，提出了多通信鏈路技術，該類技術采用多條通信鏈路并行傳輸技術，采用負載均衡和冗余技術來提升傳輸性能和可靠性；但是，在不同通信鏈路間進行負載均衡可能不夠有效，導致某些通信鏈路過載而其他通信鏈路閑置。另外，不同通信鏈路的帶寬和延遲可能存在差異，導致整體帶寬利用不均，影響通信效率。
技術實現思路
1、本申請實施例提供了一種基于深度強化學習的去中心化多通信鏈路數據傳輸方法、系統、計算機設備和計算機可讀存儲介質，以至少解決相關技術中多鏈路數據傳輸整體帶寬利用不均的問題。
2、第一方面，本申請實施例提供了一種基于深度強化學習的去中心化多通信鏈路數據傳輸方法，其特征在于，包括：
3、響應發送端程序的消息發送請求，將消息內容上傳至目標話題；
4、獲取訂閱所述目標話題的接收端程序，以及
5、通過預先基于深度強化學習得到的多通信鏈路選擇調度模型，基于各個通信鏈路的網絡狀態和隊列狀態，動態輸出調度策略，其中，所述調度策略包括選擇用于傳輸所述消息內容的目標通信鏈路；
6、根據所述動態輸出的調度策略，將所述消息內容實時轉發至所述接收端程序。
7、在其中一些實施例中，所述通信鏈路包括第一通信鏈路、第二通信鏈路和第三通信鏈路，其中：
8、所述第一通信鏈路，是在所述接收端程序與所述發送端程序位于相同設備的情況下，基于本地共享內存構建的ipc通道；
9、所述第二通信鏈路，是在所述接收端程序與所述發送端程序位于相同局域網內的情況下，基于所述局域網內p2p通信協議構建的local通道；
10、所述第三通信鏈路，是在所述是在所述接收端程序與所述發送端程序位于不同網段的情況下，基于mqtt協議構建的的remote通道。
11、在其中一些實施例中，通過多通信鏈路選擇調度模型，基于各個通信鏈路的網絡狀態和隊列狀態，動態輸出調度策略包括：
12、在初始狀態下，根據所述消息內容的數據總量，和各個通信鏈路的網絡狀態和隊列狀態，獲取各個通信鏈路對應傳輸完成所述消息內容的最小耗時；
13、在單位時間窗口內，分別獲取各個通信鏈路的觀測數據，并通過最小二乘法基于所述各個通信鏈路的觀測數據進行線性擬合，得到各個通信鏈路的延時變化趨勢，以及，所述延時變化趨勢對后續發送數據的影響參數；
14、通過預先基于d3qn算法訓練得到的多通信鏈路選擇調度模型，基于所述消息內容的數據總量、所述初始狀態下的最小耗時、所述延時變化趨勢和所述影響參數動態輸出各個時間步下的調度策略。
15、在其中一些實施例中，根據所述消息內容的數據總量，和各個通信鏈路的網絡狀態和隊列狀態，獲取各個通信鏈路對應傳輸完成所述消息內容的最小耗時包括：
16、在初始狀態下，獲取所述消息內容的數據總量，以及各個通信鏈路的既定傳輸速率、平均延遲和通道的隊列中待處理數據量；
17、根據所述數據總量和各個通信鏈路的既定傳輸速率、平均延遲和隊列中待處理數據量，分別得到各個通信鏈路的完成所述消息內容的轉發任務所需的傳輸時間；
18、獲取各個通信鏈路的完成所述消息內容的轉發任務所需的最小傳輸時間為最小耗時。
19、在其中一些實施例中，通過最小二乘法基于所述各個通信鏈路的觀測數據進行線性擬合，得到各個通信鏈路的延時變化趨勢，以及，所述延時變化趨勢對后續發送數據的影響參數包括：
20、在單位時間窗口內，分別獲取各個通信鏈路的觀測數據，其中，所述觀測數據包括任意一個數據點產生的時刻，以及該數據點在其通信鏈路中傳輸單位數據量所需的最小時長；
21、分別根據所述各個通信鏈路的多個觀測點，采用最小二乘法進行線性擬合，獲取各個通信鏈路在未來時段內的延時變化趨勢；
22、根據所述數據總量和各個通信鏈路的延時變化趨勢，得到各個通信鏈路對應的影響參數。
23、在其中一些實施例中，所述多通信鏈路選擇調度模型以各個通信鏈路的延時變化趨勢為狀態信息，以使用所述各個通信鏈路的程度為傳輸動作信息，并以在每個時間步上最大化獎勵函數為目標進行訓練得到，其中：
24、所述獎勵函數通過如下公式表示：
25、r＝-(xipciipc+xlocalilocal+xremoteiremote)
26、其中，r表示所述獎勵函數，xipc、xlocal、xremote分別表示所述第一通信鏈路、所述第二通信鏈路和所述第三通信鏈路的傳輸動作信息，iipc、ilocal、iremote分別表示所述第一通信鏈路、所述第二通信鏈路和所述第三通信鏈路的影響參數。
27、在其中一些實施例中，所述多通信鏈路選擇調度模型包括輸入層、隱藏層和輸出層，其中；
28、通過所述輸入層接收所述狀態信息，并通過多個所述隱藏層對所述狀態信息進行多層非線性變換，得到高層特征標識；
29、通過所述輸出層基于所述高層特征表示，在所述獎勵函數約束下，動態輸出當前時間步下各個通信鏈路的動作信息。
30、第二方面，本申請實施例提供了一種基于深度強化學習的去中心化多通信鏈路數據傳輸系統，其特征在于，所述系統包括：上傳模塊、調度模塊和轉發模塊，其中：
31、所述上傳模塊用于，響應發送端程序的消息發送請求，將消息內容上傳至目標話題，以及獲取訂閱所述目標話題的接收端程序，以及獲取所述接收端程序所支持的通信鏈路；
32、所述調度模塊用于，通過預先基于深度強化學習得到的多通信鏈路選擇調度模型，基于各個通信鏈路的網絡狀態和隊列狀態，動態輸出調度策略，其中，所述調度策略包括選擇用于傳輸所述消息內容的目標通信鏈路，以各個目標通信鏈路的傳輸傳輸動作信息；
33、所述轉發模塊用于，根據所述動態輸出的調度策略，將所述消息內容實時轉發至所述接收端程序。
34、第三方面，本申請實施例提供了一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上述第一方面所述的方法。
35、第四方面，本申請實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執本文檔來自技高網...
【技術保護點】
1.一種基于深度強化學習的去中心化多通信鏈路數據傳輸方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述通信鏈路包括第一通信鏈路、第二通信鏈路和第三通信鏈路，其中：
3.根據權利要求2所述的方法，其特征在于，通過多通信鏈路選擇調度模型，基于各個通信鏈路的網絡狀態和隊列狀態，動態輸出調度策略包括：
4.根據權利要求3所述的方法，其特征在于，根據所述消息內容的數據總量，和各個通信鏈路的網絡狀態和隊列狀態，獲取各個通信鏈路對應傳輸完成所述消息內容的最小耗時包括：
5.根據權利要求3所述的方法，其特征在于，通過最小二乘法基于所述各個通信鏈路的觀測數據進行線性擬合，得到各個通信鏈路的延時變化趨勢，以及，所述延時變化趨勢對后續發送數據的影響參數包括：
6.根據權利要求3所述的方法，其特征在于，所述多通信鏈路選擇調度模型以各個通信鏈路的延時變化趨勢為狀態信息，以是否使用所述各個通信鏈路為動作信息，并以在每個時間步上最大化獎勵函數為目標進行訓練得到，其中：
7.根據權利要求6所述的方法，其特征在于，所述多
8.一種基于深度強化學習的去中心化多通信鏈路數據傳輸系統，其特征在于，所述系統包括：上傳模塊、調度模塊和轉發模塊，其中：
9.一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至7中任一項所述的方法。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至7中任一項所述的方法。
...【技術特征摘要】
1.一種基于深度強化學習的去中心化多通信鏈路數據傳輸方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述通信鏈路包括第一通信鏈路、第二通信鏈路和第三通信鏈路，其中：
3.根據權利要求2所述的方法，其特征在于，通過多通信鏈路選擇調度模型，基于各個通信鏈路的網絡狀態和隊列狀態，動態輸出調度策略包括：
4.根據權利要求3所述的方法，其特征在于，根據所述消息內容的數據總量，和各個通信鏈路的網絡狀態和隊列狀態，獲取各個通信鏈路對應傳輸完成所述消息內容的最小耗時包括：
5.根據權利要求3所述的方法，其特征在于，通過最小二乘法基于所述各個通信鏈路的觀測數據進行線性擬合，得到各個通信鏈路的延時變化趨勢，以及，所述延時變化趨勢對后續發送數據的影響參數包括：
6.根據權利要求3所述的方法...
【專利技術屬性】
技術研發人員：潘毅輝，朱偉，石喬木，
申請(專利權)人：杭州靖安防務科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。