【技術實現步驟摘要】
本申請涉及計算機，具體涉及一種數據傳輸方法、裝置、設備以及可讀存儲介質。
技術介紹
1、隨著信息技術的高速發展，從而推動了業務服務的多元化，這使得業務服務會涉及到大量數據的應用，即業務服務在運行過程中需要頻繁獲取數據進行業務處理，因此，服務節點需要將存儲的數據傳輸到計算組件上進行計算，同時還需要對需要傳輸的數據進行數據通信，這期間會涉及到大量的數據通信和數據計算的并發執行，即服務節點既需要運行計算進程，又需要運行通信進程。
2、因此，當面對大批量數據的處理時，大量的計算進程和通信進程會占用服務節點的大量計算資源，如占用大量的線程資源，從而使得負載過高，容易導致數據傳輸失敗，影響了業務服務的正常運行。
技術實現思路
1、本申請提供一種數據傳輸方法、裝置、設備以及可讀存儲介質，能夠提高數據傳輸可靠性，以及提高業務服務的運行穩定性。
2、為解決上述技術問題，本申請提供以下技術方案：
3、本申請實施例提供一種數據傳輸方法，包括：
4、獲取目標節點發送的數據塊獲取請求，所述數據塊獲取請求攜帶有目標數據塊標識；
5、其中，所述目標節點和本地節點屬于分布式系統中不同的服務節點，所述分布式系統中的每個服務節點上存儲有不同的數據塊，且每個服務節點上注冊有每個數據塊的元信息，所述分布式系統中的每兩個不同的服務節點之間預創建有對應的通信隊列對；
6、獲取所述目標數據塊標識關聯的目標元信息，并從本地存儲中查找所述目標元信息關聯的目標數
7、確定所述本地節點針對所述目標節點預創建的目標通信隊列對，并將所述目標數據塊加載到所述目標通信隊列對中；
8、通過遠程直接內存訪問網絡，將所述目標通信隊列對中的所述目標數據塊傳輸至所述目標節點。
9、相應的，本申請實施例提供一種數據傳輸裝置，包括：
10、獲取單元，用于獲取目標節點發送的數據塊獲取請求，所述數據塊獲取請求攜帶有目標數據塊標識；
11、其中，所述目標節點和本地節點屬于分布式系統中不同的服務節點，所述分布式系統中的每個服務節點上存儲有不同的數據塊，且每個服務節點上注冊有每個數據塊的元信息，所述分布式系統中的每兩個不同的服務節點之間預創建有對應的通信隊列對；
12、查找單元，用于獲取所述目標數據塊標識關聯的目標元信息，并從本地存儲中查找所述目標元信息關聯的目標數據塊；
13、加載單元，用于確定所述本地節點針對所述目標節點預創建的目標通信隊列對，并將所述目標數據塊加載到所述目標通信隊列對中；
14、傳輸單元，用于通過遠程直接內存訪問網絡，將所述目標通信隊列對中的所述目標數據塊傳輸至所述目標節點。
15、在一些實施方式中，所述查找單元，還用于：
16、根據所述目標元信息，確定所述目標數據塊標識對應的目標存儲節點地址；
17、當識別到所述目標存儲節點地址與所述本地節點的節點地址一致時，從本地存儲中查找所述目標數據塊標識對應的目標數據塊。
18、在一些實施方式中，所述查找單元，還用于：
19、當識別到所述目標存儲節點地址與所述本地節點的節點地址不一致時，獲取當前時間信息，并根據所述當前時間信息和所述本地節點的節點地址生成數據塊異常信息；
20、將所述數據塊異常信息反饋到所述目標節點上。
21、在一些實施方式中，所述加載單元，還用于：
22、將本地存儲中的所述目標數據塊，傳輸到所述本地節點的主存儲空間中，所述主存儲空間用于寄存本地處理器直接讀寫的數據；
23、將所述主存儲空間中的所述目標數據塊，拷貝到所述目標通信隊列對中。
24、在一些實施方式中，所述目標通信隊列對包括目標發送隊列和目標接收隊列，所述加載單元，還用于：
25、將所述主存儲空間中的所述目標數據塊，拷貝到所述目標通信隊列對中的所述目標發送隊列。
26、在一些實施方式中，所述傳輸單元，還用于：
27、運行遠程直接內存訪問網絡對應的直接傳輸函數；
28、通過所述直接傳輸函數，將所述目標通信隊列對中的所述目標數據塊傳輸至所述目標節點。
29、在一些實施方式中，所述數據傳輸裝置還包括檢測單元，用于：
30、獲取遠程直接內存訪問網絡當前的傳輸延遲時長以及丟包率；
31、所述傳輸單元，還用于：
32、當所述傳輸延遲時長小于預設延時閾值，且所述丟包率小于預設丟包率閾值時，通過所述遠程直接內存訪問網絡，將所述目標通信隊列對中的所述目標數據塊傳輸至所述目標節點。
33、在一些實施方式中，所述傳輸單元，還用于：
34、當所述傳輸延遲時長大于或等于預設延時閾值，或者所述丟包率大于或等于預設丟包率閾值時，獲取所述目標節點的網絡地址；
35、通過套接字接口建立所述本地節點與所述網絡地址的目標節點之間的數據傳輸通道；
36、當從所述本地節點的主存儲空間中查詢到所述目標數據塊時，通過所述數據傳輸通道將所述主存儲空間中的所述目標數據塊傳輸至所述網絡地址對應的目標節點；
37、當從所述主存儲空間中未查詢到所述目標數據塊時，從本地存儲中將所述目標數據塊加載到所述主存儲空間中，并通過所述數據傳輸通道將所述主存儲空間中的所述目標數據塊傳輸至所述網絡地址對應的目標節點。
38、在一些實施方式中，所述數據傳輸裝置還包括啟動單元，用于：
39、在所述本地節點上運行遠程任務程序；
40、其中，運行所述遠程任務程序后的本地節點與運行有所述遠程任務程序的其他服務節點共同組成分布式系統；
41、在運行所述遠程任務程序后的本地節點上啟動本地外置通信服務進程；
42、通過所述本地外置通信服務進程，分別與所述分布式系統中的其他服務節點之間創建通信隊列對。
43、在一些實施方式中，啟動單元，還用于：
44、獲取所述本地節點的通信配置參數；
45、根據所述通信配置參數，為所述本地外置通信服務進程分配目標數量的內存資源；
46、獲取所述分布式系統中每個其他服務節點的服務節點地址；
47、基于所述目標數量的內存資源，在所述本地外置通信服務進程中分別創建所述本地節點與每個服務節點地址之間的通信隊列對。
48、在一些實施方式中，所述數據塊的元信息注冊在每個服務節點上運行的外置通信服務進程中，所述查找單元，還用于：
49、根據目標數據塊標識，從所述本地節點的本地外置通信服務進程中查找對應的目標元信息。
50、在一些實施方式中，所述數據傳輸裝置還包括注冊單元，用于：
51、獲取所述分布式系統中每個服務節點針對目標業務服務預存儲的數據塊的元信息，所述元信息包括數據塊標識和存儲節點地址；
52、在本文檔來自技高網...
【技術保護點】
1.一種數據傳輸方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述從本地存儲中查找所述目標元信息關聯的目標數據塊，包括：
3.根據權利要求2所述的方法，其特征在于，所述方法還包括：
4.根據權利要求1至3任一項所述的方法，其特征在于，所述將所述目標數據塊加載到所述目標通信隊列對中，包括：
5.根據權利要求4所述的方法，其特征在于，所述目標通信隊列對包括目標發送隊列和目標接收隊列，所述將所述主存儲空間中的目標數據塊，拷貝到所述目標通信隊列對中，包括：
6.根據權利要求1所述的方法，其特征在于，所述通過遠程直接內存訪問網絡，將所述目標通信隊列對中的所述目標數據塊傳輸至所述目標節點，包括：
7.根據權利要求6所述的方法，其特征在于，所述通過遠程直接內存訪問網絡，將所述目標通信隊列對中的所述目標數據塊傳輸至所述目標節點之前，所述方法還包括：
8.根據權利要求7所述的方法，其特征在于，所述方法還包括：
9.根據權利要求1所述的方法，其特征在于，所述獲取所述目標節點發送的數據
10.根據權利要求9所述的方法，其特征在于，所述通過所述本地外置通信服務進程，分別與所述分布式系統中的其他服務節點之間創建通信隊列對，包括：
11.根據權利要求1或9所述的方法，其特征在于，所述數據塊的元信息注冊在每個服務節點上運行的外置通信服務進程中，所述獲取所述目標數據塊標識關聯的目標元信息，包括：
12.根據權利要求11所述的方法，其特征在于，所述根據目標數據塊標識，從本地節點的本地外置通信服務進程中查找對應的目標元信息之前，所述方法還包括：
13.根據權利要求1所述的方法，其特征在于，所述方法還包括：
14.一種數據傳輸裝置，其特征在于，包括：
15.一種計算機設備，包括存儲器、處理器以及存儲在存儲器中并可以在處理器上運行的計算機程序，其特征在于，所述處理器執行計算機程序時實現權利要求1至13任一項所述的數據傳輸方法。
16.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序適于處理器進行加載，以執行權利要求1至13任一項所述的數據傳輸方法。
17.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至13任一項所述的數據傳輸方法。
...【技術特征摘要】
1.一種數據傳輸方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述從本地存儲中查找所述目標元信息關聯的目標數據塊，包括：
3.根據權利要求2所述的方法，其特征在于，所述方法還包括：
4.根據權利要求1至3任一項所述的方法，其特征在于，所述將所述目標數據塊加載到所述目標通信隊列對中，包括：
5.根據權利要求4所述的方法，其特征在于，所述目標通信隊列對包括目標發送隊列和目標接收隊列，所述將所述主存儲空間中的目標數據塊，拷貝到所述目標通信隊列對中，包括：
6.根據權利要求1所述的方法，其特征在于，所述通過遠程直接內存訪問網絡，將所述目標通信隊列對中的所述目標數據塊傳輸至所述目標節點，包括：
7.根據權利要求6所述的方法，其特征在于，所述通過遠程直接內存訪問網絡，將所述目標通信隊列對中的所述目標數據塊傳輸至所述目標節點之前，所述方法還包括：
8.根據權利要求7所述的方法，其特征在于，所述方法還包括：
9.根據權利要求1所述的方法，其特征在于，所述獲取所述目標節點發送的數據塊獲取請求之前，所述方法還包括：
10.根據權利要求9所述的方法，其特征...
【專利技術屬性】
技術研發人員：賈許亞，姚志毅，繆蔥蔥，
申請(專利權)人：騰訊科技深圳有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。