【技術實現步驟摘要】
本專利技術涉及計算機，尤其涉及一種異構系統中的數據副本選擇方法、系統、設備及存儲介質。
技術介紹
1、在大數據平臺建設當中，impala是一種高性能的分布式sql查詢引擎，專為處理存儲在hadoop、kudu等集群上的大規模數據設計。在大數據環境中，數據副本的有效管理對于查詢性能至關重要。傳統方法通常只依賴于副本位置或簡單的負載均衡策略，這可能不足以應對復雜的數據訪問模式和動態變化的系統負載；而且impala只能針對同構存儲系統中的數據進行查詢，無法對目前主流的異構系統中的數據進行查詢。
技術實現思路
1、鑒于此，本專利技術提供一種異構系統中的數據副本選擇方法、系統、設備及存儲介質，能有均衡選取多個副本，提高了存儲系統的資源利用效率。
2、本專利技術公開了一種異構系統中的數據副本選擇方法，適用于lmpala查詢調度器，其包括：
3、當從異構系統中讀寫數據時，獲取該數據在異構系統中對應的多個副本；多個副本分別存儲在異構系統中的多個存儲節點中；
4、當需要從多個存儲節點讀取副本時，根據多個副本所在的存儲節點對應的io負載，從多個存儲節點中選擇匹配的存儲節點并從中讀取副本，以滿足io負載均衡。
5、進一步地，所述根據多個副本所在的存儲節點對應的io負載，從多個存儲節點中選擇匹配的存儲節點并從中讀取副本，包括：
6、獲取多個副本所在的每個存儲節點的數據讀取速度，根據數據讀取速度，選取匹配的存儲節點中的副本。
7、進一步
8、獲取待讀取的數據量、每個存儲節點的io數據的最大吞吐量，計算待讀取的數據量與每個存儲節點的io數據的最大吞吐量的比值，并將該比值作為對應存儲節點的數據讀取速度。
9、進一步地，所述根據數據讀取速度，選取匹配的存儲節點中的副本，包括：
10、獲取每個存儲節點最近一段時間內的平均負載，基于數據讀取速度和平均負載，得到每個存儲節點的io負載，根據io負載選取匹配的存儲節點中的副本。
11、進一步地，所述基于數據讀取速度和平均負載，得到每個存儲節點的io負載，包括：
12、將每個存儲節點的數據讀取速度和平均負載進行求和，得到每個存儲節點的io負載。
13、進一步地，所述將每個存儲節點的數據讀取速度和平均負載進行求和，得到每個存儲節點的io負載，包括：
14、獲取每個存儲節點對應的調節因子，調節因子用于調節io負載量；
15、將調節因子與求和的結果進行相乘，得到每個存儲節點的io負載。
16、進一步地，所述根據io負載選取匹配的存儲節點中的副本，包括：
17、比較所述多個存儲節點對應的io負載；將io負載最小的存儲節點中的副本作為最終選擇的副本。
18、本專利技術還公開了一種數據副本的選擇系統，用于實現上述任一項所述的異構系統中的數據副本選擇方法，其包括：
19、獲取模塊，用于當從異構系統中讀寫數據時，獲取該數據在異構系統中對應的多個副本；多個副本分別存儲在異構系統中的多個存儲節點中；
20、選擇模塊，用于當需要從多個存儲節點讀取副本時，根據多個副本所在的存儲節點對應的io負載，從多個存儲節點中選擇匹配的存儲節點并從中讀取副本，以滿足io負載均衡。
21、本專利技術還公開了一種計算機設備，其包括：處理器和用于存儲所述處理器的可執行指令的存儲器；其中，所述處理器用于執行所述可執行指令，以實現任一項所述的異構系統中的數據副本選擇方法。
22、本專利技術還公開了一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現上述任一項所述的異構系統中的數據副本選擇方法。
23、由于采用了上述技術方案，本專利技術具有如下的優點：
24、1.更準確的負載評估：通過結合磁盤性能和最近的數據讀寫活動，能夠更準確地評估系統當前的負載情況。
25、2.更有效的資源利用：優化的數據副本選擇策略有助于更均勻地分配系統負載，提高資源利用效率。
26、3.性能提升：對于大數據應用，尤其是在查詢hadoop存儲的場景中，這種改進的方法可以顯著提升性能。
27、4.本專利技術適用于需要高效數據存取策略的大數據處理和存儲應用，同時也可以應用在需要數據讀寫的不同的異構系統中。
本文檔來自技高網...【技術保護點】
1.一種異構系統中的數據副本選擇方法，適用于lmpala查詢調度器，其特征在于，包括：
2.根據權利要求1所述的異構系統中的數據副本選擇方法，其特征在于，所述根據多個副本所在的存儲節點對應的IO負載，從多個存儲節點中選擇匹配的存儲節點并從中讀取副本，包括：
3.根據權利要求2所述的異構系統中的數據副本選擇方法，其特征在于，所述獲取多個副本所在的每個存儲節點的數據讀取速度，包括：
4.根據權利要求3所述的異構系統中的數據副本選擇方法，其特征在于，所述根據數據讀取速度，選取匹配的存儲節點中的副本，包括：
5.根據權利要求4所述的異構系統中的數據副本選擇方法，其特征在于，所述基于數據讀取速度和平均負載，得到每個存儲節點的IO負載，包括：
6.根據權利要求5所述的異構系統中的數據副本選擇方法，其特征在于，所述將每個存儲節點的數據讀取速度和平均負載進行求和，得到每個存儲節點的IO負載，包括：
7.根據權利要求4所述的異構系統中的數據副本選擇方法，其特征在于，所述根據IO負載選取匹配的存儲節點中的副本，包括：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。