本申請涉及海洋數(shù)據(jù)存儲技術領域，特別涉及一種適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法及系統(tǒng)。本申請首先通過分片數(shù)據(jù)的劃分，將大規(guī)模圖數(shù)據(jù)劃分為多片數(shù)據(jù)，可以進行并行處理；然后再通過對鍵值存儲引擎優(yōu)化，使得分布式圖數(shù)據(jù)庫即能夠高效的存儲圖數(shù)據(jù)，最后通過對Raft一致性算法優(yōu)化，即當分片數(shù)據(jù)的讀寫壓力大于設定值且跟蹤節(jié)點過多或過少，引入秘書節(jié)點或觀察節(jié)點輔助領導節(jié)點進行分片數(shù)據(jù)的讀寫，解決高IO操作下存在的問題，從而保證其在高讀寫狀態(tài)下，分布式服務器集群架構中所有數(shù)據(jù)副本依舊保持強一致。中所有數(shù)據(jù)副本依舊保持強一致。中所有數(shù)據(jù)副本依舊保持強一致。
【技術實現(xiàn)步驟摘要】
一種適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法及系統(tǒng)
[0001]本申請涉及海洋數(shù)據(jù)處理
，尤其涉及一種適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法及系統(tǒng)。
技術介紹
[0002]近期隨著海洋大數(shù)據(jù)的發(fā)展，存儲并分析海洋和海洋環(huán)境數(shù)據(jù)成為我們了解地球的重要途徑，從多種來源（例如氣象衛(wèi)星，路基氣象站，氣象熱氣球，各類船只，浮標，水下傳感器等）收集到的海洋時空數(shù)據(jù)達到了 PB 級別，如何存儲并利用這些海洋時空大數(shù)據(jù)是當前亟需解決的問題。目前只有極少對海洋時空數(shù)據(jù)進行存儲和處理的系統(tǒng)。
[0003]海洋時空數(shù)據(jù)管理從節(jié)點數(shù)量方面可以分為兩類，分別是單節(jié)點儲存和處理模型和分布式多節(jié)點儲存和處理模型，單節(jié)點處理模型受限于I/O瓶頸，缺乏并行計算能力且難以進行水平擴展，隨著海洋時空數(shù)據(jù)量的增加其性能將不斷降低，難以處理PB級別的海洋時空數(shù)據(jù)，多節(jié)點數(shù)據(jù)處理是指使用分布式計算技術處理數(shù)據(jù)，其對于解決某一個具體的問題時，各部分能夠實現(xiàn)高效、統(tǒng)一的任務指令，隨時隨地都能與用戶進行交互，既提高了系統(tǒng)性能，又提升了用戶體驗，但目前的分布式存儲技術在存儲方面主要利用鍵值存儲引擎存儲海洋數(shù)據(jù)，由于海洋時空數(shù)據(jù)具有來源復雜，結構多樣、質量不一的特征，現(xiàn)有的鍵值存儲引擎仍然存在存儲海洋時空數(shù)據(jù)性能不高的缺陷，在計算方面主要利用Raft節(jié)點模型進行一致性問題的優(yōu)化，但受限于Raft算法，在高讀寫壓力的情況下，容易導致性能瓶頸。
技術實現(xiàn)思路
[0004]以下是對本文詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。
[0005]本公開實施例的主要目的在于提出一種適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法及系統(tǒng)，首先能夠對圖數(shù)據(jù)并行處理，對鍵值存儲引擎優(yōu)化，使得分布式圖數(shù)據(jù)庫能高效的存儲圖數(shù)據(jù)，最后通過對Raft一致性算法優(yōu)化，解決高IO操作下存在的問題，來保證副本依舊保持強一致。
[0006]為實現(xiàn)上述目的，本公開實施例的第一方面提出了一種適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法，所述適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法包括：獲取海洋數(shù)據(jù)，并將所述海洋數(shù)據(jù)轉換成鍵值對形式的圖數(shù)據(jù)；根據(jù)分布式服務器集群的規(guī)模和所述圖數(shù)據(jù)的規(guī)模，將所述圖數(shù)據(jù)劃分為多個分片數(shù)據(jù)；將每個所述分片數(shù)據(jù)分配至所述分布式服務器集群中對應服務器節(jié)點中，以使得所述服務器節(jié)點將得到的所述分片數(shù)據(jù)存儲于圖數(shù)據(jù)庫的鍵值存儲引擎中，其中，所述鍵值存儲引擎采用LSM
?
Tree和log日志的鍵值分離方式存儲所述分片數(shù)據(jù)，所述服務器節(jié)點采用如下方式優(yōu)化所述鍵值存儲引擎的Raft節(jié)點模型：
當所述分片數(shù)據(jù)的讀寫壓力大于設定值且跟蹤節(jié)點過多或過少，引入秘書節(jié)點或觀察節(jié)點輔助領導節(jié)點進行所述分片數(shù)據(jù)的讀寫，其中，所述跟蹤節(jié)點、秘書節(jié)點、觀察節(jié)點和領導節(jié)點均為所述分片數(shù)據(jù)的副本。
[0007]在一些實施例中，所述當所述分片數(shù)據(jù)的讀寫壓力大于設定值且跟蹤節(jié)點過多或過少，引入秘書節(jié)點或觀察節(jié)點輔助領導節(jié)點進行所述分片數(shù)據(jù)的讀寫，其中，所述跟蹤節(jié)點、秘書節(jié)點、觀察節(jié)點和領導節(jié)點均為所述分片數(shù)據(jù)的副本，包括：當所述分片數(shù)據(jù)的寫入壓力大于第一設定值且跟蹤節(jié)點數(shù)量大于第一數(shù)量，則領導節(jié)點創(chuàng)建第一快照，將所述第一快照發(fā)送給新引入的秘書節(jié)點，以使秘書節(jié)點輔助領導節(jié)點將日志復制于跟蹤節(jié)點中；當讀取壓力大于第二設定值且跟蹤節(jié)點數(shù)量小于第二數(shù)量，則領導節(jié)點創(chuàng)建第二快照，將所述第二快照發(fā)送給新引入的觀察節(jié)點，以使觀察節(jié)點輔助領導節(jié)點進行數(shù)據(jù)的讀取。
[0008]在一些實施例中，所述分片數(shù)據(jù)和所述服務器節(jié)點之間分配采用隨機映射。
[0009]在一些實施例中，采用靜態(tài)哈希將所述圖數(shù)據(jù)劃分為多個分片數(shù)據(jù)。
[0010]在一些實施例中，通過如下公式將每一個所述分片數(shù)據(jù)分配至所述分布式服務器集群中任意一個服務器節(jié)點中，包括：其中，表示取模運算，表示所需分片的數(shù)量，表示服務器節(jié)點所示的分片id，表示服務器節(jié)點對應的id。
[0011]在一些實施例中，所述鍵值存儲引擎采用LSM
?
Tree和log日志的鍵值分離方式存儲所述分片數(shù)據(jù)，包括：獲取所述分片數(shù)據(jù)中的數(shù)據(jù)量大小，當數(shù)據(jù)的數(shù)據(jù)量大于閾值，則將數(shù)據(jù)的value存儲于log日志當中，將key存儲于LSM
?
Tree中；當數(shù)據(jù)量小于所述閾值，則將數(shù)據(jù)的value和key存儲于LSM
?
Tree中。
[0012]為實現(xiàn)上述目的，本公開實施例的第二方面提出了一種適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理系統(tǒng)，所述適用大規(guī)模海洋數(shù)據(jù)的存儲和處理系統(tǒng)包括：客戶端模塊，用于獲取海洋數(shù)據(jù)、接收指令或發(fā)出命令；服務器節(jié)點，包括Graph模塊和Storage模塊，所述Graph模塊用于將所述海洋數(shù)據(jù)轉換成鍵值對形式的圖數(shù)據(jù)，根據(jù)分布式服務器集群的規(guī)模和所述圖數(shù)據(jù)的規(guī)模，將所述圖數(shù)據(jù)劃分為多個分片數(shù)據(jù)；所述Storage模塊包括鍵值存儲引擎，所述鍵值存儲引擎采用LSM
?
Tree和log日志的鍵值分離方式存儲所述分片數(shù)據(jù)；所述服務器節(jié)點采用如下方式優(yōu)化所述鍵值存儲引擎的Raft節(jié)點模型：當所述分片數(shù)據(jù)的讀寫壓力大于設定值且跟蹤節(jié)點過多或過少，引入秘書節(jié)點或觀察節(jié)點輔助領導節(jié)點進行所述分片數(shù)據(jù)的讀寫，其中，所述跟蹤節(jié)點、秘書節(jié)點、觀察節(jié)點和領導節(jié)點均為所述分片數(shù)據(jù)的副本。
[0013]在一些實施例中，所述服務器節(jié)點還包括：Meta模塊，所述Meta模塊中存儲了用戶的賬號和權限信息、存儲和管理分片的位置信息、保證分片的負載均衡、管理作業(yè)任務。
[0014]為實現(xiàn)上述目的，本公開實施例的第三方面提出了一種電子設備，包括至少一個存儲器；
至少一個處理器；至少一個計算機程序；所述計算機程序被存儲在所述存儲器中，處理器執(zhí)行所述至少一個計算機程序以實現(xiàn)：如第一方面實施例任一項所述的適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法。
[0015]為實現(xiàn)上述目的，本公開實施例的第四方面還提出一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機可執(zhí)行指令，所述計算機可執(zhí)行指令用于使計算機執(zhí)行：如第一方面實施例任一項所述的適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法。
[0016]本申請實施例第一方面提供了一種適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法，首先通過分片數(shù)據(jù)的劃分，將大規(guī)模圖數(shù)據(jù)劃分為多片數(shù)據(jù)，可以進行并行處理；然后再通過對鍵值存儲引擎優(yōu)化，使得分布式圖數(shù)據(jù)庫即能夠高效的存儲圖數(shù)據(jù)，最后通過對Raft一致性算法優(yōu)化，即當分片數(shù)據(jù)的讀寫壓力大于設定值且跟蹤節(jié)點過多或過少，引入秘書節(jié)點或觀察節(jié)點輔助領導節(jié)點進行分片數(shù)據(jù)的讀寫，解決高IO操作下存在的問題，從而保證其在高讀寫狀態(tài)下，分布式服務器集群架構中所有數(shù)據(jù)副本依舊保持強一致。
[0017]可以理解的是，上述第二方面至第四方面與相關技術相比存在的有益效果與上述第一方面與相關技術相比存在的有益效果相同，可以參見上述第一方面中的相關描述，在此不再贅述。
附圖說明...
【技術保護點】
【技術特征摘要】
1.一種適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法，其特征在于，所述適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法包括：獲取海洋數(shù)據(jù)，并將所述海洋數(shù)據(jù)轉換成鍵值對形式的圖數(shù)據(jù)；根據(jù)分布式服務器集群的規(guī)模和所述圖數(shù)據(jù)的規(guī)模，將所述圖數(shù)據(jù)劃分為多個分片數(shù)據(jù)；將每個所述分片數(shù)據(jù)分配至所述分布式服務器集群中對應服務器節(jié)點中，以使得所述服務器節(jié)點將得到的所述分片數(shù)據(jù)存儲于圖數(shù)據(jù)庫的鍵值存儲引擎中，其中，所述鍵值存儲引擎采用LSM
?
Tree和log日志的鍵值分離方式存儲所述分片數(shù)據(jù)，所述服務器節(jié)點采用如下方式優(yōu)化所述鍵值存儲引擎的Raft節(jié)點模型：當所述分片數(shù)據(jù)的讀寫壓力大于設定值且跟蹤節(jié)點過多或過少，引入秘書節(jié)點或觀察節(jié)點輔助領導節(jié)點進行所述分片數(shù)據(jù)的讀寫，其中，所述跟蹤節(jié)點、秘書節(jié)點、觀察節(jié)點和領導節(jié)點均為所述分片數(shù)據(jù)的副本。2.根據(jù)權利要求1所述的適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法，其特征在于，所述當所述分片數(shù)據(jù)的讀寫壓力大于設定值且跟蹤節(jié)點過多或過少，引入秘書節(jié)點或觀察節(jié)點輔助領導節(jié)點進行所述分片數(shù)據(jù)的讀寫，其中，所述跟蹤節(jié)點、秘書節(jié)點、觀察節(jié)點和領導節(jié)點均為所述分片數(shù)據(jù)的副本，包括：當所述分片數(shù)據(jù)的寫入壓力大于第一設定值且跟蹤節(jié)點數(shù)量大于第一數(shù)量，則領導節(jié)點創(chuàng)建第一快照，將所述第一快照發(fā)送給新引入的秘書節(jié)點，以使秘書節(jié)點輔助領導節(jié)點將日志復制于跟蹤節(jié)點中；當讀取壓力大于第二設定值且跟蹤節(jié)點數(shù)量小于第二數(shù)量，則領導節(jié)點創(chuàng)建第二快照，將所述第二快照發(fā)送給新引入的觀察節(jié)點，以使觀察節(jié)點輔助領導節(jié)點進行數(shù)據(jù)的讀取。3.根據(jù)權利要求2所述的適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法，其特征在于，所述分片數(shù)據(jù)和所述服務器節(jié)點之間分配采用隨機映射。4.根據(jù)權利要求3所述的適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法，其特征在于，采用靜態(tài)哈希將所述圖數(shù)據(jù)劃分為多個分片數(shù)據(jù)。5.根據(jù)權利要求4所述的適用大規(guī)模海洋數(shù)據(jù)的分布式存儲和處理方法，其特征在于，通過如下公式將每一個所述分片數(shù)據(jù)分配至所述分布式服務器集群中任意一個服務器節(jié)點中，包括：其中，表示取模運算，表示所需分片的數(shù)量，表示服務器節(jié)點所示的分片id，表示服務器節(jié)點對應的id。6.根據(jù)...
【專利技術屬性】
技術研發(fā)人員：徐子晨，陳科，肖欣雨，殷驄睿，孔露露，張依帆，
申請(專利權)人：南昌大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。