本地磁盤數據補償方法、裝置、設備及存儲介質制造方法及圖紙

本申請實施例提供一種本地磁盤數據補償方法、裝置、設備及存儲介質，該方法包括當目標微服務啟動后，獲取目標微服務所掛載的本地磁盤的組合數據容量，以及目標微服務的共享存儲中所存儲的特征數據容量，進而確定組合數據數量和特征數據數量，若組合數據數量小于特征數據數量，基于組合數據數量和預設特征數據長度確定差異數據偏移位置，并確定差異數據標識、差異特征數據和差異結構化數據，將差異結構化數據和差異特征數據追加至本地磁盤，可以簡單方便的確定到差異數據偏移位置，進而得到差異結構化數據，通過將差異結構化數據和差異特征數據追加至本地磁盤，以對本地磁盤進行數據補償，在同步過程中，提升了數據撈取速度，降低了服務恢復時長。服務恢復時長。服務恢復時長。

【技術實現步驟摘要】
本地磁盤數據補償方法、裝置、設備及存儲介質


[0001]本專利技術實施例涉及計算機
，特別是涉及一種本地磁盤數據補償方法、裝置、設備及存儲介質。

技術介紹

[0002]當前,為了增強系統的容災能力，分布式系統越來越被大眾所接受，分布式所帶來的共享存儲也同樣越來越被大眾所使用，安防領域的特征文件由于單條文件大，存儲數據庫容量大，查詢慢，所以最優的方式還是直接存在硬盤中，但由于分布式共享存儲的特性，存儲數據冗余備份和數據共享，使數據的讀取速度變得相對緩慢。
[0003]分布式共享存儲作為穩定的分布式共享存儲，在集群中的某一節點發生宕機的情況下，相關技術中，進行數據的同步需要把分布式共享存儲中的文件全量讀取出來并復寫到其他集群節點的本地磁盤中，當數據量大的時候，因受限與分布式共享存儲的讀取速度，同步的時間會非常長。在同步的過程中，無法快速的提供數據撈取服務，導致同步過程中，數據撈取速度慢，服務恢復時間長。

技術實現思路

[0004]鑒于以上所述現有技術的缺點，本專利技術的目的在于提供一種本地磁盤數據補償方法、裝置、設備及存儲介質，用于解決對于同步過程中數據撈取速度慢，服務恢復時間長的技術問題。
[0005]針對于上述問題，本專利技術提供了一種本地磁盤數據補償方法，所述方法包括：當目標微服務啟動后，獲取所述目標微服務所掛載的本地磁盤的組合數據容量，以及所述目標微服務的共享存儲中所存儲的特征數據容量，所述本地磁盤存儲有所述目標微服務的特征數據和結構化數據，所述共享存儲中存儲有所述目標微服務的特征數據；根據所述組合數據容量和預設組合數據長度確定組合數據數量，根據所述特征數據容量和預設特征數據長度確定特征數據數量；若所述組合數據數量小于所述特征數據數量，基于所述組合數據數量和所述預設特征數據長度確定差異數據偏移位置，并確定差異數據標識和差異特征數據；基于所述差異數據標識確定差異結構化數據，將所述差異結構化數據和所述差異特征數據追加至所述本地磁盤，以對所述本地磁盤進行數據補償。
[0006]于本專利技術一實施例中，基于所述組合數據數量和所述預設特征數據長度確定差異數據偏移位置，并確定差異數據標識和差異特征數據包括：根據所述組合數據數量和所述預設特征數據長度確定組合特征長度；基于所述組合特征長度確定所述共享存儲中差異數據的所述差異數據偏移位置；自所述共享存儲中所述差異數據偏移位置的特征數據開始消費，將得到特征數據和初始數據標識確定為所述差異特征數據和所述差異數據標識，所述共享存儲中還存儲有各所述特征數據的初始數據標識。
[0007]于本專利技術一實施例中，基于所述差異數據標識確定差異結構化數據包括：基于所述差異數據標識從預設數據庫中查詢，得到所述差異結構化數據，所述預設數據庫中存儲
有所述目標微服務的所述結構化數據，以及與所述結構化數據對應的所述特征數據的初始數據標識。
[0008]于本專利技術一實施例中，將所述差異結構化數據和所述差異特征數據追加至所述本地磁盤包括：將所述差異結構化數據和所述差異特征數據進行文件組合，得到待存儲文件，所述待存儲文件的數據長度為所述預設組合數據長度；將所述待存儲文件追加至所述本地磁盤。
[0009]于本專利技術一實施例中，獲取所述目標微服務所掛載的本地磁盤的組合數據容量，以及所述目標微服務的共享存儲中所存儲的特征數據容量之前，所述方法包括：在所述目標微服務啟動過程中，獲取所述目標微服務的備份信息存在狀態和當前啟動節點；若所述備份信息存在狀態為存在，基于所述目標微服務的備份信息確定所述目標微服務的指向節點和指向磁盤；若所述當前啟動節點與所述指向節點不同，通過調用集群的服務重啟接口，以對所述目標微服務進行重啟漂移，直至重啟漂移后的所述當前啟動節點與所述指向節點相同。
[0010]于本專利技術一實施例中，若所述當前啟動節點與所述指向節點不同，通過調用集群的服務重啟接口，以對所述目標微服務進行重啟漂移，直至重啟漂移后的所述當前啟動節點與所述指向節點相同之后，所述方法還包括：若所述目標微服務啟動完成，獲取環境中空閑節點的空閑磁盤，所述空閑節點與所述當前啟動節點不同；將所述空閑磁盤確定為所述目標微服務的備份磁盤。
[0011]于本專利技術一實施例中，若所述備份信息存在狀態為不存在，所述方法還包括：獲取集群的當前啟動服務數量和本地磁盤數量；根據所述當前啟動服務數量確定最低磁盤數量，所述最低磁盤數量大于或等于所述當前啟動服務數量的兩倍；若所述本地磁盤數量大于所述最低磁盤數量，將所述目標微服務的特征數據和結構化數據備份至備份磁盤中，所述備份磁盤與所述目標微服務所掛載的所述本地磁盤不同。
[0012]于本專利技術一實施例中，所述方法還包括：獲取所述目標微服務的服務狀態和磁盤狀態；若所述服務狀態為正常，且所述磁盤狀態為正常，將所述服務備份狀態確定為可備份，通過啟動同步線程同步所述本地磁盤和備份磁盤的文件數據；若所述服務狀態為異常，或所述磁盤狀態為異常，將所述服務備份狀態確定為未備份，暫不進行數據備份。
[0013]于本專利技術一實施例中，若所述目標微服務的當前啟動節點發生宕機，將所述目標微服務的備用節點恢復為新的當前啟動節點；基于新的當前啟動節點、新的本地磁盤信息、新的備用節點和新的備用磁盤信息生成新的備份信息，以所述新的備份信息替換所述目標微服務的歷史備份信息。
[0014]于本專利技術一實施例中，將所述目標微服務的備用節點恢復為新的當前啟動節點之后，所述方法還包括：獲取空閑節點和空閑磁盤；若沒有所述空閑節點或沒有所述空閑磁盤，不進行數據備份；間隔預設時長進行輪詢查詢所述空閑節點和所述空閑磁盤，直到存在所述空閑節點和所述空閑磁盤；將所述空閑節點和所述空閑磁盤確定為備份節點和備份磁盤，并進行數據備份。
[0015]本專利技術實施例還提供了一種本地磁盤數據補償裝置，所述裝置包括：容量獲取模塊，用于當目標微服務啟動后，獲取所述目標微服務所掛載的本地磁盤的組合數據容量，以及所述目標微服務的共享存儲中所存儲的特征數據容量，所述本地磁盤存儲有所述目標微
服務的特征數據和結構化數據，所述共享存儲中存儲有所述目標微服務的特征數據；數據數量確定模塊，用于根據所述組合數據容量和預設組合數據長度確定組合數據數量，根據所述特征數據容量和預設特征數據長度確定特征數據數量；差異確定模塊，用于若所述組合數據數量小于所述特征數據數量，基于所述組合數據數量和所述預設特征數據長度確定差異數據偏移位置，并確定差異數據標識和差異特征數據；數據補償模塊，用于基于所述差異數據標識確定差異結構化數據，將所述差異結構化數據和所述差異特征數據追加至所述本地磁盤，以對所述本地磁盤進行數據補償。
[0016]本專利技術實施例還提供了一種電子設備，包括處理器、存儲器和通信總線；所述通信總線用于將所述處理器和存儲器連接；所述處理器用于執行所述存儲器中存儲的計算機程序，以實現如上述實施例中任一項所述的方法。
[0017]本專利技術實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序用于使所述計算機執行如本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種本地磁盤數據補償方法，其特征在于，所述方法包括：當目標微服務啟動后，獲取所述目標微服務所掛載的本地磁盤的組合數據容量，以及所述目標微服務的共享存儲中所存儲的特征數據容量，所述本地磁盤存儲有所述目標微服務的特征數據和結構化數據，所述共享存儲中存儲有所述目標微服務的特征數據；根據所述組合數據容量和預設組合數據長度確定組合數據數量，根據所述特征數據容量和預設特征數據長度確定特征數據數量；若所述組合數據數量小于所述特征數據數量，基于所述組合數據數量和所述預設特征數據長度確定差異數據偏移位置，并確定差異數據標識和差異特征數據；基于所述差異數據標識確定差異結構化數據，將所述差異結構化數據和所述差異特征數據追加至所述本地磁盤，以對所述本地磁盤進行數據補償。2.如權利要求1所述的本地磁盤數據補償方法，其特征在于，基于所述組合數據數量和所述預設特征數據長度確定差異數據偏移位置，并確定差異數據標識和差異特征數據包括：根據所述組合數據數量和所述預設特征數據長度確定組合特征長度；基于所述組合特征長度確定所述共享存儲中差異數據的所述差異數據偏移位置；自所述共享存儲中所述差異數據偏移位置的特征數據開始消費，將得到特征數據和初始數據標識確定為所述差異特征數據和所述差異數據標識，所述共享存儲中還存儲有各所述特征數據的初始數據標識。3.如權利要求1所述的本地磁盤數據補償方法，其特征在于，基于所述差異數據標識確定差異結構化數據包括：基于所述差異數據標識從預設數據庫中查詢，得到所述差異結構化數據，所述預設數據庫中存儲有所述目標微服務的所述結構化數據，以及與所述結構化數據對應的所述特征數據的初始數據標識。4.如權利要求1所述的本地磁盤數據補償方法，其特征在于，將所述差異結構化數據和所述差異特征數據追加至所述本地磁盤包括：將所述差異結構化數據和所述差異特征數據進行文件組合，得到待存儲文件，所述待存儲文件的數據長度為所述預設組合數據長度；將所述待存儲文件追加至所述本地磁盤。5.如權利要求1所述的本地磁盤數據補償方法，其特征在于，獲取所述目標微服務所掛載的本地磁盤的組合數據容量，以及所述目標微服務的共享存儲中所存儲的特征數據容量之前，所述方法包括：在所述目標微服務啟動過程中，獲取所述目標微服務的備份信息存在狀態和當前啟動節點；若所述備份信息存在狀態為存在，基于所述目標微服務的備份信息確定所述目標微服務的指向節點和指向磁盤；若所述當前啟動節點與所述指向節點不同，通過調用集群的服務重啟接口，以對所述目標微服務進行重啟漂移，直至重啟漂移后的所述當前啟動節點與所述指向節點相同。6.如權利要求5所述的本地磁盤數據補償方法，其特征在于，若所述當前啟動節點與所述指向節點不同，通過調用集群的服務重啟接口，以對所述目標微服務進行重啟漂移，直至
重啟漂移后的所述當前啟動節點與所述指向節點相同之后，所述方法還包括：若所述目標微服務啟動完成，獲取環境中空閑節點的空閑磁盤，所述空閑節點與所述當前啟動節點不同；將所述空閑磁盤確定為所述目標微服務的備份磁盤。7.如權利要求5所述的本地磁...

【專利技術屬性】
技術研發人員：魏程琛，賀寧，
申請(專利權)人：重慶紫光華山智安科技有限公司，
類型：發明
國別省市：