【技術(shù)實現(xiàn)步驟摘要】
本申請涉及數(shù)據(jù)重建，尤其涉及一種融合數(shù)據(jù)遷移的數(shù)據(jù)重建方法、裝置和電子設(shè)備。
技術(shù)介紹
1、隨著存儲系統(tǒng)的特性逐漸發(fā)展，現(xiàn)有的存儲系統(tǒng)不僅需要處理數(shù)據(jù)不均衡的情況，還必須應(yīng)對可能發(fā)生的數(shù)據(jù)丟失事件。為了避免數(shù)據(jù)遷移任務(wù)與數(shù)據(jù)重建任務(wù)同時對同一個數(shù)據(jù)條帶(dseg)進行操作，從而浪費讀寫帶寬，需要確保它們之間能夠互斥執(zhí)行。
2、相關(guān)技術(shù)中，通常采用串行執(zhí)行的互斥方案來確定數(shù)據(jù)重建與數(shù)據(jù)遷移互斥進行。具體來說：在創(chuàng)建數(shù)據(jù)遷移任務(wù)之前，系統(tǒng)會先檢查當(dāng)前是否有正在進行的重建任務(wù)，若是，則數(shù)據(jù)遷移任務(wù)將不會被創(chuàng)建，以防止不必要的資源浪費。而當(dāng)數(shù)據(jù)遷移任務(wù)正在執(zhí)行時，如果檢測到有重建事件產(chǎn)生，系統(tǒng)會立即暫停當(dāng)前的遷移任務(wù)，并啟動重建任務(wù)。待重建任務(wù)完成后，系統(tǒng)將恢復(fù)并繼續(xù)執(zhí)行之前暫停的遷移任務(wù)，確保數(shù)據(jù)的完整性和存儲系統(tǒng)的穩(wěn)定性。
3、雖然這種串行執(zhí)行的互斥策略能夠有效避免競爭，優(yōu)化系統(tǒng)資源的利用率，保障存儲操作的有效性和效率。但是，若同時存在以盤為維度的數(shù)據(jù)重建與數(shù)據(jù)遷移任務(wù)，采用串行執(zhí)行的互斥方案，處理流程較為繁瑣，當(dāng)需要考慮的場景更為復(fù)雜時，任務(wù)的執(zhí)行效率顯著降低。
技術(shù)實現(xiàn)思路
1、本申請示例性的實施方式中提供一種融合數(shù)據(jù)遷移的數(shù)據(jù)重建方法、裝置和電子設(shè)備，用以實現(xiàn)數(shù)據(jù)遷移任務(wù)和數(shù)據(jù)重建任務(wù)同步進行，處理流程簡單，提高任務(wù)的執(zhí)行效率。
2、根據(jù)示例性的實施方式中的第一方面，提供一種融合數(shù)據(jù)遷移的數(shù)據(jù)重建方法，包括：
3、在n個在役磁盤構(gòu)成
4、根據(jù)第一熱備盤的和第二熱備盤各自的盤描述信息，更新第一數(shù)據(jù)條帶集合，得到第二數(shù)據(jù)條帶集合；其中，第一數(shù)據(jù)條帶集合是根據(jù)n個在役磁盤各自的盤描述信息生成的；
5、針對第二數(shù)據(jù)條帶集合中的每個數(shù)據(jù)條帶，確定針對數(shù)據(jù)條帶指示的各數(shù)據(jù)單元的操作類型；
6、按照數(shù)據(jù)條帶指示的各數(shù)據(jù)單元的操作類型，對相應(yīng)的數(shù)據(jù)單元存儲的數(shù)據(jù)進行處理，完成第一目標(biāo)盤的數(shù)據(jù)重建和第二目標(biāo)盤的數(shù)據(jù)遷移。
7、本申請實施例，利用現(xiàn)有技術(shù)中的pdm任務(wù)與數(shù)據(jù)重建任務(wù)互斥的思想，在執(zhí)行重建任務(wù)時，取消當(dāng)前存在的pdm任務(wù)。另外，通過熱備盤的盤描述信息來更新數(shù)據(jù)條帶集合，進而根據(jù)更新后的數(shù)據(jù)條帶集合中每個數(shù)據(jù)條帶指示的各數(shù)據(jù)單元的操作類型，對相應(yīng)的數(shù)據(jù)單元存儲的數(shù)據(jù)進行處理。以數(shù)據(jù)單元為粒度進行數(shù)據(jù)處理，將取消的pdm任務(wù)融合進數(shù)據(jù)重建過程，一次性處理數(shù)據(jù)遷移與數(shù)據(jù)重建任務(wù)。提高了任務(wù)執(zhí)行效率。
8、在一種可選的實施方式中，方法還包括：
9、隨機選取n個在役磁盤中每個磁盤的一個數(shù)據(jù)單元，確定選取的各個數(shù)據(jù)單元各自對應(yīng)的描述信息構(gòu)成一個數(shù)據(jù)條帶信息；
10、其中，一個數(shù)據(jù)條帶信息包括：
11、數(shù)據(jù)條帶的標(biāo)識、數(shù)據(jù)條帶關(guān)聯(lián)的磁盤標(biāo)識、數(shù)據(jù)條帶包括的數(shù)據(jù)單元的標(biāo)識、以及，數(shù)據(jù)條帶包括的數(shù)據(jù)單元指示的存儲位置。
12、上述實施例，通過隨機選取n個在役磁盤中的各個磁盤各自的數(shù)據(jù)單元對應(yīng)的描述信息構(gòu)成的數(shù)據(jù)條帶信息，可以確定數(shù)據(jù)條帶的標(biāo)識、數(shù)據(jù)條帶關(guān)聯(lián)的磁盤標(biāo)識、數(shù)據(jù)條帶包括的數(shù)據(jù)單元的標(biāo)識、以及，數(shù)據(jù)條帶包括的數(shù)據(jù)單元指示的存儲位置，進而可以利用這些信息準(zhǔn)確進行數(shù)據(jù)遷移和數(shù)據(jù)重建。
13、在一種可選的實施方式中，根據(jù)第一熱備盤的和第二熱備盤各自的盤描述信息，更新第一數(shù)據(jù)條帶集合，得到第二數(shù)據(jù)條帶集合，包括：
14、針對第一數(shù)據(jù)條帶集合中的每個第一數(shù)據(jù)條帶，應(yīng)用隨機選取的第一熱備盤的一個數(shù)據(jù)單元和第二熱備盤的一個數(shù)據(jù)單元，更新第一數(shù)據(jù)條帶，得到對應(yīng)的第二數(shù)據(jù)條帶；
15、各個更新后的第二數(shù)據(jù)條帶，構(gòu)成第二數(shù)據(jù)條帶集合。
16、上述實施例，在數(shù)據(jù)條帶集合更新時，應(yīng)用預(yù)先確定的熱備盤的數(shù)據(jù)單元來實現(xiàn)，保證通過更新后的數(shù)據(jù)條帶集合可以準(zhǔn)確確定數(shù)據(jù)遷移和數(shù)據(jù)重建各自對應(yīng)的目的盤以及目標(biāo)盤中用于數(shù)據(jù)遷移或者數(shù)據(jù)重建的數(shù)據(jù)單元。
17、在一種可選的實施方式中，應(yīng)用隨機選取的第一熱備盤的一個數(shù)據(jù)單元和第二熱備盤的一個數(shù)據(jù)單元，更新第一數(shù)據(jù)條帶，包括：
18、將第一數(shù)據(jù)條帶信息中的第一目標(biāo)盤的數(shù)據(jù)單元的存儲位置替換為第一熱備盤的數(shù)據(jù)單元的存儲位置；將第一數(shù)據(jù)條帶信息中的第二目標(biāo)盤的數(shù)據(jù)單元的存儲位置替換為第二熱備盤的數(shù)據(jù)單元的存儲位置。
19、上述實施例，通過該替換過程，可以通過相應(yīng)的熱備盤的數(shù)據(jù)單元的存儲位置，準(zhǔn)確確定需要處理的數(shù)據(jù)。
20、在一種可選的實施方式中，操作類型包括拷貝、ec編碼、繼承、ec解碼中的部分或全部；針對第二數(shù)據(jù)條帶集合中的每個數(shù)據(jù)條帶，確定針對數(shù)據(jù)條帶指示的各數(shù)據(jù)單元的操作類型中，針對每個數(shù)據(jù)單元的操作，包括：
21、若數(shù)據(jù)單元指示的存儲內(nèi)容不為數(shù)據(jù)，則確定數(shù)據(jù)單元的操作類型為ec編碼；
22、若數(shù)據(jù)單元指示的存儲內(nèi)容為數(shù)據(jù)，且數(shù)據(jù)單元的標(biāo)志位取值不為第一設(shè)定值，則確定數(shù)據(jù)單元的操作類型為繼承；
23、若數(shù)據(jù)單元指示的存儲內(nèi)容為數(shù)據(jù)，且數(shù)據(jù)單元的標(biāo)志位取值為第一設(shè)定值，且指示的盤狀態(tài)不為pdm，則確定數(shù)據(jù)單元的操作類型為ec解碼；
24、若數(shù)據(jù)單元指示的存儲內(nèi)容為數(shù)據(jù)，且數(shù)據(jù)單元的標(biāo)志位取值為第一設(shè)定值，且指示的盤狀態(tài)為pdm狀態(tài)，則確定數(shù)據(jù)單元的操作類型為拷貝。
25、上述實施例，ec編碼、繼承和ec解碼對應(yīng)的均為數(shù)據(jù)重建過程中的操作，拷貝為數(shù)據(jù)遷移過程中的操作，因此，針對不同的數(shù)據(jù)單元，按照上述邏輯分別確定操作類型。以數(shù)據(jù)單元為粒度，將數(shù)據(jù)遷移融合進數(shù)據(jù)重建過程，實現(xiàn)數(shù)據(jù)遷移和數(shù)據(jù)重建的同步進行。
26、在一種可選的實施方式中，方法還包括：
27、針對每個在役盤，通過查詢看板的信息確定盤的狀態(tài)：
28、若盤的狀態(tài)為正常狀態(tài)，則確定盤的數(shù)據(jù)單元在數(shù)據(jù)條帶信息中對應(yīng)的標(biāo)志位取值為第二設(shè)定值；其中，正常狀態(tài)指示盤為插入狀態(tài)且正常運行；
29、若盤的狀態(tài)為孤立狀態(tài)，則確定盤的數(shù)據(jù)單元在數(shù)據(jù)條帶信息中對應(yīng)的標(biāo)志位取值為第一設(shè)定值；其中，孤立狀態(tài)指示盤為已拔出狀態(tài)；
30、若盤的狀態(tài)為亞健康狀態(tài)，則確定盤的數(shù)據(jù)單元在數(shù)據(jù)條帶信息中對應(yīng)的標(biāo)志位取值為第一設(shè)定值；其中，亞健康狀態(tài)指示盤為即將拔出狀態(tài)。
31、上述實施例，通常情況下，盤拔出是觸發(fā)數(shù)據(jù)重建任務(wù)的一個比較常見的操作，因此，針對每個在役磁盤，可以通過上述方式來確定盤的狀態(tài)，進而確定相應(yīng)的數(shù)據(jù)單元的操作類型。
32、根據(jù)示例性的實施方式中的第二方面，提供一種融合數(shù)據(jù)遷移的數(shù)據(jù)重建裝置，包括：
33、處理單元，用于：在n個在役磁盤構(gòu)成的冗余磁盤陣列中，若檢測到盤重建本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種融合數(shù)據(jù)遷移的數(shù)據(jù)重建方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)第一熱備盤的和第二熱備盤各自的盤描述信息，更新第一數(shù)據(jù)條帶集合，得到第二數(shù)據(jù)條帶集合，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述應(yīng)用隨機選取的所述第一熱備盤的一個數(shù)據(jù)單元和所述第二熱備盤的一個數(shù)據(jù)單元，更新所述第一數(shù)據(jù)條帶，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述操作類型包括拷貝、EC編碼、繼承、EC解碼中的部分或全部；所述針對所述第二數(shù)據(jù)條帶集合中的每個數(shù)據(jù)條帶，確定針對所述數(shù)據(jù)條帶指示的各數(shù)據(jù)單元的操作類型中，針對每個數(shù)據(jù)單元的操作包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：
7.一種融合數(shù)據(jù)遷移的數(shù)據(jù)重建裝置，其特征在于，包括：
8.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至6任一項所述
9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，其特征在于，該計算機程序指令被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6任一項所述方法的步驟。
10.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。
...【技術(shù)特征摘要】
1.一種融合數(shù)據(jù)遷移的數(shù)據(jù)重建方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)第一熱備盤的和第二熱備盤各自的盤描述信息，更新第一數(shù)據(jù)條帶集合，得到第二數(shù)據(jù)條帶集合，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述應(yīng)用隨機選取的所述第一熱備盤的一個數(shù)據(jù)單元和所述第二熱備盤的一個數(shù)據(jù)單元，更新所述第一數(shù)據(jù)條帶，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述操作類型包括拷貝、ec編碼、繼承、ec解碼中的部分或全部；所述針對所述第二數(shù)據(jù)條帶集合中的每個數(shù)據(jù)條帶，確定針對所述數(shù)據(jù)條帶指示的各數(shù)據(jù)單元的操...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：毛新蕊，周后兵，李容光，楊鑫宇，曹龍杰，
申請(專利權(quán))人：曙光信息產(chǎn)業(yè)北京有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。