System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及計算機存儲系統與文件系統數據管理,具體涉及一種基于mlp的zns?ssd垃圾回收感知方法。
技術介紹
1、隨著大數據、云計算和人工智能的發展,數據存儲需求不斷增長,傳統ssd面臨性能瓶頸。為了優化ssd的性能,zns?ssd通過將邏輯空間劃分為多個區塊并強制順序寫入,避免了傳統ssd中頻繁的寫入放大現象。然而,zns?ssd的垃圾回收過程仍然面臨著如何在減少寫放大的同時確保高效性能的問題。
2、現有的垃圾回收機制大多基于固定的回收策略,無法動態感知系統的當前負載和數據寫入模式。例如greedy算法或cost-benefit算法,這些算法根據區塊的無效數據比例來決定何時執行回收操作。雖然這些策略能夠在一定程度上提高垃圾回收效率,但它們無法動態適應復雜的i/o工作負載,特別是在多租戶或多應用環境下,無法及時調整垃圾回收的時機和優先級,從而可能導致系統性能下降、延遲增加,甚至造成寫放大的加劇。
3、因此,需要一種能夠基于機器學習動態感知系統負載和寫入模式的垃圾回收方法,以實現更高效的垃圾回收操作,進一步提高zns?ssd的整體性能。
技術實現思路
1、為解決現有技術中存在的問題,本專利技術提供了一種基于mlp的zns?ssd垃圾回收感知方法,旨在優化傳統的垃圾回收機制,減少寫入放大效應,提高zns?ssd的性能和使用壽命。本專利技術通過引入智能監控和負載感知算法,實時監控系統負載和數據寫入模式,根據當前系統的運行狀態動態調整垃圾回收策略,實現了更加高
2、為實現上述目的,本專利技術提供如下技術方案:一種基于mlp的zns?ssd垃圾回收感知方法,包括如下步驟:
3、步驟1、初始化zns區塊與特征提取:將zns?ssd的存儲空間劃分為多個zone,每個zone負責處理一段邏輯上的順序寫入數據,在初始化階段,同時開始對每個zone的運行數據進行特征提取;
4、步驟2、系統負載監控與數據收集:跟蹤當前系統的i/o負載情況,確定系統是否處于高負載或低負載狀態;
5、步驟3、判斷當前i/o負載情況是否高于預設閾值:
6、步驟4、區塊狀態掃描與智能分類:掃描所有區塊,記錄每個區塊的有效數據量和無效數據比例,并利用預先訓練好的多層感知機mlp模型對每個區塊的多維數據進行智能分類;
7、步驟5、判斷當前是否存在需要回收的區塊:
8、步驟6、智能選擇待回收的目標zone;
9、步驟7、判斷目標zone中是否存在有效數據;
10、步驟8、判斷目標zone是否有足夠的空閑空間;
11、步驟9、智能遷移有效數據到目標zone;
12、步驟10、判斷數據遷移是否成功;
13、步驟11、執行無效的數據擦除:在遷移成功后,系統采用延遲擦除機制對待回收zone中的無效數據執行按需擦除,系統處于繁忙狀態,擦除任務可能會被推遲,等待負載下降后再執行;同時通過分析i/o負載、數據訪問頻率、存儲空間使用率的特征,mlp模型能夠智能判斷是否立即執行擦除,或者推遲到更合適的時刻;
14、步驟12、更新ftl映射表:在數據遷移完成后,系統會將邏輯地址更新為目標zone的物理地址,ftl映射表中的邏輯地址會重新指向新的物理存儲位置;同時,系統會更新相關的元數據,記錄新遷移的物理地址和數據狀態,以確保下一次訪問時能夠正確讀寫新地址中的數據;在完成ftl映射表的更新后,系統會進行一致性校驗,確保所有邏輯地址都正確映射到新的物理地址上;通過對比元數據中的映射關系,系統能夠驗證映射表是否與實際的數據存儲狀態一致;
15、步驟13、系統性能監測。
16、優選的,在步驟3中,使用多層感知機mlp模型實時監控每個zone的狀態,包括每個zone的無效數據比例和當前的i/o請求隊列長度;如果無效數據比例超過閾值,則進入步驟2,延遲垃圾回收;如果負載較低,繼續執行垃圾回收,如果沒有超過閾值,繼續監控zone狀態并等待下一個檢測周期。
17、優選的,在步驟5中,通過mlp模型判斷系統當前是否存在需要回收的區塊,如果系統檢測到有一個或多個zone符合垃圾回收的條件,則進入步驟6,此時會進一步決定哪些zone最適合回收,優化存儲空間利用,如果所有zone的狀態都沒有達到回收標準,則進入步驟2,此時系統會繼續保持對負載和zone狀態的監控,直到下一次掃描或觸發事件重新評估;
18、所述zone符合垃圾回收的條件具體包括:無效數據比例高、可用容量不足或擦寫次數接近上限。
19、優選的,在步驟6中,mlp模型通過對每個zone的特征進行多層非線性映射,輸出一個針對每個zone的“回收優先級評分”,評分越高的zone越適合進行垃圾回收;同時,使用自適應動態分區選擇算法,基于負載感知調度的分區選擇,結合系統當前i/o負載、區塊磨損情況和zone活躍度、區塊的無效數據比例、寫入頻率的指標,動態調整垃圾回收的目標分區從而選擇優先回收的區塊。
20、優選的,在步驟7中,將待回收區塊中的有效數據遷移至空閑區塊,確保數據的完整性和順序寫入要求,利用多層感知機mlp模型預測目標zone中有效數據的分布情況;如果zone中存在有效數據,進入步驟8進一步判斷目標zone是否有足夠的空閑空間;如果zone中所有數據都已經失效即無效數據,則無需進行數據遷移,系統可以直接跳至步驟11,執行擦除區塊操作,釋放存儲空間。
21、優選的,在步驟8中,具體包括如下:
22、首先,計算需要遷移的數據塊大小,即從待回收zone中需要遷移的有效數據總量;
23、然后,系統會檢查目標zone當前的可用空間,查看其是否足夠容納這些數據;
24、最后,系統將遷移數據的總量與目標zone的可用空間進行比較:如果可用空間接近臨界值,或系統存在多個可能的目標zone,mlp模型會進一步通過歷史數據和特征預測來判斷該zone是否能夠持續提供足夠的空閑空間,避免遷移失敗;如果有足夠的空閑空間,進入步驟9進行數據遷移;如果沒有足夠空間,返回步驟6,重新選擇待回收的目標zone。
25、優選的,在步驟9中,系統將回收zone中的有效數據遷移至選定的目標zone,遷移過程采用zns?ssd的順序寫入機制,同時系統會為待遷移的數據塊設置優先級,訪問頻率較高的熱數據將優先被遷移,以確保數據能夠快速恢復正常讀寫。
26、優選的,在步驟10中,數據遷移完本文檔來自技高網...
【技術保護點】
1.一種基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于,包括如下步驟:
2.根據權利要求1所述的基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于:在步驟3中,使用多層感知機MLP模型實時監控每個Zone的狀態,包括每個Zone的無效數據比例和當前的I/O請求隊列長度;如果無效數據比例超過閾值,則進入步驟2,延遲垃圾回收;如果負載較低,繼續執行垃圾回收,如果沒有超過閾值,繼續監控Zone狀態并等待下一個檢測周期。
3.根據權利要求1所述的基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于:在步驟5中,通過MLP模型判斷系統當前是否存在需要回收的區塊,如果系統檢測到有一個或多個Zone符合垃圾回收的條件,則進入步驟6,此時會進一步決定哪些Zone最適合回收,優化存儲空間利用,如果所有Zone的狀態都沒有達到回收標準,則進入步驟2,此時系統會繼續保持對負載和Zone狀態的監控,直到下一次掃描或觸發事件重新評估;
4.根據權利要求1所述的基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于:在步驟6中,MLP模型通過對每個Zone的
5.根據權利要求1所述的基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于:在步驟7中,將待回收區塊中的有效數據遷移至空閑區塊,確保數據的完整性和順序寫入要求,利用多層感知機MLP模型預測目標Zone中有效數據的分布情況;如果Zone中存在有效數據,進入步驟8進一步判斷目標Zone是否有足夠的空閑空間;如果Zone中所有數據都已經失效即無效數據,則無需進行數據遷移,系統可以直接跳至步驟11,執行擦除區塊操作,釋放存儲空間。
6.根據權利要求1所述的基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于:在步驟8中,具體包括如下:
7.根據權利要求1所述的基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于:在步驟9中,系統將回收Zone中的有效數據遷移至選定的目標Zone,遷移過程采用ZNS?SSD的順序寫入機制,同時系統會為待遷移的數據塊設置優先級,訪問頻率較高的熱數據將優先被遷移,以確保數據能夠快速恢復正常讀寫。
8.根據權利要求1所述的基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于:在步驟10中,數據遷移完成后,系統會通過CRC校驗或其他一致性驗證技術,確保遷移后的數據完整性;引入雙重校驗機制,包括遷移前的源數據一致性校驗和遷移后的目標數據完整性校驗;如果數據遷移成功,則進入步驟11,執行無效的數據擦除;如果遷移失敗,返回步驟9,系統通過Zone?FTL的異常處理模塊重新執行遷移。
9.根據權利要求1所述的基于MLP的ZNS?SSD垃圾回收感知方法,其特征在于:在步驟13中,映射表更新后,系統會監測I/O性能,監控垃圾回收后的系統I/O性能,檢查是否存在延遲或吞吐量異常,監測回收后性能是否下降;通過性能監控,系統會記錄當前的回收操作對延遲、吞吐量的具體影響,并將這些數據反饋到MLP模型中,以調整未來的回收計劃;
...【技術特征摘要】
1.一種基于mlp的zns?ssd垃圾回收感知方法,其特征在于,包括如下步驟:
2.根據權利要求1所述的基于mlp的zns?ssd垃圾回收感知方法,其特征在于:在步驟3中,使用多層感知機mlp模型實時監控每個zone的狀態,包括每個zone的無效數據比例和當前的i/o請求隊列長度;如果無效數據比例超過閾值,則進入步驟2,延遲垃圾回收;如果負載較低,繼續執行垃圾回收,如果沒有超過閾值,繼續監控zone狀態并等待下一個檢測周期。
3.根據權利要求1所述的基于mlp的zns?ssd垃圾回收感知方法,其特征在于:在步驟5中,通過mlp模型判斷系統當前是否存在需要回收的區塊,如果系統檢測到有一個或多個zone符合垃圾回收的條件,則進入步驟6,此時會進一步決定哪些zone最適合回收,優化存儲空間利用,如果所有zone的狀態都沒有達到回收標準,則進入步驟2,此時系統會繼續保持對負載和zone狀態的監控,直到下一次掃描或觸發事件重新評估;
4.根據權利要求1所述的基于mlp的zns?ssd垃圾回收感知方法,其特征在于:在步驟6中,mlp模型通過對每個zone的特征進行多層非線性映射,輸出一個針對每個zone的“回收優先級評分”,評分越高的zone越適合進行垃圾回收;同時,使用自適應動態分區選擇算法,基于負載感知調度的分區選擇,結合系統當前i/o負載、區塊磨損情況和zone活躍度、區塊的無效數據比例、寫入頻率的指標,動態調整垃圾回收的目標分區從而選擇優先回收的區塊。
5.根據權利要求1所述的基于mlp的zns?ssd垃圾回收感知方法,其特征在于:在步驟7中,將待回收區塊中的有效數據遷移至空閑區塊,確保數據的完...
【專利技術屬性】
技術研發人員:謝平,朱靜,李培軒,盧勁伉,張程,張偉杰,
申請(專利權)人:青海師范大學,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。