【技術實現步驟摘要】
本專利技術涉及分布式存儲，具體涉及一種分布式文件系統的文件清理方法及裝置。
技術介紹
1、分布式文件系統已被廣泛使用，但是，隨著業務的持續運行和增長，分布式文件系統中會存留大量的冷數據，例如對賬文件等，為了釋放有效空間，對于冷數據需要進行定期清理，傳統的清理方案有兩種實現思路：(1)客戶端掛載分布式卷，遞歸目錄對文件進行清理。(2)循環訪問服務端各分片遞歸目錄進行清理。對于上述方案(1)，掛載分布式卷進行清理時，需要在客戶端執行大量ls操作，當件目錄層級過深或文件列表較大的情況下清理耗時過長。對于上述方案(2)，在循環訪問服務端各分片遞歸目錄進行清理的情況下，同時需要對glusterfs(下文簡稱gfs)中硬鏈接進行刪除，否則無法釋放空間。由此可見，通過上述兩種方式對文件進行清理時操作復雜，并且無法根據文件變更時間進行精細化清理。
技術實現思路
1、因此，本專利技術要解決的技術問題在于克服現有技術中無法根據文件變更時間對文件進行精細化處理的缺陷，從而提供一種分布式文件系統的文件清理方法及裝置。
2、本專利技術第一方面提供了一種分布式文件系統的文件清理方法，包括：
3、獲取分布式文件系統中各節點在不同時間周期內對卷內文件操作時產生的日志，并根據所獲取的日志生成匯總文件，節點在一個周期內對卷內文件操作時產生的日志生成一個匯總文件，匯總文件中包括一個周期內產生的日志，以及生成匯總文件的時間信息；確定清理文件的時間條件；根據各匯總文件的時間信息確定滿足時間條件的匯總
4、可選地，在本專利技術提供的分布式文件系統的文件清理方法中，一個卷內包含多個目錄，每個目錄中對應多個文件，獲取分布式文件系統中各節點在不同時間周期內對卷內文件操作時產生的日志，并根據所獲取的日志生成匯總文件，包括：獲取分布式文件系統中各節點在不同時間周期內對卷內不同目錄中的各文件進行操作時產生的日志；根據各節點對各目錄中的文件進行操作時產生的日志，分別生成各目錄對應的匯總文件。
5、可選地，在本專利技術提供的分布式文件系統的文件清理方法中，確定清理文件的時間條件的步驟，包括：根據各目錄分別對應的第一清理策略，確定各目錄分別對應的清理文件的時間條件。
6、可選地，在本專利技術提供的分布式文件系統的文件清理方法中，第一清理策略中包含文件失效日期，根據文件失效日期確定清理文件的時間條件。
7、可選地，在本專利技術提供的分布式文件系統的文件清理方法中，根據滿足時間條件的匯總文件中的目標日志，確定分布式文件系統中的待清理文件的步驟，包括：根據第二清理策略確定文件名篩選條件；若目標日志中記載的文件的文件名表達式滿足文件名篩選條件，將文件確定為待清理文件。
8、可選地，在本專利技術提供的分布式文件系統的文件清理方法中，目標日志中包括文件的文件路徑，刪除待清理文件的步驟，包括：根據目標日志中記載的待清理文件的文件路徑，刪除待清理文件。
9、可選地，在本專利技術提供的分布式文件系統的文件清理方法中，目標日志為創建文件時產生的。
10、本專利技術第二方面提供了一種分布式文件系統的文件清理裝置，應用于文件清理服務器，該裝置包括：日志匯總模塊，用于獲取分布式文件系統中各節點在不同時間周期內對卷內文件操作時產生的日志，并根據所獲取的日志生成匯總文件，節點在一個周期內對卷內文件操作時產生的日志生成一個匯總文件，匯總文件中包括一個周期內產生的日志，以及生成匯總文件的時間信息；清理條件確定模塊，用于確定清理文件的時間條件；匯總文件確定模塊，用于根據各匯總文件的時間信息確定滿足時間條件的匯總文件；文件刪除模塊，用于根據滿足時間條件的匯總文件中的目標日志確定分布式文件系統中的待清理文件，刪除待清理文件。
11、本專利技術第三方面提供了一種計算機設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，從而執行如本專利技術第一方面提供的分布式文件系統的文件清理方法。
12、本專利技術第四方面提供了一種計算機可讀存儲介質，計算機可讀存儲介質存儲有計算機指令，計算機指令用于使計算機執行如本專利技術第一方面提供的分布式文件系統的文件清理方法。
13、本專利技術技術方案，具有如下優點：
14、1.本專利技術提供的分布式文件系統的文件清理方法，獲取分布式文件系統中各節點在不同周期內對卷內文件操作時產生的日志，并生成不同時間周期分別對應的匯總文件，可以將較為分散的日志按照時間維度進行整合，從而可以在確定清理文件的時間條件后，根據時間條件確定待清理文件并進行刪除，并且在確定待清理文件時，根據匯總文件的生成時間即可快速確定符合時間條件的待清理文件，無需對分布式文件系統集群分片輪詢和遞歸操作，提高了執行效率。由于生成匯總文件的日志是對文件操作時產生的，根據匯總文件的生成時間可以確定日志生成時間，從而確定文件更新時間，因此，在確定時間條件后，對滿足時間條件的匯總文件中的日志確定待清理文件并刪除，實現了基于文件更新時間進行精細化清理。
15、2.本專利技術提供的分布式文件系統的文件清理方法，日志中記錄有文件路徑，在對文件進行刪除時，直接刪除文件路徑對應的文件即可，無需遞歸文件列表，提高了執行效率。
16、3.本專利技術提供的分布式文件系統的文件清理方法，通過預設的卷清理策略確定清理條件，預設的卷清理策略中可以配置不同的清理條件，從而實現了同一卷下不同目錄的差異化清理。
17、4.本專利技術提供的分布式文件系統的文件清理裝置，獲取分布式文件系統中各節點在不同周期內對卷內對文件操作時產生的日志，并生成不同時間周期分別對應的匯總文件，可以將較為分散的日志按照時間維度進行整合，從而可以在確定清理文件的時間條件后，根據時間條件確定待清理文件并進行刪除，并且在確定待清理文件時，根據匯總文件的生成時間即可快速確定符合時間條件的待清理文件，無需對分布式文件系統集群分片輪詢和遞歸操作，提高了執行效率。由于生成匯總文件的日志是對文件操作時產生的，根據匯總文件的生成時間可以確定日志生成時間，從而確定文件更新時間，因此，在確定時間條件后，對滿足時間條件的匯總文件中的日志確定待清理文件并刪除，實現了基于文件更新時間進行精細化清理。
本文檔來自技高網...【技術保護點】
1.一種分布式文件系統的文件清理方法，其特征在于，該方法由文件清理服務器執行，包括：
2.根據權利要求1所述的分布式文件系統的文件清理方法，其特征在于，一個卷內包含多個目錄，每個目錄中對應多個文件，所述獲取分布式文件系統中各節點在不同時間周期內對卷內文件操作時產生的日志，并根據所獲取的日志生成匯總文件，包括：
3.根據權利要求2所述的分布式文件系統的文件清理方法，其特征在于，確定清理文件的時間條件的步驟，包括：
4.根據權利要求3所述的分布式文件系統的文件清理方法，其特征在于，
5.根據權利要求1所述的分布式文件系統的文件清理方法，其特征在于，根據滿足所述時間條件的匯總文件中的目標日志，確定分布式文件系統中的待清理文件的步驟，包括：
6.根據權利要求1所述的分布式文件系統的文件清理方法，其特征在于，所述目標日志中包括文件的文件路徑，刪除所述待清理文件的步驟，包括：
7.根據權利要求1-6中任一項所述的分布式文件系統的文件清理方法，其特征在于，
8.一種分布式文件系統的文件清理裝置，其特征在于，應用
9.一種計算機設備，其特征在于，包括：
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令用于使所述計算機執行如權利要求1-7中任一項所述的分布式文件系統的文件清理方法。
...【技術特征摘要】
1.一種分布式文件系統的文件清理方法，其特征在于，該方法由文件清理服務器執行，包括：
2.根據權利要求1所述的分布式文件系統的文件清理方法，其特征在于，一個卷內包含多個目錄，每個目錄中對應多個文件，所述獲取分布式文件系統中各節點在不同時間周期內對卷內文件操作時產生的日志，并根據所獲取的日志生成匯總文件，包括：
3.根據權利要求2所述的分布式文件系統的文件清理方法，其特征在于，確定清理文件的時間條件的步驟，包括：
4.根據權利要求3所述的分布式文件系統的文件清理方法，其特征在于，
5.根據權利要求1所述的分布式文件系統的文件清理方法，其特征在于，根據滿足所述時間條件的匯總文件中的目...
【專利技術屬性】
技術研發人員：黃群，董俊峰，強群力，劉超千，趙彤，沈村敬，
申請(專利權)人：網聯清算有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。