【技術實現步驟摘要】
本申請涉及計算機，特別涉及一種文件遷移方法、裝置、設備和存儲介質。
技術介紹
1、目前，數據庫內的所有數據均等的共享操作系統資源，這會導致業務系統層的熱數據和冷數據在操作系統層無法做出區分，熱數據的存儲和訪問與冷數據的存儲和訪問有著幾乎相同的延遲。相關技術中，通過在業務系統層增加額外的緩存系統來解決熱數據的讀寫延遲問題。但是這樣的方案會導致物理內存用量的增加，并且，一旦熱數據的數據量遠超物理內存大小，那緩存系統本身也會頻繁觸發操作系統內部的內存頁與磁盤數據的交換操作，這將導致緩存效果明顯下降，甚至緩存本身也會帶來額外的系統處理延遲。
技術實現思路
1、本申請提供了一種文件遷移方法、裝置、設備和存儲介質，可以減少熱數據的讀寫延遲。該技術方案如下：
2、第一方面，提供了一種文件遷移方法，該方法應用于存儲層系統中的第一設備，該存儲層系統包括第一設備、一個或多個第二設備和多個存儲模塊，該多個存儲模塊中任意一個存儲模塊位于第一設備或第二設備，該多個存儲模塊按照讀寫性能由高到低的順序排序，該方法包括：
3、第一設備根據接收到的數據存儲請求，生成新文件，將該新文件存儲至第一存儲模塊，第一存儲模塊是該多個存儲模塊中排序在第一個的存儲模塊；
4、第一設備根據接收到的數據查詢請求，更新該多個存儲模塊中一個存儲模塊的第一對應關系和第二對應關系，第一對應關系包括該存儲模塊中每個文件的命中次數，第二對應關系包括該存儲模塊中命中次數處于多個預設命中次數區間中的各個預設命中次
5、第一設備每隔預設時長，根據第二存儲模塊的第一對應關系和第二對應關系確定第二存儲模塊的文件遷移列表，第二存儲模塊是該多個存儲模塊中除排序在最后一個的存儲模塊之外的其他任意一個存儲模塊，該文件遷移列表用于指示第二存儲模塊需要向第三存儲模塊遷移的文件，第三存儲模塊是該多個存儲模塊中排序在第二存儲模塊的下一個的存儲模塊；
6、第一設備通過第二存儲模塊所在的設備和第三存儲模塊所在的設備，將該文件遷移列表指示的文件從第二存儲模塊遷移到第三存儲模塊。
7、在本申請中，該多個存儲模塊按照讀寫性能由高到低的順序排序。第一設備可以不斷將該多個存儲模塊中各個存儲模塊中的文件向下一個存儲模塊遷移，以保證第一存儲模塊一直有容量存儲新文件。并且，由于第一設備是根據各個存儲模塊的文件遷移列表來進行文件遷移，而一個存儲模塊的文件遷移列表指示的文件在該存儲模塊中屬于冷數據，所以通過文件遷移可以實現冷熱數據分離，使熱數據盡量留在讀寫性能較高的存儲模塊，使冷數據盡量遷移到讀寫性能較低的存儲模塊。如此，可以在實現文件分布式存儲的同時，提高熱數據的讀寫效率，減少熱數據的讀寫延遲。
8、第二方面，提供了一種文件遷移裝置，該裝置應用于存儲層系統中的第一設備，該存儲層系統包括第一設備、一個或多個第二設備和多個存儲模塊，該多個存儲模塊中任意一個存儲模塊位于第一設備或第二設備，該多個存儲模塊按照讀寫性能由高到低的順序排序，該裝置包括：
9、生成模塊，用于根據接收到的數據存儲請求，生成新文件，將該新文件存儲至第一存儲模塊，第一存儲模塊是該多個存儲模塊中排序在第一個的存儲模塊；
10、更新模塊，用于根據接收到的數據查詢請求，更新該多個存儲模塊中一個存儲模塊的第一對應關系和第二對應關系，第一對應關系包括該存儲模塊中每個文件的命中次數，第二對應關系包括該存儲模塊中命中次數處于多個預設命中次數區間中的各個預設命中次數區間內的文件數量；
11、確定模塊，用于每隔預設時長，根據第二存儲模塊的第一對應關系和第二對應關系確定該第二存儲模塊的文件遷移列表，第二存儲模塊是該多個存儲模塊中除排序在最后一個的存儲模塊之外的其他任意一個存儲模塊，該文件遷移列表用于指示第二存儲模塊需要向第三存儲模塊遷移的文件，第三存儲模塊是該多個存儲模塊中排序在第二存儲模塊的下一個的存儲模塊；
12、遷移模塊，用于通過第二存儲模塊所在的設備和該第三存儲模塊所在的設備，將該文件遷移列表指示的文件從第二存儲模塊遷移到第三存儲模塊。
13、第三方面，提供了一種計算機設備，所述計算機設備包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現上述第一方面所述的文件遷移方法。
14、第四方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現上述第一方面所述的文件遷移方法。
15、第五方面，提供了一種包含指令的計算機程序產品，當其在計算機上運行時，使得計算機執行上述第一方面所述的文件遷移方法的步驟。
16、可以理解的是，上述第二方面、第三方面、第四方面、第五方面的有益效果可以參見上述第一方面中的相關描述，在此不再贅述。
本文檔來自技高網...【技術保護點】
1.一種文件遷移方法，其特征在于，所述方法應用于存儲層系統中的第一設備，所述存儲層系統包括所述第一設備、一個或多個第二設備和多個存儲模塊，所述多個存儲模塊中任意一個存儲模塊位于所述第一設備或所述第二設備，所述多個存儲模塊按照讀寫性能由高到低的順序排序，所述方法包括：
2.如權利要求1所述的方法，其特征在于，所述數據存儲請求攜帶待存儲的鍵值對，所述鍵值對中的key值全局有序，所述第一設備根據接收到的數據存儲請求，生成新文件，包括：
3.如權利要求2所述的方法，其特征在于，所述第一設備將所述新文件存儲至第一存儲模塊之后，還包括：
4.如權利要求1所述的方法，其特征在于，所述第一設備根據接收到的數據查詢請求，更新所述多個存儲模塊中一個存儲模塊的第一對應關系和第二對應關系，包括：
5.如權利要求4所述的方法，其特征在于，所述第一對應關系包括文件標識列表和命中次數列表，所述文件標識列表中的元素數量與所述命中次數列表中的元素數量相同，所述文件標識列表與所述命中次數列表中相同角標位置處的元素對應。
6.如權利要求4所述的方法，其特征在
7.如權利要求1至6任一所述的方法，其特征在于，所述第一設備根據第二存儲模塊的所述第一對應關系和所述第二對應關系確定所述第二存儲模塊的文件遷移列表，包括：
8.如權利要求7所述的方法，其特征在于，所述第一設備根據所述第二存儲模塊的所述第一對應關系和所述第二對應關系確定第一文件數量和第二文件數量之后，還包括：
9.如權利要求8所述的方法，其特征在于，所述方法還包括：
10.如權利要求9所述的方法，其特征在于，所述第一設備根據接收到的所述數據查詢請求更新所述多個存儲模塊中一個存儲模塊的第三對應關系，包括：
11.一種文件遷移裝置，其特征在于，所述裝置應用于存儲層系統中的第一設備，所述存儲層系統包括所述第一設備、一個或多個第二設備和多個存儲模塊，所述多個存儲模塊中任意一個存儲模塊位于所述第一設備或所述第二設備，所述多個存儲模塊按照讀寫性能由高到低的順序排序，所述裝置包括：
12.一種計算機設備，其特征在于，所述計算機設備包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時實現如權利要求1至10任一項所述的方法。
13.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至10任一項所述的方法。
...【技術特征摘要】
1.一種文件遷移方法，其特征在于，所述方法應用于存儲層系統中的第一設備，所述存儲層系統包括所述第一設備、一個或多個第二設備和多個存儲模塊，所述多個存儲模塊中任意一個存儲模塊位于所述第一設備或所述第二設備，所述多個存儲模塊按照讀寫性能由高到低的順序排序，所述方法包括：
2.如權利要求1所述的方法，其特征在于，所述數據存儲請求攜帶待存儲的鍵值對，所述鍵值對中的key值全局有序，所述第一設備根據接收到的數據存儲請求，生成新文件，包括：
3.如權利要求2所述的方法，其特征在于，所述第一設備將所述新文件存儲至第一存儲模塊之后，還包括：
4.如權利要求1所述的方法，其特征在于，所述第一設備根據接收到的數據查詢請求，更新所述多個存儲模塊中一個存儲模塊的第一對應關系和第二對應關系，包括：
5.如權利要求4所述的方法，其特征在于，所述第一對應關系包括文件標識列表和命中次數列表，所述文件標識列表中的元素數量與所述命中次數列表中的元素數量相同，所述文件標識列表與所述命中次數列表中相同角標位置處的元素對應。
6.如權利要求4所述的方法，其特征在于，所述第一設備根據所述第一命中次數和所述第二命中次數更新所述目標存儲模塊的所述第二對應關系，包括：
7.如權利要求1至6任一所述的方法，其特征在于...
【專利技術屬性】
技術研發人員：馬曉敏，郭威，詹士瀟，黃方蕾，尚璇，
申請(專利權)人：杭州趣鏈科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。