【技術實現步驟摘要】
本專利技術涉及信息，尤其涉及一種文件合并方法、裝置、電子設備及存儲介質。
技術介紹
1、在分布式文件系統處理大數據時經常會遇到小文件問題，而小文件問題會影響存儲效率和計算性能，因此，在監控到小文件達到一定數量后，需要啟動合并任務。
2、相關技術中，文件合并方法通常使用預訓練神經網絡模型來判斷文件夾是否需要合并，然后對需要合并文件夾中的文件執行合并，但是，在執行合并任務時，設定的并發啟動合并任務的文件夾數量與確定的需要合并文件夾的數量保持一致，在合并的過程中可能出現文件夾合并失敗的情況，無法動態調整合并數量，降低文件夾合并的成功率和效率的問題。
技術實現思路
1、本專利技術提供一種文件合并方法、裝置、電子設備及存儲介質，用以解決相關技術中當文件夾合并失敗時，無法動態調整合并數量，從而降低文件夾合并的成功率和效率的問題。
2、本專利技術提供一種文件合并方法，包括如下步驟：
3、獲取當前時刻文件系統中至少一個文件夾各自對應的第一相關特征；
4、基于各文件夾對應的第一相關特征，從至少一個文件夾中確定至少一個第一待合并文件夾；
5、利用文件合并調度器和初始執行數量，對各第一待合并文件夾中的文件進行初始合并，確定合并結果；其中，初始執行數量是并發啟動第一待合并文件夾執行合并任務的數量；
6、基于合并結果，不斷調整初始執行數量，得到目標執行數量；
7、利用文件合并調度器和目標執行數量，對第二待合并文件夾中的文件進
8、根據本專利技術提供的一種文件合并方法，基于合并結果，不斷調整初始執行數量，得到目標執行數量，包括：在合并結果中存在第一待合并文件夾合并失敗的情況下，將合并結果中第一待合并文件夾合并成功的數量確定為目標執行數量；在合并結果中不存在第一待合并文件夾合并失敗的情況下，利用文件合并調度器對初始執行數量進行數量調增，得到目標執行數量。
9、根據本專利技術提供的一種文件合并方法，基于各文件夾對應的第一相關特征，從至少一個文件夾中確定至少一個第一待合并文件夾，包括：將各文件夾對應的第一相關特征輸入至預訓練計算模型，得到各文件夾對應的合并概率；其中，預訓練計算模型是基于樣本文件夾的相關特征和樣本文件夾的合并概率訓練得到的；基于合并概率，從至少一個文件夾中確定至少一個第一待合并文件夾。
10、根據本專利技術提供的一種文件合并方法，在利用文件合并調度器和目標執行數量，對第二待合并文件夾中的文件進行合并之前，方法還包括：在合并結果中存在第一待合并文件夾合并失敗的情況下，將初始合并失敗的第一待合并文件夾作為第二待合并文件夾；在合并結果中不存在第一待合并文件夾合并失敗的情況下，將下一時刻的待合并文件夾確定為第二待合并文件夾。
11、根據本專利技術提供的一種文件合并方法，下一時刻的待合并文件夾的確定方式包括：獲取下一時刻文件系統中至少一個文件夾各自對應的第二相關特征；其中，當前時刻與下一時刻之間的間隔為預設時間段；基于第二相關特征，確定下一時刻的待合并文件夾。
12、根據本專利技術提供的一種文件合并方法，預訓練計算模型的訓練過程包括：獲取樣本文件夾的相關特征和樣本文件夾的合并概率；將樣本文件夾的相關特征輸入至待訓練計算模型，得到預測樣本合并概率；基于預測樣本合并概率與樣本文件夾的合并概率，確定損失信息；基于損失信息，不斷優化待訓練計算模型，得到預訓練計算模型。
13、根據本專利技術提供的一種文件合并方法，基于損失信息，不斷優化待訓練計算模型，得到預訓練計算模型，包括：獲取歷史待合并文件夾和歷史待合并文件夾對應的歷史合并結果；歷史待合并文件夾是已經執行過合并任務的文件夾；基于損失信息，歷史待合并文件夾和歷史合并結果，不斷優化待訓練計算模型，得到預訓練計算模型。
14、本專利技術還提供一種文件合并裝置，包括如下模塊：
15、獲取模塊，用于獲取當前時刻文件系統中至少一個文件夾各自對應的第一相關特征；
16、第一確定模塊，用于基于各文件夾對應的第一相關特征，從至少一個文件夾中確定至少一個第一待合并文件夾；
17、第二確定模塊，用于利用文件合并調度器和初始執行數量，對各第一待合并文件夾中的文件進行初始合并，確定合并結果；其中，初始執行數量是并發啟動待合并文件夾執行合并任務的數量；
18、調整模塊，用于基于合并結果，不斷調整初始執行數量，得到目標執行數量；
19、合并模塊，用于利用文件合并調度器和目標執行數量，對第二待合并文件夾中的文件進行合并。
20、本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述文件合并方法。
21、本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述文件合并方法。
22、本專利技術還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述文件合并方法。
23、本專利技術提供的一種文件合并方法、裝置、電子設備及存儲介質，該方法通過獲取當前時刻文件系統中至少一個文件夾各自對應的第一相關特征；基于各文件夾對應的第一相關特征，從至少一個文件夾中確定至少一個第一待合并文件夾；利用文件合并調度器和初始執行數量，對各第一待合并文件夾中的文件進行初始合并，確定合并結果；其中，初始執行數量是并發啟動第一待合并文件夾執行合并任務的數量；基于合并結果，不斷調整初始執行數量，得到目標執行數量；利用文件合并調度器和目標執行數量，對第二待合并文件夾中的文件進行合并。本專利技術的技術方案，首先，通過獲取當前時刻文件系統中各個文件夾對應的第一相關特征，提高第一相關特征的實時性；接著，根據第一相關特征，確定第一待合并文件夾，提高第一待合并文件夾的準確性；然后，利用文件合并調度器和初始執行數量，對第一待合并文件中的文件進行初始合并，得到合并結果，再基于合并結果不斷調整初始執行數量，得到目標執行數量，利用目標執行數量對第二待合并文件夾中的文件夾進行合并。如此，通過合并結果，不斷優化調整執行數量，使得并發執行合并任務的文件夾數量能夠隨時調整，提高了文件夾合并的成功率和效率。
本文檔來自技高網...【技術保護點】
1.一種文件合并方法，其特征在于，包括：
2.根據權利要求1所述的文件合并方法，其特征在于，所述基于所述合并結果，不斷調整所述初始執行數量，得到目標執行數量，包括：
3.根據權利要求1或2所述的文件合并方法，其特征在于，所述基于各所述文件夾對應的第一相關特征，從所述至少一個文件夾中確定至少一個第一待合并文件夾，包括：
4.根據權利要求3所述的方法，其特征在于，所述在所述利用所述文件合并調度器和所述目標執行數量，對第二待合并文件夾中的文件進行合并之前，所述方法還包括：
5.根據權利要求4所述的方法，其特征在于，所述下一時刻的待合并文件夾的確定方式包括：
6.根據權利要求3所述的文件合并方法，其特征在于，所述預訓練計算模型的訓練過程包括：
7.根據權利要求6所述的文件合并方法，其特征在于，基于所述損失信息，不斷優化所述待訓練計算模型，得到所述預訓練計算模型，包括：
8.一種文件合并裝置，其特征在于，裝置包括：
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的
10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述文件合并方法。
...【技術特征摘要】
1.一種文件合并方法，其特征在于，包括：
2.根據權利要求1所述的文件合并方法，其特征在于，所述基于所述合并結果，不斷調整所述初始執行數量，得到目標執行數量，包括：
3.根據權利要求1或2所述的文件合并方法，其特征在于，所述基于各所述文件夾對應的第一相關特征，從所述至少一個文件夾中確定至少一個第一待合并文件夾，包括：
4.根據權利要求3所述的方法，其特征在于，所述在所述利用所述文件合并調度器和所述目標執行數量，對第二待合并文件夾中的文件進行合并之前，所述方法還包括：
5.根據權利要求4所述的方法，其特征在于，所述下一時刻的待合并文件夾的確定方式包括：
6....
【專利技術屬性】
技術研發人員：鄭揚勇，鄒延義，郝博，付大偉，
申請(專利權)人：云粒智慧科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。