【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)處理，具體為分布式存儲(chǔ)資源調(diào)度建模方法。
技術(shù)介紹
1、多域任務(wù)行動(dòng)過(guò)程中，任務(wù)行動(dòng)端采用分布式存儲(chǔ)通過(guò)網(wǎng)絡(luò)將各類存儲(chǔ)設(shè)備qi進(jìn)行連接，將數(shù)據(jù)匯聚形成數(shù)據(jù)池，假定某次任務(wù)行動(dòng)的機(jī)動(dòng)邊緣存儲(chǔ)設(shè)備集合為ω＝{q1,q2,q3,....qn}，n為存儲(chǔ)設(shè)備的總數(shù)量，對(duì)某個(gè)存儲(chǔ)設(shè)備qi而言，存儲(chǔ)設(shè)備吞吐數(shù)據(jù)的速度有兩個(gè)，分別為順序讀寫速度ui和隨機(jī)讀寫速度vi，僅從數(shù)據(jù)存儲(chǔ)的角度區(qū)分文件的類型可以將文件分類為“大文件”和“小文件”，“大文件”d^采用順序讀寫速度ui，“小文件”d*采用隨機(jī)讀寫速度vi，判斷文件的類型不是依據(jù)文件的容量大小，而是根據(jù)數(shù)據(jù)文件有無(wú)內(nèi)部邏輯。
2、在現(xiàn)代任務(wù)行動(dòng)環(huán)境中，數(shù)據(jù)的實(shí)時(shí)、高效、安全存儲(chǔ)對(duì)于任務(wù)行動(dòng)決策的制定和執(zhí)行至關(guān)重要。隨著任務(wù)行動(dòng)信息化程度的不斷提升，任務(wù)行動(dòng)產(chǎn)生的數(shù)據(jù)量急劇增加，且數(shù)據(jù)類型多樣化，包括大文件(如高清視頻、大型圖像等)和小文件(如傳感器數(shù)據(jù)、文本信息等)。這些數(shù)據(jù)對(duì)存儲(chǔ)資源的需求各不相同，大文件需要高速、大容量的存儲(chǔ)設(shè)備來(lái)保障其完整性和可用性，而小文件則更注重存儲(chǔ)的靈活性和訪問(wèn)速度。
3、然而，傳統(tǒng)的集中式存儲(chǔ)方案在任務(wù)行動(dòng)環(huán)境下存在諸多局限性，如單點(diǎn)故障風(fēng)險(xiǎn)高、擴(kuò)展性差、難以適應(yīng)動(dòng)態(tài)變化的任務(wù)行動(dòng)需求等。因此，分布式存儲(chǔ)系統(tǒng)因其高可用性、可擴(kuò)展性和容錯(cuò)性成為任務(wù)行動(dòng)機(jī)動(dòng)伴隨保障的理想選擇。分布式存儲(chǔ)系統(tǒng)通過(guò)在網(wǎng)絡(luò)中部署多個(gè)存儲(chǔ)節(jié)點(diǎn)，將數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，從而實(shí)現(xiàn)數(shù)據(jù)的冗余備份和負(fù)載均衡。然而，分布式存儲(chǔ)系統(tǒng)也面臨著資源調(diào)度和管理的
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供分布式存儲(chǔ)資源調(diào)度建模方法，以解決上述
技術(shù)介紹
中提出的問(wèn)題。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：分布式存儲(chǔ)資源調(diào)度建模方法，所述方法包括以下步驟：
3、數(shù)據(jù)分類：將待存儲(chǔ)數(shù)據(jù)分為大文件數(shù)據(jù)和小文件數(shù)據(jù)；
4、設(shè)備定義：定義數(shù)據(jù)采集和傳輸設(shè)備集合以及存儲(chǔ)設(shè)備集合，存儲(chǔ)設(shè)備具有基于數(shù)據(jù)類型的存儲(chǔ)速度函數(shù)；
5、分配矩陣構(gòu)建：構(gòu)建表示數(shù)據(jù)在存儲(chǔ)設(shè)備間分配情況的矩陣；
6、目標(biāo)函數(shù)設(shè)定：定義綜合考慮存儲(chǔ)時(shí)間和數(shù)據(jù)價(jià)值的目標(biāo)函數(shù)；
7、約束條件設(shè)定：為存儲(chǔ)設(shè)備和數(shù)據(jù)總量設(shè)置存儲(chǔ)限制；
8、求解優(yōu)化：采用數(shù)學(xué)規(guī)劃方法求解最優(yōu)的數(shù)據(jù)分配策略。
9、優(yōu)選的，所述存儲(chǔ)設(shè)備集合中的每個(gè)設(shè)備具有獨(dú)立的存儲(chǔ)速度和容量特性。
10、優(yōu)選的，所述分配矩陣包括大文件分配矩陣和小文件分配矩陣，分別詳細(xì)記錄每種類型文件在各存儲(chǔ)設(shè)備上的存儲(chǔ)情況。
11、優(yōu)選的，所述目標(biāo)函數(shù)通過(guò)加權(quán)方式平衡存儲(chǔ)時(shí)間和數(shù)據(jù)價(jià)值的重要性，權(quán)重系數(shù)可調(diào)整以適應(yīng)不同任務(wù)行動(dòng)需求。
12、優(yōu)選的，所述約束條件包括存儲(chǔ)設(shè)備的最小和最大存儲(chǔ)容量限制，以及整個(gè)任務(wù)行動(dòng)所需存儲(chǔ)數(shù)據(jù)的總量限制。
13、優(yōu)選的，還包括對(duì)存儲(chǔ)設(shè)備性能的實(shí)時(shí)監(jiān)控，以動(dòng)態(tài)調(diào)整數(shù)據(jù)分配策略。
14、優(yōu)選的，所述數(shù)據(jù)價(jià)值系數(shù)函數(shù)根據(jù)數(shù)據(jù)的時(shí)效性、重要性和敏感度因素動(dòng)態(tài)調(diào)整。
15、優(yōu)選的，還包括一個(gè)故障恢復(fù)機(jī)制，當(dāng)某個(gè)存儲(chǔ)設(shè)備發(fā)生故障時(shí)，自動(dòng)將存儲(chǔ)在該設(shè)備上的數(shù)據(jù)遷移到其他可用設(shè)備上。
16、優(yōu)選的，還包括一個(gè)用戶接口，允許用戶根據(jù)實(shí)際需求調(diào)整模型參數(shù)，如權(quán)重系數(shù)、價(jià)值系數(shù)函數(shù)。
17、優(yōu)選的，所述方法被集成到一個(gè)分布式存儲(chǔ)管理系統(tǒng)中，該系統(tǒng)自動(dòng)執(zhí)行數(shù)據(jù)存儲(chǔ)、分配、監(jiān)控和優(yōu)化任務(wù)，以提高數(shù)據(jù)存儲(chǔ)效率和數(shù)據(jù)價(jià)值利用率。
18、與現(xiàn)有技術(shù)相比，本專利技術(shù)的有益效果是：
19、本專利技術(shù)提出的分布式存儲(chǔ)資源調(diào)度建模方法，通過(guò)優(yōu)化數(shù)據(jù)在存儲(chǔ)設(shè)備間的分配策略，減少數(shù)據(jù)遷移和復(fù)制的開銷，提高存儲(chǔ)資源的利用率和整體存儲(chǔ)效率；通過(guò)引入數(shù)據(jù)價(jià)值系數(shù)函數(shù)，根據(jù)數(shù)據(jù)的時(shí)效性、重要性和敏感度等因素動(dòng)態(tài)調(diào)整其存儲(chǔ)優(yōu)先級(jí)，確保關(guān)鍵數(shù)據(jù)得到及時(shí)、有效的存儲(chǔ)和保護(hù)，從而提升數(shù)據(jù)的整體價(jià)值；通過(guò)分布式存儲(chǔ)和冗余備份機(jī)制，降低單點(diǎn)故障對(duì)系統(tǒng)的影響，提高系統(tǒng)的可靠性和穩(wěn)定性。同時(shí)，實(shí)時(shí)監(jiān)控系統(tǒng)性能和數(shù)據(jù)存儲(chǔ)情況，及時(shí)發(fā)現(xiàn)并處理潛在問(wèn)題，進(jìn)一步增強(qiáng)系統(tǒng)的魯棒性。
20、支持根據(jù)任務(wù)行動(dòng)環(huán)境的變化和任務(wù)行動(dòng)需求的變化，動(dòng)態(tài)調(diào)整模型參數(shù)和調(diào)度策略，以適應(yīng)不同的存儲(chǔ)需求和優(yōu)化目標(biāo)。這種靈活性使得該方法在復(fù)雜多變的任務(wù)行動(dòng)環(huán)境中具有更強(qiáng)的適應(yīng)性和實(shí)用性；通過(guò)提供用戶接口，允許用戶根據(jù)實(shí)際需求調(diào)整模型參數(shù)和查看系統(tǒng)運(yùn)行狀態(tài)，提升用戶的參與度和滿意度。同時(shí)，自動(dòng)化的數(shù)據(jù)存儲(chǔ)、分配、監(jiān)控和優(yōu)化任務(wù)減少了人工干預(yù)和錯(cuò)誤的可能性，提高了系統(tǒng)的易用性和可靠性。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述存儲(chǔ)設(shè)備集合中的每個(gè)設(shè)備具有獨(dú)立的存儲(chǔ)速度和容量特性。
3.根據(jù)權(quán)利要求2所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述分配矩陣包括大文件分配矩陣和小文件分配矩陣，分別詳細(xì)記錄每種類型文件在各存儲(chǔ)設(shè)備上的存儲(chǔ)情況。
4.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述目標(biāo)函數(shù)通過(guò)加權(quán)方式平衡存儲(chǔ)時(shí)間和數(shù)據(jù)價(jià)值的重要性，權(quán)重系數(shù)可調(diào)整以適應(yīng)不同任務(wù)行動(dòng)需求。
5.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述約束條件包括存儲(chǔ)設(shè)備的最小和最大存儲(chǔ)容量限制，以及整個(gè)任務(wù)行動(dòng)所需存儲(chǔ)數(shù)據(jù)的總量限制。
6.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：還包括對(duì)存儲(chǔ)設(shè)備性能的實(shí)時(shí)監(jiān)控，以動(dòng)態(tài)調(diào)整數(shù)據(jù)分配策略。
7.根據(jù)權(quán)利要求4所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述數(shù)據(jù)價(jià)值系數(shù)函數(shù)根據(jù)數(shù)據(jù)的時(shí)效性、重要性和敏感度因素動(dòng)態(tài)調(diào)整
8.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：還包括一個(gè)故障恢復(fù)機(jī)制，當(dāng)某個(gè)存儲(chǔ)設(shè)備發(fā)生故障時(shí)，自動(dòng)將存儲(chǔ)在該設(shè)備上的數(shù)據(jù)遷移到其他可用設(shè)備上。
9.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：還包括一個(gè)用戶接口，允許用戶根據(jù)實(shí)際需求調(diào)整模型參數(shù)，如權(quán)重系數(shù)、價(jià)值系數(shù)函數(shù)。
10.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述方法被集成到一個(gè)分布式存儲(chǔ)管理系統(tǒng)中，該系統(tǒng)自動(dòng)執(zhí)行數(shù)據(jù)存儲(chǔ)、分配、監(jiān)控和優(yōu)化任務(wù)，以提高數(shù)據(jù)存儲(chǔ)效率和數(shù)據(jù)價(jià)值利用率。
...【技術(shù)特征摘要】
1.分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述存儲(chǔ)設(shè)備集合中的每個(gè)設(shè)備具有獨(dú)立的存儲(chǔ)速度和容量特性。
3.根據(jù)權(quán)利要求2所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述分配矩陣包括大文件分配矩陣和小文件分配矩陣，分別詳細(xì)記錄每種類型文件在各存儲(chǔ)設(shè)備上的存儲(chǔ)情況。
4.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述目標(biāo)函數(shù)通過(guò)加權(quán)方式平衡存儲(chǔ)時(shí)間和數(shù)據(jù)價(jià)值的重要性，權(quán)重系數(shù)可調(diào)整以適應(yīng)不同任務(wù)行動(dòng)需求。
5.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資源調(diào)度建模方法，其特征在于：所述約束條件包括存儲(chǔ)設(shè)備的最小和最大存儲(chǔ)容量限制，以及整個(gè)任務(wù)行動(dòng)所需存儲(chǔ)數(shù)據(jù)的總量限制。
6.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)資...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曹江，秦潛聰，吳冠霖，貢巖，王雙雙，孔德照，李朋，
申請(qǐng)(專利權(quán))人：中國(guó)人民解放軍軍事科學(xué)院戰(zhàn)爭(zhēng)研究院，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。