【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及文件同步技術(shù)，尤其涉及一種非結(jié)構(gòu)化文件并行同步方法及系統(tǒng)。
技術(shù)介紹
1、非結(jié)構(gòu)化文件作為一種重要的數(shù)據(jù)形式，廣泛存在于各類信息系統(tǒng)中，包括文本、圖像、音視頻等。然而，非結(jié)構(gòu)化文件的數(shù)據(jù)規(guī)模龐大、內(nèi)容復(fù)雜且結(jié)構(gòu)多樣化，傳統(tǒng)的傳輸與存儲方式在數(shù)據(jù)處理效率和一致性保障方面存在諸多不足。在多節(jié)點(diǎn)分布式場景下，文件傳輸往往面臨帶寬占用高、數(shù)據(jù)完整性驗證復(fù)雜以及傳輸順序紊亂等問題。這些問題不僅影響傳輸效率，還可能導(dǎo)致文件重組困難，從而降低系統(tǒng)的穩(wěn)定性和可靠性。
2、現(xiàn)有技術(shù)中，針對非結(jié)構(gòu)化文件的分塊傳輸方法大多基于固定規(guī)則或簡單特征，難以動態(tài)適應(yīng)文件內(nèi)容的多樣性與復(fù)雜性。同時，數(shù)據(jù)分塊后的索引信息往往采用單層設(shè)計，無法兼顧塊級別與文件級別的協(xié)同管理，導(dǎo)致在傳輸和驗證過程中效率低下。此外，在文件分布式存儲與重組過程中，缺乏有效的優(yōu)先級動態(tài)分配與驗證機(jī)制，使得文件完整性與一致性難以得到全面保障。
3、針對以上問題，迫切需要一種智能化、動態(tài)化的非結(jié)構(gòu)化文件并行同步方法，能夠結(jié)合文件內(nèi)容特征和網(wǎng)絡(luò)傳輸狀態(tài)，實(shí)現(xiàn)高效分塊、優(yōu)先級分配、完整性驗證以及文件重組，確保非結(jié)構(gòu)化文件在分布式場景中的高效傳輸和精準(zhǔn)同步。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)實(shí)施例提供一種非結(jié)構(gòu)化文件并行同步方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。
2、本專利技術(shù)實(shí)施例的第一方面，
3、提供一種非結(jié)構(gòu)化文件并行同步方法，包括：
4、獲取源端數(shù)據(jù)庫中的目標(biāo)非結(jié)構(gòu)化文件，
5、從區(qū)塊鏈網(wǎng)絡(luò)中的各個存儲節(jié)點(diǎn)讀取數(shù)據(jù)存儲包，基于所述雙層級聯(lián)索引編號構(gòu)建數(shù)據(jù)傳輸優(yōu)先級模型，所述數(shù)據(jù)傳輸優(yōu)先級模型綜合評估數(shù)據(jù)子塊的數(shù)據(jù)重要程度、網(wǎng)絡(luò)傳輸狀態(tài)以及目標(biāo)端數(shù)據(jù)庫的負(fù)載情況，動態(tài)分配傳輸優(yōu)先級和網(wǎng)絡(luò)資源配額，根據(jù)所述傳輸優(yōu)先級通過自適應(yīng)并行傳輸通道將數(shù)據(jù)子塊傳輸至目標(biāo)端數(shù)據(jù)庫，對完成傳輸?shù)臄?shù)據(jù)子塊，采用異步驗證機(jī)制基于數(shù)據(jù)子塊的熵值特征計算得到驗證哈希值，將所述驗證哈希值與數(shù)據(jù)存儲包中的數(shù)據(jù)哈希值進(jìn)行比對，當(dāng)比對結(jié)果一致時為對應(yīng)的數(shù)據(jù)子塊生成數(shù)據(jù)驗證標(biāo)識；
6、獲取所有帶有數(shù)據(jù)驗證標(biāo)識的數(shù)據(jù)子塊及其對應(yīng)的雙層級聯(lián)索引編號，將數(shù)據(jù)子塊輸入預(yù)訓(xùn)練的文件重組模型，所述文件重組模型基于雙層級聯(lián)索引編號的文件級別信息構(gòu)建數(shù)據(jù)塊關(guān)聯(lián)圖譜，根據(jù)所述數(shù)據(jù)塊關(guān)聯(lián)圖譜計算數(shù)據(jù)子塊之間的組合權(quán)重，基于組合權(quán)重對數(shù)據(jù)子塊進(jìn)行分層級排序，并利用數(shù)據(jù)子塊的內(nèi)容特征進(jìn)行邊界特征匹配和順序優(yōu)化，生成重組序列，根據(jù)所述重組序列將數(shù)據(jù)子塊拼接重組得到同步目標(biāo)文件，生成包含重組序列信息、文件完整性校驗信息和同步狀態(tài)信息的區(qū)塊鏈確認(rèn)信息，將所述同步目標(biāo)文件存儲至目標(biāo)端數(shù)據(jù)庫，并將所區(qū)塊鏈確認(rèn)信息提交至區(qū)塊鏈網(wǎng)絡(luò)，通過所區(qū)塊鏈網(wǎng)絡(luò)的共識機(jī)制在所有存儲節(jié)點(diǎn)中同步更新區(qū)塊鏈確認(rèn)信息，完成所述目標(biāo)非結(jié)構(gòu)化文件的并行同步。
7、在一種可選的實(shí)施例中，
8、獲取源端數(shù)據(jù)庫中的目標(biāo)非結(jié)構(gòu)化文件，通過預(yù)先訓(xùn)練好的文件分塊模型進(jìn)行智能分塊處理，所述文件分塊模型根據(jù)目標(biāo)非結(jié)構(gòu)化文件的內(nèi)容特征、數(shù)據(jù)分布特征以及文件結(jié)構(gòu)特征自適應(yīng)確定最優(yōu)分塊大小和分塊數(shù)量，生成多個數(shù)據(jù)子塊包括：
9、從源端數(shù)據(jù)庫獲取目標(biāo)非結(jié)構(gòu)化文件，對所述目標(biāo)非結(jié)構(gòu)化文件進(jìn)行雙向語義掃描，提取文本內(nèi)容特征，所述文本內(nèi)容特征包括語義特征和上下文關(guān)聯(lián)特征，基于所述語義特征和上下文關(guān)聯(lián)特征計算相鄰文本內(nèi)容的語義關(guān)聯(lián)度，將語義關(guān)聯(lián)度低于預(yù)設(shè)關(guān)聯(lián)度閾值的位置作為第一候選分塊點(diǎn)；
10、對所述目標(biāo)非結(jié)構(gòu)化文件進(jìn)行數(shù)據(jù)分布特征提取，按照預(yù)設(shè)窗口大小進(jìn)行滑動窗口掃描，計算每個窗口內(nèi)數(shù)據(jù)的局部敏感哈希值，基于所述局部敏感哈希值識別數(shù)據(jù)重復(fù)模式和密度分布特征，將所述數(shù)據(jù)重復(fù)模式發(fā)生突變且所述密度分布特征出現(xiàn)變化的位置作為第二候選分塊點(diǎn)；
11、分析所述目標(biāo)非結(jié)構(gòu)化文件的結(jié)構(gòu)特征，提取文件的層次結(jié)構(gòu)特征、格式特征和元數(shù)據(jù)特征，基于所述層次結(jié)構(gòu)特征、格式特征和元數(shù)據(jù)特征識別文件的結(jié)構(gòu)分隔位置，將所述結(jié)構(gòu)分隔位置作為第三候選分塊點(diǎn)；
12、將所述第一候選分塊點(diǎn)、第二候選分塊點(diǎn)和第三候選分塊點(diǎn)合并形成候選分塊點(diǎn)集合，對所述候選分塊點(diǎn)集合中的每個候選分塊點(diǎn)計算評估特征向量，所述評估特征向量包括基于語義關(guān)聯(lián)度的語義完整性特征、基于數(shù)據(jù)重復(fù)模式和密度分布特征的數(shù)據(jù)均衡性特征，以及基于結(jié)構(gòu)特征的結(jié)構(gòu)連貫性特征；
13、將所述候選分塊點(diǎn)集合及其對應(yīng)的評估特征向量輸入預(yù)訓(xùn)練的文件分塊模型，所述文件分塊模型根據(jù)評估特征向量計算每個候選分塊點(diǎn)的優(yōu)化權(quán)重，基于所述優(yōu)化權(quán)重對候選分塊點(diǎn)集合進(jìn)行篩選和組合，自適應(yīng)確定最優(yōu)分塊大小和分塊數(shù)量，生成初始分塊方案；
14、將所述初始分塊方案輸入動態(tài)規(guī)劃模型，構(gòu)建以語義完整性特征、數(shù)據(jù)均衡性特征和結(jié)構(gòu)連貫性特征為優(yōu)化目標(biāo)的代價函數(shù)，將代價函數(shù)輸入動態(tài)規(guī)劃模型，通過所述動態(tài)規(guī)劃模型迭代計算最優(yōu)狀態(tài)轉(zhuǎn)移序列，得到最終分塊方案，根據(jù)所述最終分塊方案確定最終分塊邊界位置，將目標(biāo)非結(jié)構(gòu)化文件按照最終分塊邊界位置進(jìn)行切分，生成多個數(shù)據(jù)子塊。
15、在一種可選的實(shí)施例中，
16、為每個數(shù)據(jù)子塊生成包含塊級別信息和文件級別信息的雙層級聯(lián)索引編號，基于數(shù)據(jù)子塊的熵值特征和雙層級聯(lián)索引編號計算得到數(shù)據(jù)哈希值，將所述數(shù)據(jù)子塊、雙層級聯(lián)索引編號和數(shù)據(jù)哈希值組合生成數(shù)據(jù)存儲包，分布存儲至區(qū)塊鏈網(wǎng)絡(luò)中的多個存儲節(jié)點(diǎn)包括：
17、提取各個數(shù)據(jù)子塊所屬文件的文件名、創(chuàng)建時間和文件大小構(gòu)成元數(shù)據(jù)信息集合，將所述元數(shù)據(jù)信息集合序列化得到元數(shù)據(jù)字節(jié)流，對所述元數(shù)據(jù)字節(jié)流進(jìn)行哈希計算得到文件標(biāo)識符，同時獲取數(shù)據(jù)子塊在原始文件中的位置序號，將所述位置序號轉(zhuǎn)換為二進(jìn)制編碼得到塊序號編碼，對所述塊序號編碼填充前導(dǎo)零得到標(biāo)準(zhǔn)化塊序號，將所述文件標(biāo)識符與所述標(biāo)準(zhǔn)化塊序號通過分隔符連接生成雙層級聯(lián)索引編號；
18、將數(shù)據(jù)子塊按照預(yù)設(shè)大小劃分為多個數(shù)據(jù)片段，計算每個數(shù)據(jù)片段中各字節(jié)值出現(xiàn)次數(shù)得到字節(jié)分布特征，基于所述字節(jié)分布特征計算得到每個數(shù)據(jù)片段的熵值，將所有數(shù)據(jù)片段的熵值構(gòu)成熵值特征向量；
19、將所述雙層級聯(lián)索引編號轉(zhuǎn)換為索引字節(jié)序列，對所述熵值特征向量進(jìn)行加權(quán)求和運(yùn)算得到特征融合值，將所述索引字節(jié)序列與所述特征融合值拼接生成混合特征序列，對所述混合特征序列進(jìn)行哈希計算得到數(shù)據(jù)指紋哈希值；
20、將所述數(shù)據(jù)子塊、雙層級聯(lián)索引編號、數(shù)據(jù)指紋哈希值封裝為數(shù)據(jù)存儲包，基于所述數(shù)據(jù)指紋哈希值在區(qū)塊鏈網(wǎng)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種非結(jié)構(gòu)化文件并行同步方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取源端數(shù)據(jù)庫中的目標(biāo)非結(jié)構(gòu)化文件，通過預(yù)先訓(xùn)練好的文件分塊模型進(jìn)行智能分塊處理，所述文件分塊模型根據(jù)目標(biāo)非結(jié)構(gòu)化文件的內(nèi)容特征、數(shù)據(jù)分布特征以及文件結(jié)構(gòu)特征自適應(yīng)確定最優(yōu)分塊大小和分塊數(shù)量，生成多個數(shù)據(jù)子塊包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，為每個數(shù)據(jù)子塊生成包含塊級別信息和文件級別信息的雙層級聯(lián)索引編號，基于數(shù)據(jù)子塊的熵值特征和雙層級聯(lián)索引編號計算得到數(shù)據(jù)哈希值，將所述數(shù)據(jù)子塊、雙層級聯(lián)索引編號和數(shù)據(jù)哈希值組合生成數(shù)據(jù)存儲包，分布存儲至區(qū)塊鏈網(wǎng)絡(luò)中的多個存儲節(jié)點(diǎn)包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，從區(qū)塊鏈網(wǎng)絡(luò)中的各個存儲節(jié)點(diǎn)讀取數(shù)據(jù)存儲包，基于所述雙層級聯(lián)索引編號構(gòu)建數(shù)據(jù)傳輸優(yōu)先級模型，所述數(shù)據(jù)傳輸優(yōu)先級模型綜合評估數(shù)據(jù)子塊的數(shù)據(jù)重要程度、網(wǎng)絡(luò)傳輸狀態(tài)以及目標(biāo)端數(shù)據(jù)庫的負(fù)載情況，動態(tài)分配傳輸優(yōu)先級和網(wǎng)絡(luò)資源配額，根據(jù)所述傳輸優(yōu)先級通過自適應(yīng)并行傳輸通道將數(shù)據(jù)子塊傳輸至目標(biāo)端數(shù)據(jù)庫包括：
5.根據(jù)權(quán)利要求1所
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述重組序列將數(shù)據(jù)子塊拼接重組得到同步目標(biāo)文件，生成包含重組序列信息、文件完整性校驗信息和同步狀態(tài)信息的區(qū)塊鏈確認(rèn)信息，將所述同步目標(biāo)文件存儲至目標(biāo)端數(shù)據(jù)庫，并將所區(qū)塊鏈確認(rèn)信息提交至區(qū)塊鏈網(wǎng)絡(luò)，通過所區(qū)塊鏈網(wǎng)絡(luò)的共識機(jī)制在所有存儲節(jié)點(diǎn)中同步更新區(qū)塊鏈確認(rèn)信息，完成所述目標(biāo)非結(jié)構(gòu)化文件的并行同步包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，基于一致性哈希算法將所述區(qū)塊鏈確認(rèn)信息映射到區(qū)塊鏈網(wǎng)絡(luò)的確認(rèn)節(jié)點(diǎn)環(huán)上，選取映射位置順時針方向上的多個節(jié)點(diǎn)作為確認(rèn)節(jié)點(diǎn)組，在確認(rèn)節(jié)點(diǎn)組內(nèi)采用兩階段提交協(xié)議完成預(yù)確認(rèn)包括：
8.一種非結(jié)構(gòu)化文件并行同步系統(tǒng)，用于實(shí)現(xiàn)前述權(quán)利要求1-7中任一項所述的方法，其特征在于，包括：
9.一種電子設(shè)備，其特征在于，包括：
10.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序指令，其特征在于，所述計算機(jī)程序指令被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1至7中任意一項所述的方法。
...【技術(shù)特征摘要】
1.一種非結(jié)構(gòu)化文件并行同步方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取源端數(shù)據(jù)庫中的目標(biāo)非結(jié)構(gòu)化文件，通過預(yù)先訓(xùn)練好的文件分塊模型進(jìn)行智能分塊處理，所述文件分塊模型根據(jù)目標(biāo)非結(jié)構(gòu)化文件的內(nèi)容特征、數(shù)據(jù)分布特征以及文件結(jié)構(gòu)特征自適應(yīng)確定最優(yōu)分塊大小和分塊數(shù)量，生成多個數(shù)據(jù)子塊包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，為每個數(shù)據(jù)子塊生成包含塊級別信息和文件級別信息的雙層級聯(lián)索引編號，基于數(shù)據(jù)子塊的熵值特征和雙層級聯(lián)索引編號計算得到數(shù)據(jù)哈希值，將所述數(shù)據(jù)子塊、雙層級聯(lián)索引編號和數(shù)據(jù)哈希值組合生成數(shù)據(jù)存儲包，分布存儲至區(qū)塊鏈網(wǎng)絡(luò)中的多個存儲節(jié)點(diǎn)包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，從區(qū)塊鏈網(wǎng)絡(luò)中的各個存儲節(jié)點(diǎn)讀取數(shù)據(jù)存儲包，基于所述雙層級聯(lián)索引編號構(gòu)建數(shù)據(jù)傳輸優(yōu)先級模型，所述數(shù)據(jù)傳輸優(yōu)先級模型綜合評估數(shù)據(jù)子塊的數(shù)據(jù)重要程度、網(wǎng)絡(luò)傳輸狀態(tài)以及目標(biāo)端數(shù)據(jù)庫的負(fù)載情況，動態(tài)分配傳輸優(yōu)先級和網(wǎng)絡(luò)資源配額，根據(jù)所述傳輸優(yōu)先級通過自適應(yīng)并行傳輸通道將數(shù)據(jù)子塊傳輸至目標(biāo)端數(shù)據(jù)庫包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取所有帶有數(shù)據(jù)驗證標(biāo)識的數(shù)據(jù)子塊及其對應(yīng)的雙層級聯(lián)索引編號，將數(shù)據(jù)子塊輸入預(yù)訓(xùn)練的文件重組模型，所述文件...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：高經(jīng)郡，高海玲，李永科，
申請(專利權(quán))人：北京科杰科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。