【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及分布式數(shù)據(jù)采集領(lǐng)域，尤其是一種保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法及裝置。
技術(shù)介紹
1、在分布式系統(tǒng)架構(gòu)中，維護數(shù)據(jù)一致性是確保系統(tǒng)可靠運行的關(guān)鍵要素，直接關(guān)聯(lián)著用戶對系統(tǒng)的信心。數(shù)據(jù)一致性機制保障即便在網(wǎng)絡(luò)中斷或節(jié)點故障等極端條件下，系統(tǒng)仍能維持各節(jié)點間數(shù)據(jù)的準確無誤與完整無缺。然而，這一目標的實現(xiàn)面臨著事務(wù)處理、狀態(tài)一致性、分區(qū)容錯等多重挑戰(zhàn)，尤其是在分布式環(huán)境下的復(fù)雜性顯著增加。
技術(shù)實現(xiàn)思路
1、為了強化分布式數(shù)據(jù)采集過程中的一致性，本專利技術(shù)提供一種保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法及裝置，旨在即使面對高度不確定性的故障場景，也能在分布式環(huán)境中確保數(shù)據(jù)提交的準確性和完整性，特別適用于那些要求極高可靠性和強一致性保證的大型數(shù)據(jù)處理系統(tǒng)。
2、為設(shè)計上述目的，本專利技術(shù)采用下述技術(shù)方案：
3、在本專利技術(shù)一實施例中，提出了一種保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法，該方法包括：
4、seacrabsink接口，作為seacrabsink框架的核心入口，定義了目標數(shù)據(jù)寫入器、目標數(shù)據(jù)提交器和目標數(shù)據(jù)聚合提交器的創(chuàng)建方法，負責sink組件的全生命周期管理，包括初始化、組件構(gòu)建及序列化處理；
5、目標數(shù)據(jù)寫入器接口，承載數(shù)據(jù)寫入的核心邏輯，具備寫入、預(yù)提交和快照狀態(tài)管理方法，用于單個數(shù)據(jù)元素的寫入、提交信息的準備及狀態(tài)快照的周期性保存；
6、目標數(shù)據(jù)提交器接口，負責提交流程，其數(shù)據(jù)提交方法接收提交信息并嘗試將其傳
7、目標數(shù)據(jù)聚合提交器接口，作為目標數(shù)據(jù)提交器接口的高級版，引入數(shù)據(jù)整合方法，將多個提交信息整合為單一聚合信息再行提交。
8、進一步地，目標數(shù)據(jù)寫入器接口的預(yù)提交方法構(gòu)成了二階段提交的第一階段，目標數(shù)據(jù)提交器接口或目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法構(gòu)成了二階段提交的第二階段；
9、第一階段：協(xié)調(diào)者節(jié)點向所有參與者節(jié)點發(fā)送提交準備請求，并等待它們的回復(fù)；在接到提交準備請求之后，每一個參與者節(jié)點各自執(zhí)行與分布式事務(wù)有關(guān)的數(shù)據(jù)更新，并將操作結(jié)果保存在本地的日志中；如果參與者節(jié)點執(zhí)行成功，則向協(xié)調(diào)者節(jié)點返回“完成”消息；當協(xié)調(diào)者節(jié)點接到所有參與者節(jié)點的返回消息時，整個分布式事務(wù)進入第二階段；如果有一個參與者節(jié)點返回失敗，則協(xié)調(diào)者節(jié)點向所有參與者節(jié)點發(fā)送回滾事務(wù)請求，即分布式事務(wù)執(zhí)行失敗；
10、第二階段：協(xié)調(diào)者節(jié)點根據(jù)參與者節(jié)點的回復(fù)情況，決定是否提交事務(wù)；如果協(xié)調(diào)者節(jié)點接收到的都是同意提交，則向所有參與者節(jié)點發(fā)送提交請求，并等待參與者節(jié)點的確認；參與者節(jié)點接收到提交請求后，將操作結(jié)果更新到數(shù)據(jù)庫，并向協(xié)調(diào)者節(jié)點發(fā)送確認消息；協(xié)調(diào)者節(jié)點接收到所有參與者節(jié)點的確認消息后，最終決定提交或回滾事務(wù)，并將決策通知給所有參與者節(jié)點。
11、進一步地，目標數(shù)據(jù)提交器和目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法均為冪等性的。
12、在本專利技術(shù)一實施例中，還提出了一種保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的裝置，該裝置包括：
13、seacrabsink接口定義模塊，定義目標數(shù)據(jù)寫入器、目標數(shù)據(jù)提交器和目標數(shù)據(jù)聚合提交器的創(chuàng)建方法，負責sink組件的全生命周期管理，包括初始化、組件構(gòu)建及序列化處理；
14、目標數(shù)據(jù)寫入器接口模塊，承載數(shù)據(jù)寫入的核心邏輯，具備寫入、預(yù)提交和快照狀態(tài)管理方法，用于單個數(shù)據(jù)元素的寫入、提交信息的準備及狀態(tài)快照的周期性保存；
15、目標數(shù)據(jù)提交器接口模塊，負責提交流程，其數(shù)據(jù)提交方法接收提交信息并嘗試將其傳遞至外部數(shù)據(jù)接收端，同時配備數(shù)據(jù)提交取消方法，以應(yīng)對提交失敗時的回滾需求；
16、目標數(shù)據(jù)聚合提交器接口模塊，作為目標數(shù)據(jù)提交器接口的高級版，引入數(shù)據(jù)整合方法，將多個提交信息整合為單一聚合信息再行提交。
17、進一步地，目標數(shù)據(jù)寫入器接口的預(yù)提交方法構(gòu)成了二階段提交的第一階段，目標數(shù)據(jù)提交器接口或目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法構(gòu)成了二階段提交的第二階段；
18、第一階段：協(xié)調(diào)者節(jié)點向所有參與者節(jié)點發(fā)送提交準備請求，并等待它們的回復(fù)；在接到提交準備請求之后，每一個參與者節(jié)點各自執(zhí)行與分布式事務(wù)有關(guān)的數(shù)據(jù)更新，并將操作結(jié)果保存在本地的日志中；如果參與者節(jié)點執(zhí)行成功，則向協(xié)調(diào)者節(jié)點返回“完成”消息；當協(xié)調(diào)者節(jié)點接到所有參與者節(jié)點的返回消息時，整個分布式事務(wù)進入第二階段；如果有一個參與者節(jié)點返回失敗，則協(xié)調(diào)者節(jié)點向所有參與者節(jié)點發(fā)送回滾事務(wù)請求，即分布式事務(wù)執(zhí)行失敗；
19、第二階段：協(xié)調(diào)者節(jié)點根據(jù)參與者節(jié)點的回復(fù)情況，決定是否提交事務(wù)；如果協(xié)調(diào)者節(jié)點接收到的都是同意提交，則向所有參與者節(jié)點發(fā)送提交請求，并等待參與者節(jié)點的確認；參與者節(jié)點接收到提交請求后，將操作結(jié)果更新到數(shù)據(jù)庫，并向協(xié)調(diào)者節(jié)點發(fā)送確認消息；協(xié)調(diào)者節(jié)點接收到所有參與者節(jié)點的確認消息后，最終決定提交或回滾事務(wù)，并將決策通知給所有參與者節(jié)點。
20、進一步地，目標數(shù)據(jù)提交器和目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法均為冪等性的。
21、在本專利技術(shù)一實施例中，還提出了一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器執(zhí)行計算機程序時設(shè)計前述保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法。
22、在本專利技術(shù)一實施例中，還提出了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有執(zhí)行保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法的計算機程序。
23、有益效果：
24、1、本專利技術(shù)通過確保數(shù)據(jù)的精確一次語義，這些組件有助于減少數(shù)據(jù)重復(fù)或丟失的風險，確保數(shù)據(jù)的一致性和準確性。
25、2、本專利技術(shù)通過優(yōu)化數(shù)據(jù)寫入和提交的過程，提高了數(shù)據(jù)處理的速度和效率，尤其是對于大規(guī)模數(shù)據(jù)流處理任務(wù)而言。
26、3、本專利技術(shù)通過集成化的管理和提交策略，簡化了數(shù)據(jù)管理流程，降低了開發(fā)和維護成本。
27、4、本專利技術(shù)通過支持事務(wù)性的提交或回滾操作，這些組件增強了系統(tǒng)的健壯性，即使在故障發(fā)生時也能保持數(shù)據(jù)的一致性。
28、5、本專利技術(shù)針對特定數(shù)據(jù)庫(如clickhouse)的優(yōu)化，滿足了高性能數(shù)據(jù)處理的需求，特別是在需要快速查詢響應(yīng)的情況下。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法，其特征在于，該方法包括：
2.根據(jù)權(quán)利要求1所述的保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法，其特征在于，所述目標數(shù)據(jù)寫入器接口的預(yù)提交方法構(gòu)成了二階段提交的第一階段，目標數(shù)據(jù)提交器接口或目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法構(gòu)成了二階段提交的第二階段；
3.根據(jù)權(quán)利要求1所述的保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法，其特征在于，所述目標數(shù)據(jù)提交器和目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法均為冪等性的。
4.一種保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的裝置，其特征在于，該裝置包括：
5.根據(jù)權(quán)利要求4所述的保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的裝置，其特征在于，所述目標數(shù)據(jù)寫入器接口的預(yù)提交方法構(gòu)成了二階段提交的第一階段，目標數(shù)據(jù)提交器接口或目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法構(gòu)成了二階段提交的第二階段；
6.根據(jù)權(quán)利要求4所述的保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的裝置，其特征在于，所述目標數(shù)據(jù)提交器和目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法均為冪等性的。
7.一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上
8.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有執(zhí)行權(quán)利要求1-3任一項所述方法的計算機程序。
...【技術(shù)特征摘要】
1.一種保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法，其特征在于，該方法包括：
2.根據(jù)權(quán)利要求1所述的保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法，其特征在于，所述目標數(shù)據(jù)寫入器接口的預(yù)提交方法構(gòu)成了二階段提交的第一階段，目標數(shù)據(jù)提交器接口或目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法構(gòu)成了二階段提交的第二階段；
3.根據(jù)權(quán)利要求1所述的保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的方法，其特征在于，所述目標數(shù)據(jù)提交器和目標數(shù)據(jù)聚合提交器接口的數(shù)據(jù)提交方法均為冪等性的。
4.一種保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的裝置，其特征在于，該裝置包括：
5.根據(jù)權(quán)利要求4所述的保障數(shù)據(jù)采集分布式數(shù)據(jù)一致性的裝置，其特...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：毛春陽，
申請(專利權(quán))人：中盈優(yōu)創(chuàng)資訊科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。