【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及大數(shù)據(jù)和金融科技領(lǐng)域，尤其涉及一種數(shù)據(jù)同步與查詢(xún)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、在金融領(lǐng)域的大數(shù)據(jù)處理背景下，企業(yè)常常需要同時(shí)處理離線批量數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)，以滿(mǎn)足不同的業(yè)務(wù)需求。比如，在客戶(hù)交易數(shù)據(jù)分析、風(fēng)險(xiǎn)控制和反欺詐監(jiān)控等業(yè)務(wù)場(chǎng)景中，金融機(jī)構(gòu)需要處理大量歷史數(shù)據(jù)(如交易記錄、賬戶(hù)信息等)，同時(shí)，也需要快速響應(yīng)實(shí)時(shí)交易、市場(chǎng)行情和風(fēng)險(xiǎn)事件。為此，通常會(huì)采用兩種數(shù)據(jù)處理方式——離線數(shù)據(jù)處理與實(shí)時(shí)數(shù)據(jù)處理。
2、在金融領(lǐng)域的實(shí)踐中，離線數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)處理通常是分離的，這導(dǎo)致了一系列問(wèn)題：
3、離線數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)采用不同的系統(tǒng)或架構(gòu)處理，容易導(dǎo)致數(shù)據(jù)不一致。例如，在實(shí)時(shí)數(shù)據(jù)更新后，離線數(shù)據(jù)未及時(shí)更新，可能影響后續(xù)數(shù)據(jù)分析的準(zhǔn)確性。
4、離線數(shù)據(jù)處理周期較長(zhǎng)，通常需要按批次進(jìn)行數(shù)據(jù)加載和計(jì)算，難以支持實(shí)時(shí)業(yè)務(wù)場(chǎng)景中的快速響應(yīng)需求。對(duì)于需要立即反饋的金融業(yè)務(wù)，如風(fēng)險(xiǎn)控制，離線處理方式顯得不足。
5、由于離線和實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)各自獨(dú)立，導(dǎo)致系統(tǒng)架構(gòu)較為復(fù)雜，維護(hù)和管理成本較高。金融機(jī)構(gòu)需要投入大量資源來(lái)維持這兩種處理架構(gòu)的運(yùn)行，且需要解決不同系統(tǒng)之間的協(xié)調(diào)問(wèn)題。
6、由于離線和實(shí)時(shí)數(shù)據(jù)的處理流程分離，難以實(shí)現(xiàn)對(duì)全量數(shù)據(jù)的統(tǒng)一分析。在金融領(lǐng)域，決策和風(fēng)險(xiǎn)評(píng)估往往需要綜合考慮歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)，現(xiàn)有技術(shù)的分離處理方式難以滿(mǎn)足這一需求。
7、因此，現(xiàn)有的金融大數(shù)據(jù)處理方案在面對(duì)離線與實(shí)時(shí)數(shù)據(jù)融合需求時(shí)，存在數(shù)據(jù)不一致、時(shí)效性差、系統(tǒng)復(fù)雜度高等問(wèn)題。這
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)的主要目的在于提供一種數(shù)據(jù)同步與查詢(xún)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)中離線數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)處理分離，導(dǎo)致數(shù)據(jù)不一致性且處理時(shí)效性差，無(wú)法滿(mǎn)足業(yè)務(wù)中統(tǒng)一高效處理全量數(shù)據(jù)的需求的技術(shù)問(wèn)題。
2、為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)提供一種數(shù)據(jù)同步與查詢(xún)方法，包括：
3、接收業(yè)務(wù)操作請(qǐng)求；
4、根據(jù)所述業(yè)務(wù)操作請(qǐng)求執(zhí)行數(shù)據(jù)更新，生成包含主鍵id、關(guān)聯(lián)字段、更新時(shí)間、需要進(jìn)行索引的字段信息和/或操作類(lèi)型的更新數(shù)據(jù)；
5、將所述更新數(shù)據(jù)封裝成消息，通過(guò)消息隊(duì)列將所述消息發(fā)送至搜索服務(wù)模塊；
6、所述搜索服務(wù)模塊接收并解析所述消息，從所述消息中提取更新數(shù)據(jù)，并根據(jù)所述更新數(shù)據(jù)生成實(shí)時(shí)數(shù)據(jù)；
7、通過(guò)搜索引擎將所述實(shí)時(shí)數(shù)據(jù)存儲(chǔ)至當(dāng)前實(shí)時(shí)索引中；
8、從大數(shù)據(jù)倉(cāng)庫(kù)中獲取離線數(shù)據(jù)，將所述離線數(shù)據(jù)存儲(chǔ)至具有日期標(biāo)識(shí)的離線數(shù)據(jù)索引中；
9、判斷是否啟用所述離線數(shù)據(jù)索引作為主索引，若啟用所述離線數(shù)據(jù)索引作為主索引，則進(jìn)行索引切換操作；
10、在索引切換過(guò)程中，將所述實(shí)時(shí)數(shù)據(jù)寫(xiě)入所述當(dāng)前實(shí)時(shí)索引和所述離線數(shù)據(jù)索引；
11、將索引切換操作前已經(jīng)存儲(chǔ)至當(dāng)前實(shí)時(shí)索引中的實(shí)時(shí)數(shù)據(jù)復(fù)制到所述離線數(shù)據(jù)索引中，使所述離線數(shù)據(jù)索引成為所述主索引；
12、基于所述主索引，執(zhí)行查詢(xún)操作，獲取并返回查詢(xún)結(jié)果。
13、進(jìn)一步地，為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)提供一種數(shù)據(jù)同步與查詢(xún)裝置，包括：
14、業(yè)務(wù)請(qǐng)求接收模塊，用于接收業(yè)務(wù)操作請(qǐng)求；
15、業(yè)務(wù)處理模塊，用于根據(jù)所述業(yè)務(wù)操作請(qǐng)求執(zhí)行數(shù)據(jù)更新，生成包含主鍵id、關(guān)聯(lián)字段、更新時(shí)間、需要進(jìn)行索引的字段信息和/或操作類(lèi)型的更新數(shù)據(jù)；
16、消息隊(duì)列模塊，用于將所述更新數(shù)據(jù)封裝成消息，通過(guò)消息隊(duì)列將所述消息發(fā)送至搜索服務(wù)模塊；
17、搜索服務(wù)模塊，用于所述搜索服務(wù)模塊接收并解析所述消息，從所述消息中提取更新數(shù)據(jù)，并根據(jù)所述更新數(shù)據(jù)生成實(shí)時(shí)數(shù)據(jù)；
18、實(shí)時(shí)索引模塊，用于通過(guò)搜索引擎將所述實(shí)時(shí)數(shù)據(jù)存儲(chǔ)至當(dāng)前實(shí)時(shí)索引中；
19、離線索引模塊，用于從大數(shù)據(jù)倉(cāng)庫(kù)中獲取離線數(shù)據(jù)，將所述離線數(shù)據(jù)存儲(chǔ)至具有日期標(biāo)識(shí)的離線數(shù)據(jù)索引中；
20、主索引模塊，用于判斷是否啟用所述離線數(shù)據(jù)索引作為主索引，若啟用所述離線數(shù)據(jù)索引作為主索引，則進(jìn)行索引切換操作；
21、索引同步模塊，用于在索引切換過(guò)程中，將所述實(shí)時(shí)數(shù)據(jù)寫(xiě)入所述當(dāng)前實(shí)時(shí)索引和所述離線數(shù)據(jù)索引；
22、數(shù)據(jù)遷移模塊，用于將索引切換操作前已經(jīng)存儲(chǔ)至當(dāng)前實(shí)時(shí)索引中的實(shí)時(shí)數(shù)據(jù)復(fù)制到所述離線數(shù)據(jù)索引中，使所述離線數(shù)據(jù)索引成為所述主索引；
23、查詢(xún)模塊，用于基于所述主索引，執(zhí)行查詢(xún)操作，獲取并返回查詢(xún)結(jié)果。
24、進(jìn)一步地，為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)還提供一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器、處理器以及存儲(chǔ)至所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的數(shù)據(jù)同步與查詢(xún)程序，所述數(shù)據(jù)同步與查詢(xún)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述所述的數(shù)據(jù)同步與查詢(xún)方法的步驟。
25、進(jìn)一步地，為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有數(shù)據(jù)同步與查詢(xún)程序，所述數(shù)據(jù)同步與查詢(xún)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的數(shù)據(jù)同步與查詢(xún)方法的步驟。
26、有益效果：本專(zhuān)利技術(shù)涉及大數(shù)據(jù)
和金融科技領(lǐng)域，公開(kāi)了一種數(shù)據(jù)同步與查詢(xún)方法，通過(guò)接收業(yè)務(wù)操作請(qǐng)求并執(zhí)行數(shù)據(jù)更新，生成包含主鍵id、關(guān)聯(lián)字段和更新時(shí)間的更新數(shù)據(jù)，將更新數(shù)據(jù)封裝成消息，通過(guò)消息隊(duì)列傳遞至搜索服務(wù)模塊，解析消息并生成實(shí)時(shí)數(shù)據(jù)；實(shí)時(shí)數(shù)據(jù)通過(guò)搜索引擎存儲(chǔ)至實(shí)時(shí)索引，離線數(shù)據(jù)從大數(shù)據(jù)倉(cāng)庫(kù)獲取，并存儲(chǔ)至帶有日期標(biāo)識(shí)的離線索引，判斷是否啟用離線索引作為主索引，并在索引切換過(guò)程中同時(shí)寫(xiě)入實(shí)時(shí)和離線數(shù)據(jù)；完成索引切換后，執(zhí)行基于主索引的查詢(xún)操作，并返回結(jié)果。本專(zhuān)利技術(shù)通過(guò)結(jié)合離線數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的統(tǒng)一處理，避免了數(shù)據(jù)分離帶來(lái)的不一致性，確保了數(shù)據(jù)處理的高效性和時(shí)效性，實(shí)現(xiàn)了在業(yè)務(wù)場(chǎng)景中對(duì)全量數(shù)據(jù)的同步更新、索引切換與查詢(xún)操作的高效支持，提高了系統(tǒng)響應(yīng)速度，降低了系統(tǒng)復(fù)雜度，保障了數(shù)據(jù)的實(shí)時(shí)性與完整性。
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)同步與查詢(xún)方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，所述搜索服務(wù)模塊接收并解析所述消息，從所述消息中提取更新數(shù)據(jù)，并根據(jù)所述更新數(shù)據(jù)生成實(shí)時(shí)數(shù)據(jù)，包括：
3.如權(quán)利要求1所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，所述搜索服務(wù)模塊接收并解析所述消息，從所述消息中提取更新數(shù)據(jù)，并根據(jù)所述更新數(shù)據(jù)生成實(shí)時(shí)數(shù)據(jù)之后，還包括：
4.如權(quán)利要求1中所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，從大數(shù)據(jù)倉(cāng)庫(kù)中獲取離線數(shù)據(jù)，將所述離線數(shù)據(jù)存儲(chǔ)至具有日期標(biāo)識(shí)的離線數(shù)據(jù)索引中，包括：
5.如權(quán)利要求1所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，在索引切換過(guò)程中，將所述實(shí)時(shí)數(shù)據(jù)寫(xiě)入所述當(dāng)前實(shí)時(shí)索引和所述離線數(shù)據(jù)索引，包括：
6.如權(quán)利要求1所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，判斷是否啟用所述離線數(shù)據(jù)索引作為主索引，包括：
7.如權(quán)利要求1所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，基于所述主索引，執(zhí)行查詢(xún)操作，獲取并返回查詢(xún)結(jié)果，包括：
8.一種數(shù)據(jù)同步與查詢(xún)裝置，其特征在于，所述數(shù)
9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器、處理器以及存儲(chǔ)至所述存儲(chǔ)器上并可以在所述處理器上運(yùn)行的數(shù)據(jù)同步與查詢(xún)程序，所述數(shù)據(jù)同步與查詢(xún)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的數(shù)據(jù)同步與查詢(xún)方法的步驟。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有數(shù)據(jù)同步與查詢(xún)程序，所述數(shù)據(jù)同步與查詢(xún)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的數(shù)據(jù)同步與查詢(xún)方法的步驟。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)同步與查詢(xún)方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，所述搜索服務(wù)模塊接收并解析所述消息，從所述消息中提取更新數(shù)據(jù)，并根據(jù)所述更新數(shù)據(jù)生成實(shí)時(shí)數(shù)據(jù)，包括：
3.如權(quán)利要求1所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，所述搜索服務(wù)模塊接收并解析所述消息，從所述消息中提取更新數(shù)據(jù)，并根據(jù)所述更新數(shù)據(jù)生成實(shí)時(shí)數(shù)據(jù)之后，還包括：
4.如權(quán)利要求1中所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，從大數(shù)據(jù)倉(cāng)庫(kù)中獲取離線數(shù)據(jù)，將所述離線數(shù)據(jù)存儲(chǔ)至具有日期標(biāo)識(shí)的離線數(shù)據(jù)索引中，包括：
5.如權(quán)利要求1所述的數(shù)據(jù)同步與查詢(xún)方法，其特征在于，在索引切換過(guò)程中，將所述實(shí)時(shí)數(shù)據(jù)寫(xiě)入所述當(dāng)前實(shí)時(shí)索引和所述離線數(shù)據(jù)索引，包括：
6.如權(quán)利要求1所...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：魏勇，楊丹丹，
申請(qǐng)(專(zhuān)利權(quán))人：平安銀行股份有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。