【技術實現步驟摘要】
本申請涉及大數據，尤其涉及一種數據處理方法、裝置、設備及介質。
技術介紹
1、當前，金融風控領域廣泛采用基于知識圖譜的技術以提升風險評估的精準度與效率。傳統上，利用apache?spark微批處理模式將數據導入圖數據庫成為主流做法，但此方法面臨顯著挑戰。
2、首先，微批處理固有的延遲性限制了其在高實時性需求場景下的應用，如市場波動監測與欺詐即時預警，因批次間隔導致數據處理的時效性大打折扣。其次，資源利用效率低下，為應對微批處理而預留的資源在低負載時造成浪費，且資源分配僵化，難以動態適應負載變化，影響系統整體性能。因此，亟需一種可以提升數據導入圖數據庫的實時性的方法。
技術實現思路
1、本申請實施例的目的在于提出一種數據處理方法、裝置、設備及介質，以解決現有的數據導入圖數據庫的低實時性問題。
2、為了解決上述技術問題，本申請實施例提供一種數據處理方法，采用了如下的技術方案：
3、獲取初始數據；將初始數據發送到預先構建的實時隊列系統中，實時隊列系統用于對接收到的數據進行緩存和調度；根據預設的優先級策略和預設的調度策略，對實時隊列系統中的初始數據進行實時處理，得到候選數據；采用預設的圖數據模型，對候選數據進行解析，得到初始數據對應的圖結構數據；將圖結構數據導入圖數據庫。
4、進一步的，將初始數據發送到預先構建的實時隊列系統中的步驟，具體包括：
5、根據預設的格式轉換協議，將初始數據的數據格式轉換為標準化的數據交換格式，得到優化后
6、進一步的，根據預設的優先級策略和預設的調度策略，對實時隊列系統中的初始數據進行實時處理，得到候選數據的步驟，具體包括：
7、根據預設的優先級策略，確定目標實時隊列中目標初始數據的優先級；獲取目標實時隊列當前的數據處理狀態；基于預設的調度策略、優先級以及數據處理狀態，對目標實時隊列中目標初始數據進行實時處理，得到處理結果；將處理結果作為候選數據輸出，并更新實時隊列系統中的目標實時隊列的狀態。
8、進一步的，采用預設的圖數據模型，對候選數據進行解析，得到初始數據對應的圖結構數據的步驟，具體包括：
9、提取候選數據的節點信息、邊信息以及屬性關鍵信息；采用預設的圖數據模型，對節點信息、邊信息以及屬性關鍵信息進行重組，生成初始數據對應的圖結構數據。
10、進一步的，將圖結構數據導入圖數據庫的步驟，具體包括：
11、對圖結構數據進行解析，得到圖結構數據的節點類型信息和邊類型信息；獲取圖數據庫的操作類型信息；基于節點類型信息和操作類型信息，生成圖結構數據對應的第一操作語句，基于邊類型信息和操作類型信息，生成圖結構數據對應的第二操作語句；將第一操作語句和第二操作語句，判定為圖結構數據對應的圖數據庫操作語句；通過圖數據庫的接口執行圖數據庫操作語句，以將圖結構數據實時導入圖數據庫。
12、進一步的，在將圖結構數據導入圖數據庫的步驟之后，還包括：
13、若圖結構數據成功導入至圖數據庫，則將圖結構數據從實時隊列系統中移除；若圖結構數據未成功導入至圖數據庫，則將圖結構數據重新放入實時隊列系統中，并向用戶終端發送提示信息。
14、進一步的，在將圖結構數據導入圖數據庫的步驟之后，還包括：
15、計算圖數據庫中圖結構數據與知識圖譜中已有數據之間的相似度；基于相似度，建立圖數據庫中圖結構數據與知識圖譜中已有數據之間的關聯關系；基于關聯關系，將圖數據庫中圖結構數據的實體信息、屬性信息和關系信息融合到知識圖譜的相應位置，更新知識圖譜。
16、為了解決上述技術問題，本申請實施例還提供一種數據處理裝置，采用了如下的技術方案：
17、獲取模塊，用于獲取初始數據；
18、發送模塊，用于將初始數據發送到預先構建的實時隊列系統中，實時隊列系統用于對接收到的數據進行緩存和調度；
19、處理模塊，用于根據預設的優先級策略和預設的調度策略，對實時隊列系統中的初始數據進行實時處理，得到候選數據；
20、解析模塊，用于采用預設的圖數據模型，對候選數據進行解析，得到初始數據對應的圖結構數據；
21、導入模塊，用于將圖結構數據導入圖數據庫。
22、為了解決上述技術問題，本申請實施例還提供一種計算機設備，包括存儲器和處理器，存儲器中存儲有計算機可讀指令，處理器執行計算機可讀指令時實現如上述數據處理方法的步驟。
23、為了解決上述技術問題，本申請實施例還提供一種計算機可讀存儲介質，計算機可讀存儲介質存儲有計算機可讀指令，計算機可讀指令可被至少一個處理器執行，以使至少一個處理器執行如上述數據處理方法的步驟。
24、與現有技術相比，本申請實施例主要有以下有益效果：實時隊列系統能夠即時緩存和調度接收到的初始數據，并根據預設的優先級和調度策略進行實時處理。這種方式顯著降低了數據處理的延遲，使得對于實時性要求極高的金融風控應用場景更為適用。通過實時分析，可以更快地響應市場變化和潛在風險，提高風險防控的時效性和準確性。實時隊列系統能夠根據當前的數據處理負載動態調整資源分配，避免了微批處理中可能出現的資源浪費或負載不均問題。這種靈活的資源管理方式使得系統能夠在不同工作負載下保持高效運行，提高了資源利用的整體效率。實時隊列系統中的數據處理過程更為連續和可控，減少了批次間數據處理的不連續性所帶來的數據一致性問題。同時，通過預設的優先級和調度策略，可以更好地管理并發操作和數據依賴關系，降低數據不一致或丟失的風險。這對于確保金融風控決策的準確性和可靠性至關重要。
本文檔來自技高網...【技術保護點】
1.一種數據處理方法，其特征在于，包括下述步驟：
2.根據權利要求1所述的方法，其特征在于，所述將所述初始數據發送到預先構建的實時隊列系統中的步驟，具體包括：
3.根據權利要求2所述的方法，其特征在于，所述根據預設的優先級策略和預設的調度策略，對所述實時隊列系統中的所述初始數據進行實時處理，得到候選數據的步驟，具體包括：
4.根據權利要求1所述的方法，其特征在于，所述采用預設的圖數據模型，對所述候選數據進行解析，得到所述初始數據對應的圖結構數據的步驟，具體包括：
5.根據權利要求1所述的方法，其特征在于，所述將所述圖結構數據導入圖數據庫的步驟，具體包括：
6.根據權利要求1所述的方法，其特征在于，在所述將所述圖結構數據導入圖數據庫的步驟之后，還包括：
7.根據權利要求1所述的方法，其特征在于，在所述將所述圖結構數據導入圖數據庫的步驟之后，還包括：
8.一種數據處理裝置，其特征在于，包括：
9.一種計算機設備，其特征在于，包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，所述處理器執
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機可讀指令，所述計算機可讀指令被處理器執行時實現如權利要求1至7中任一項所述數據處理方法的步驟。
...【技術特征摘要】
1.一種數據處理方法，其特征在于，包括下述步驟：
2.根據權利要求1所述的方法，其特征在于，所述將所述初始數據發送到預先構建的實時隊列系統中的步驟，具體包括：
3.根據權利要求2所述的方法，其特征在于，所述根據預設的優先級策略和預設的調度策略，對所述實時隊列系統中的所述初始數據進行實時處理，得到候選數據的步驟，具體包括：
4.根據權利要求1所述的方法，其特征在于，所述采用預設的圖數據模型，對所述候選數據進行解析，得到所述初始數據對應的圖結構數據的步驟，具體包括：
5.根據權利要求1所述的方法，其特征在于，所述將所述圖結構數據導入圖數據庫的步驟，具體包括：
6.根...
【專利技術屬性】
技術研發人員：曾俊揚，李鳳菊，
申請(專利權)人：平安國際融資租賃有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。