本發明專利技術涉及數據管理技術領域，具體提供了一種二級緩存數據處理方法，應用端通過二級緩存客戶端接口對二級緩存服務端的緩存服務進行操作，二級緩存服務端包括Socket管道監聽服務及基于內存和磁盤的緩存服務，監聽指定socket端口并處理對應信號應用至緩存服務中；二級緩存客戶端與二級緩存服務端Socket管道服務通信時，請求服務端操作的二級緩存數據信號接口，將應用端對服務端緩存操作的數據信號發送至所述服務端進行處理。與現有技術相比，本發明專利技術解決了在使用數據庫字典數據作為緩存數據時，能夠基于單次的數據查詢操作對舊緩存進行重置操作，在可接受的延時內有效的將失效的字典緩存數據進行清除和更新。的字典緩存數據進行清除和更新。的字典緩存數據進行清除和更新。
【技術實現步驟摘要】
一種二級緩存數據處理方法、處理器、存儲介質及系統
[0001]本專利技術涉及數據管理
，具體提供一種二級緩存數據處理方法。
技術介紹
[0002]在稅務行業，隨著“金稅三期”、增值稅發票管理系統、個人稅收管理系統等各類信息化系統的開發和使用，以及人們的生活消費與互聯網技術的深度融合，導致稅務系統內部數據、其他部門的第三方數據和互聯網涉稅數據爆發式的增長。為了能夠有效存儲、管理和應用這些稅務大數據，提高稅收治理水平，全國各地稅務系統紛紛引進諸如Hive、Hbase、Kudu等各類大數據組件技術。
[0003]隨著大數據ETL的組件化，許多的ETL功能都已實現讓用戶在界面使用拖拉拽的方式連接配置ETL流程。而數據對接集成框架便是這樣一個功能強大的ETL引擎，并且已實現了眾多的ETL組件需求，大大降低了用戶對數據進行ETL處理的門檻。作為在數據對接集成框架引擎中經常使用的緩存組件，在面臨實際業務場景下，并不能滿足大部分需求，這是由于在緩存數據庫查詢結果時，對于數據庫已刪除的數據無法捕獲，造成已被丟棄的數據的滯留，在進行緩存查詢匹配時，匹配到過時的緩存，影響了業務數據的質量。
[0004]綜上所述，現有技術存在的問題是：
[0005]問題一：現有技術在緩存數據庫查詢結果時，對于數據庫已刪除的數據無法捕獲，造成已被丟棄的數據的滯留，在進行緩存查詢匹配時，匹配到過時的緩存，影響業務數據的質量。
[0006]問題二：現有技術在使用緩存組件時，不能夠及時對失效緩存進行移除，影響其他業務組件的使用。
技術實現思路
[0007]本專利技術是針對上述現有技術的不足，提供一種實用性強的二級緩存數據處理方法。
[0008]本專利技術進一步的技術任務是提供一種處理器、計算機可讀存儲介質及二級緩存數據處理系統。
[0009]本專利技術解決其技術問題所采用的技術方案是：
[0010]一種二級緩存數據處理方法，應用端通過二級緩存客戶端接口對二級緩存服務端的緩存服務進行操作，所述二級緩存服務端包括Socket管道監聽服務及基于內存和磁盤的緩存服務，監聽指定socket端口并處理對應信號應用至緩存服務中；
[0011]所述二級緩存客戶端與二級緩存服務端Socket管道服務通信時，請求服務端操作的二級緩存數據信號接口，將應用端對服務端緩存操作的數據信號發送至所述服務端進行處理。
[0012]進一步的，所述二級緩存服務端監聽的數據信號包括二級緩存putSecondaryCache、重置二級緩存resetSecondaryCache和應用二級緩存
applySecondaryCache的所有二級緩存的請求。
[0013]進一步的，所述應用端對二級緩存服務端進行緩存服務工作時，包括二級緩存、重置二級緩存和應用二級緩存操作。
[0014]進一步的，所述二級緩存數據處理方法在數據對接集成框架中的運行為：
[0015]S1、啟動二級緩存服務端，對存入二級緩存putSecondaryCache、重置二級緩存resetsecondaryCache和應用二級緩存applySecondaryCache數據信號進行監聽；
[0016]S2、啟動二級緩存客戶端服務，接收用戶操作請求，將請求轉成對應信號發送至服務端；
[0017]S3、通過客戶端服務請求發送緩存數據至二級緩存SecondaryCache；
[0018]S4、二級緩存客戶端服務發送SecondaryCache信號至二級緩存服務端；
[0019]S5、二級緩存服務端接收到SecondaryCache信號，將緩存數據存儲到SecondaryCache；
[0020]S6、二級緩存客戶端服務發送applySecondaryCache信號至二級緩存服務端；
[0021]S7、二級緩存服務端接收到applySecondaryCache信號，將SecondaryCache的緩存數據復制到新的緩存Cache對象中，并將新的緩存Cache對象指針指向用于查詢的緩存Cache；
[0022]S8、二級緩存客戶端服務發送resetsecondaryCache信號至二級緩存服務端；
[0023]S9、二級緩存服務端接收到resetsecondaryCache信號，將二級緩存secondaryCache對象的緩存數據清除。
[0024]一種處理器，應用于如權利要求1
?
4任意所述的二級緩存數據處理方法，新增一個處理器，通過當前流入的FlowFile的文件名currentFilename與上一次存入成功的FlowFile文件名oldFilename進行對比，判斷是否為新的數據庫查詢結果。
[0025]進一步的，當舊文件名與當前文件名不一致時，繼續通過FlowFile的isPutFail屬性判斷當前是否為上一批查詢結果存入緩存失敗的FlowFile，如果是，說明新批次的查詢已經插入,但上一批次查詢結果插入失敗的FlowFile仍在嘗試存入,此時將被路由到過時關系；
[0026]如果不是，說明是新批次的查詢結果,可以直接重置二級緩存，并進行存入操作。
[0027]進一步的，當舊文件名與當前文件名一致時，判斷新的查詢結果是否已全部存入二級緩存中，通過判斷FlowFile的fragment.count屬性和成功存入的計數器handled是否相等，然后調用相關方法，將二級緩存應用到正式緩存上。
[0028]一種計算機可讀存儲介質，包括指令，當其在計算機上運行時，使得計算機執行所述的基于數據對接集成框架的二級緩存數據處理方法。
[0029]一種二級緩存數據處理系統，包括服務端、客戶端和客戶端接口，所述服務端用于通過監聽方式，對所有緩存請求進行監聽，還用于存入二級緩存、重置二級緩存和應用二級緩存；
[0030]所述客戶端用于對存入的二級緩存、重置二級緩存和應用二級緩存數據信號進行操作，將接收的用戶操作請求轉成對應信號發送至服務端；
[0031]所述客戶端接口包括三個對應的對二級緩存操作的方法，分別為putSecondaryCache、resetsecondaryCache和applySecondaryCache。
[0032]進一步的，所述服務端，包括三種對于二級緩存的操作，分別是putSecondaryCache、resetSecondaryCache和applySecondaryCache，依次存入二級緩存、重置二級緩存和應用二級緩存于正式緩存。
[0033]本專利技術的一種二級緩存數據處理方法、處理器、存儲介質及系統和現有技術相比，具有以下突出的有益效果：
[0034]本專利技術解決了在使用數據庫字典數據作為緩存數據時，能夠基于單次的數據查詢操作對舊緩存進行重置操作，在可接受的延時內有效的將失效的字典緩存數據進行清除和更新。
[0035]本專利技術可以解決數據對接集成框架自身緩存組件缺陷的方法，從而實現在使用緩本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.一種二級緩存數據處理方法，其特征在于，應用端通過二級緩存客戶端接口對二級緩存服務端的緩存服務進行操作，所述二級緩存服務端包括Socket管道監聽服務及基于內存和磁盤的緩存服務，監聽指定socket端口并處理對應信號應用至緩存服務中；所述二級緩存客戶端與二級緩存服務端Socket管道服務通信時，請求服務端操作的二級緩存數據信號接口，將應用端對服務端緩存操作的數據信號發送至所述服務端進行處理。2.根據權利要求1所述的一種二級緩存數據處理方法，其特征在于，所述二級緩存服務端監聽的數據信號包括二級緩存putSecondaryCache、重置二級緩存resetSecondaryCache和應用二級緩存applySecondaryCache的所有二級緩存的請求。3.根據權利要求2所述的一種二級緩存數據處理方法，其特征在于，所述應用端對二級緩存服務端進行緩存服務工作時，包括二級緩存、重置二級緩存和應用二級緩存操作。4.根據權利要求3所述的一種二級緩存數據處理方法，其特征在于，所述二級緩存數據處理方法在數據對接集成框架中的運行為：S1、啟動二級緩存服務端，對存入二級緩存putSecondaryCache、重置二級緩存resetsecondaryCache和應用二級緩存applySecondaryCache數據信號進行監聽；S2、啟動二級緩存客戶端服務，接收用戶操作請求，將請求轉成對應信號發送至服務端；S3、通過客戶端服務請求發送緩存數據至二級緩存SecondaryCache；S4、二級緩存客戶端服務發送SecondaryCache信號至二級緩存服務端；S5、二級緩存服務端接收到SecondaryCache信號，將緩存數據存儲到SecondaryCache；S6、二級緩存客戶端服務發送applySecondaryCache信號至二級緩存服務端；S7、二級緩存服務端接收到applySecondaryCache信號，將SecondaryCache的緩存數據復制到新的緩存Cache對象中，并將新的緩存Cache對象指針指向用于查詢的緩存Cache；S8、二級緩存客戶端服務發送resetsecondaryCache信號至二級緩存服務端；S9、二級緩存服務端接收到resetsecondaryCache信號，將二級緩存second...
【專利技術屬性】
技術研發人員：郭清軒，程林，楊培強，
申請(專利權)人：浪潮軟件科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。