【技術實現步驟摘要】
本申請屬于大數據，具體涉及一種冷熱數據處理方法、系統、電子設備和計算機可讀存儲介質。
技術介紹
1、文檔型數據庫是現有技術中常見的數據庫類型之一，它主要用來存儲、索引并管理面向文檔的數據或者類似的半結構化數據，文檔數據(document?data)是文檔型數據庫的最小單元。分布式文檔型數據庫是當前流行的文檔型數據庫結構，然而在特定寫入、更新、查詢吞吐量的場景下，分布式文檔型數據庫很容易出現存儲性能瓶頸。常規的優化措施包括增加數據表分區、增加數據節點、增加硬件設備等，然而這些措施成本較高，無法獲得較高的性價比。
技術實現思路
1、針對上述現有技術中存在的問題，本專利技術第一方面提出一種冷熱數據處理方法，包括步驟：接收待寫入的文檔數據，存儲至在線熱庫，在線熱庫存儲用于在線計算的文檔數據；將待寫入的文檔數據與在線熱庫中已有的文檔數據合并；將在線熱庫中存儲時長達到歸檔時限的文檔數據轉移至在線冷庫和離線冷庫，其中，在線冷庫和離線冷庫分別為數據庫和數據倉庫。
2、優選地，待寫入的文檔數據還被存儲至離線熱庫，離線熱庫存儲用于離線計算的文檔數據。
3、優選地，待寫入的文檔數據還被存儲為離線文件，離線文件用于以文件方式提供文檔數據。
4、優選地，待寫入的文檔數據以固定時間間隔分批存儲至在線熱庫、離線熱庫或存儲為離線文件。
5、優選地，在線熱庫為文檔型數據庫。
6、優選地，在線冷庫為索引數據庫。
7、優選地，待寫入的文檔數據經過預
8、本專利技術第二方面提出一種冷熱數據處理系統，包括：
9、數據存儲模塊，配置用于接收待寫入的文檔數據，存儲至在線熱庫，在線熱庫存儲用于在線分析的文檔數據；
10、數據處理模塊，配置用于將待寫入的文檔數據與在線熱庫中已有的文檔數據合并；
11、數據轉移模塊，配置用于將在線熱庫中存儲時長達到歸檔時限的文檔數據轉移至在線冷庫和離線冷庫，其中，在線冷庫和離線冷庫分別為數據庫和數據倉庫。
12、本專利技術第三方面提出一種電子設備，電子設備包括處理器和存儲器，處理器用于執行存儲器中存儲的計算機程序時實現如第一方面中任意一項所述的冷熱數據處理方法。
13、本專利技術第四方面提出一種計算機可讀存儲介質，計算機可讀存儲介質上存儲有計算機程序，計算機程序被處理器執行時實現如第一方面中任意一項所述的冷熱數據處理方法。
14、上述方案在常規的單一分布式數據庫存儲結構的基礎上，采用不同的數據庫存儲結構，分別支撐在線計算應用和離線計算應用，從而可以根據實際需要，用成本最高的硬件存儲數據量有限的在線熱庫，用成本居中的硬件存儲在線冷庫，用成本最低的硬件存儲離線冷熱庫，確保整體性能的同時有效降低了整體成本。該方案通過合理規劃在線冷熱庫、離線冷熱庫，可以滿足較高的寫入、更新、查詢吞吐量，支持單表千億級別規模的文檔數據的處理，并支持分布式結構、具備較好的橫向擴展性，同時具備較高的性價比，即可以用較低成本獲得較好的性能指標。
本文檔來自技高網...【技術保護點】
1.一種冷熱數據處理方法，其特征在于，包括步驟：
2.根據權利要求1所述的冷熱數據處理方法，其特征在于，所述待寫入的文檔數據還被存儲至離線熱庫，所述離線熱庫存儲用于離線計算的文檔數據，所述離線熱庫為數據倉庫。
3.根據權利要求1所述的冷熱數據處理方法，其特征在于，所述待寫入的文檔數據還被存儲為離線文件，所述離線文件用于以文件方式提供所述文檔數據。
4.根據權利要求1-3中任一所述的冷熱數據處理方法，其特征在于，所述待寫入的文檔數據以固定時間間隔分批存儲至所述在線熱庫、離線熱庫或存儲為離線文件。
5.根據權利要求1所述的冷熱數據處理方法，其特征在于，所述在線熱庫為文檔型數據庫。
6.根據權利要求1所述的冷熱數據處理方法，其特征在于，所述在線冷庫為索引數據庫。
7.根據權利要求1所述的冷熱數據處理方法，其特征在于，所述待寫入的文檔數據經過預處理，所述預處理包括步驟：
8.一種冷熱數據處理系統，其特征在于，包括：
9.一種電子設備，其特征在于，所述電子設備包括處理器和存儲器，所述處理器用于執
10.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7中任意一項所述的冷熱數據處理方法。
...【技術特征摘要】
1.一種冷熱數據處理方法，其特征在于，包括步驟：
2.根據權利要求1所述的冷熱數據處理方法，其特征在于，所述待寫入的文檔數據還被存儲至離線熱庫，所述離線熱庫存儲用于離線計算的文檔數據，所述離線熱庫為數據倉庫。
3.根據權利要求1所述的冷熱數據處理方法，其特征在于，所述待寫入的文檔數據還被存儲為離線文件，所述離線文件用于以文件方式提供所述文檔數據。
4.根據權利要求1-3中任一所述的冷熱數據處理方法，其特征在于，所述待寫入的文檔數據以固定時間間隔分批存儲至所述在線熱庫、離線熱庫或存儲為離線文件。
5.根據權利要求1所述的冷熱數據處理方法，其特征在于，所述在線熱庫為文檔型數據庫。...
【專利技術屬性】
技術研發人員：鄢小征，李緒龍，畢永輝，李明玉，朱海勇，張笑顏，
申請(專利權)人：廈門市美亞柏科信息安全研究所有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。