【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及計(jì)算機(jī)，具體涉及一種基于知識(shí)圖譜的數(shù)據(jù)處理方法及系統(tǒng)、計(jì)算機(jī)程序產(chǎn)品、電子設(shè)備、存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、在相關(guān)技術(shù)中，利用知識(shí)圖譜來記載關(guān)系數(shù)據(jù)已經(jīng)在眾多領(lǐng)域中被廣泛應(yīng)用。在大規(guī)模數(shù)據(jù)場景下，單純依賴圖數(shù)據(jù)庫的能力，進(jìn)行關(guān)系數(shù)據(jù)的點(diǎn)、邊及最小路徑等維度圖譜分析時(shí)候，很容易出現(xiàn)性能瓶頸，開源場景下僅支持十億級(jí)別規(guī)模。在已知的關(guān)系數(shù)據(jù)進(jìn)行圖譜分析架構(gòu)設(shè)計(jì)中，涉及百億甚至更大規(guī)模時(shí)，通常采用擴(kuò)展計(jì)算節(jié)點(diǎn)、引入gpu加速，或者引入圖處理引擎等方法，都是通過增加硬件設(shè)備，使用更高的成本代價(jià)來換取性能的提升。
2、需要說明的是，在上述
技術(shù)介紹
部分公開的信息僅用于加強(qiáng)對(duì)本公開的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。
技術(shù)實(shí)現(xiàn)思路
1、本公開提供一種基于知識(shí)圖譜的數(shù)據(jù)處理方法及系統(tǒng)，一種存儲(chǔ)介質(zhì)、一種計(jì)算機(jī)程序產(chǎn)品，以及一種電子設(shè)備，能夠應(yīng)用于千億級(jí)數(shù)據(jù)的知識(shí)圖譜構(gòu)建，有效克服現(xiàn)有技術(shù)中存在的缺陷。
2、本公開的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然，或部分地通過本公開的實(shí)踐而習(xí)得。
3、根據(jù)本公開的第一方面，提供一種基于知識(shí)圖譜的數(shù)據(jù)處理方法，所述方法包括：
4、獲取待處理數(shù)據(jù)，對(duì)所述待處理數(shù)據(jù)按時(shí)間屬性進(jìn)行分區(qū)存儲(chǔ)；
5、分區(qū)加載各存儲(chǔ)分區(qū)對(duì)應(yīng)的所述待處理數(shù)據(jù)，創(chuàng)建外部表，并提取對(duì)應(yīng)的關(guān)系明細(xì)數(shù)據(jù)；
6、對(duì)所述關(guān)系明細(xì)數(shù)據(jù)進(jìn)行關(guān)系聚合處理，并基于預(yù)先配置的結(jié)果數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)結(jié)
7、將所述關(guān)系結(jié)果數(shù)據(jù)增量更新至圖數(shù)據(jù)庫中，并基于實(shí)體關(guān)系對(duì)實(shí)體屬性、關(guān)系屬性進(jìn)行更新。
8、在一些示例性實(shí)施方式中，所述方法還包括：
9、對(duì)所述關(guān)系明細(xì)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，并定義行-鍵生成規(guī)則；
10、基于所述行-鍵生成規(guī)則，將數(shù)據(jù)清洗后的所述關(guān)系明細(xì)數(shù)據(jù)批處理保存至hbase數(shù)據(jù)庫。
11、在一些示例性實(shí)施方式中，所述方法還包括：
12、獲取基于圖數(shù)據(jù)庫的關(guān)系數(shù)據(jù)查詢請(qǐng)求；其中，所述關(guān)系數(shù)據(jù)查詢請(qǐng)求包括實(shí)體查詢信息和/或關(guān)系查詢信息；
13、基于關(guān)系的主記錄id在hbase數(shù)據(jù)庫進(jìn)行行-鍵檢索，以獲取數(shù)據(jù)檢索結(jié)果；
14、基于所述數(shù)據(jù)檢索結(jié)果構(gòu)建圖譜關(guān)系，并展示在圖形用戶界面中。
15、在一些示例性實(shí)施方式中，所述關(guān)系數(shù)據(jù)查詢請(qǐng)求還包括：時(shí)間查詢信息；
16、所述方法還包括：
17、根據(jù)所述時(shí)間查詢信息，在所述hbase數(shù)據(jù)庫利用時(shí)間屬性進(jìn)行數(shù)據(jù)檢索，以獲取數(shù)據(jù)檢索結(jié)果。
18、在一些示例性實(shí)施方式中，所述獲取待處理數(shù)據(jù)，對(duì)所述待處理數(shù)據(jù)按時(shí)間屬性進(jìn)行分區(qū)存儲(chǔ)，包括：
19、將所述待處理數(shù)據(jù)進(jìn)行壓縮處理，以parquet文件格式接入hdfs文件系統(tǒng)，并按天進(jìn)行分區(qū)存儲(chǔ)。
20、在一些示例性實(shí)施方式中，所述提取對(duì)應(yīng)的關(guān)系明細(xì)數(shù)據(jù)時(shí)，所述方法還包括：
21、根據(jù)預(yù)先配置的標(biāo)準(zhǔn)化關(guān)系數(shù)據(jù)結(jié)構(gòu)對(duì)所述關(guān)系明細(xì)數(shù)據(jù)進(jìn)行分類，以用于根據(jù)分類結(jié)果進(jìn)行數(shù)據(jù)聚合處理；其中，所述標(biāo)準(zhǔn)化關(guān)系數(shù)據(jù)結(jié)構(gòu)包括多個(gè)關(guān)系類型。
22、在一些示例性實(shí)施方式中，所述方法還包括：
23、在所述圖數(shù)據(jù)庫基于預(yù)先配置的結(jié)果數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)定義實(shí)體類型，并根據(jù)關(guān)系類型進(jìn)行圖定義。
24、根據(jù)本公開的第二方面，提供一種基于知識(shí)圖譜的數(shù)據(jù)處理系統(tǒng)，包括：
25、分區(qū)存儲(chǔ)模塊，用于獲取待處理數(shù)據(jù)，對(duì)所述待處理數(shù)據(jù)按時(shí)間屬性進(jìn)行分區(qū)存儲(chǔ)；
26、關(guān)系明細(xì)數(shù)據(jù)提取模塊，用于分區(qū)加載各存儲(chǔ)分區(qū)對(duì)應(yīng)的所述待處理數(shù)據(jù)，創(chuàng)建外部表，并提取對(duì)應(yīng)的關(guān)系明細(xì)數(shù)據(jù)；
27、聚合處理模塊，用于對(duì)所述關(guān)系明細(xì)數(shù)據(jù)進(jìn)行關(guān)系聚合處理，并基于預(yù)先配置的結(jié)果數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)輸出關(guān)系結(jié)果數(shù)據(jù)；
28、數(shù)據(jù)庫更新模塊，用于將所述關(guān)系結(jié)果數(shù)據(jù)增量更新至圖數(shù)據(jù)庫中，并基于實(shí)體關(guān)系對(duì)實(shí)體屬性、關(guān)系屬性進(jìn)行更新。
29、根據(jù)本公開的第三方面，提供一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于知識(shí)圖譜的數(shù)據(jù)處理方法。
30、根據(jù)本公開的第四方面，提供一種電子設(shè)備，包括：
31、處理器；以及
32、存儲(chǔ)器，用于存儲(chǔ)所述處理器的可執(zhí)行指令；
33、其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令時(shí)實(shí)現(xiàn)上述的基于知識(shí)圖譜的數(shù)據(jù)處理方法。
34、根據(jù)本公開的第五方面，提供一種計(jì)算機(jī)程序產(chǎn)品，其上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于知識(shí)圖譜的數(shù)據(jù)處理方法。
35、本公開的實(shí)施例所提供的基于知識(shí)圖譜的數(shù)據(jù)處理方法，通過對(duì)新增的待處理數(shù)據(jù)進(jìn)行分區(qū)存儲(chǔ)，并以分區(qū)分別加載增量的待處理數(shù)據(jù)并提取對(duì)應(yīng)的關(guān)系明細(xì)數(shù)據(jù)，再對(duì)關(guān)系明細(xì)數(shù)據(jù)進(jìn)行聚合輸出對(duì)應(yīng)個(gè)關(guān)系結(jié)果數(shù)據(jù)，再更新至圖數(shù)據(jù)庫中。通過對(duì)待處理數(shù)據(jù)進(jìn)行分區(qū)存儲(chǔ)，并使用圖數(shù)據(jù)庫的計(jì)算能力對(duì)關(guān)系結(jié)果數(shù)據(jù)進(jìn)行更新，最大化程度利用各組件的優(yōu)勢(shì)進(jìn)行互補(bǔ)，彌補(bǔ)圖計(jì)算千億規(guī)模數(shù)據(jù)計(jì)算性能問題，同時(shí)也減少其存儲(chǔ)的成本。
36、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于知識(shí)圖譜的數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述關(guān)系數(shù)據(jù)查詢請(qǐng)求還包括：時(shí)間查詢信息；
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待處理數(shù)據(jù)，對(duì)所述待處理數(shù)據(jù)按時(shí)間屬性進(jìn)行分區(qū)存儲(chǔ)，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取對(duì)應(yīng)的關(guān)系明細(xì)數(shù)據(jù)時(shí)，所述方法還包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
8.一種基于知識(shí)圖譜的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：
9.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的基于知識(shí)圖譜的數(shù)據(jù)處理方法。
10.一種電子設(shè)備，其特征在于，包括：
【技術(shù)特征摘要】
1.一種基于知識(shí)圖譜的數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述關(guān)系數(shù)據(jù)查詢請(qǐng)求還包括：時(shí)間查詢信息；
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待處理數(shù)據(jù)，對(duì)所述待處理數(shù)據(jù)按時(shí)間屬性進(jìn)行分區(qū)存儲(chǔ)，包括：
6...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李明玉，許賢質(zhì)，曾亨友，黃玉升，畢永輝，李俠林，
申請(qǐng)(專利權(quán))人：廈門市美亞柏科信息安全研究所有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。