一種數(shù)據(jù)分維度分層次管理的方法及系統(tǒng)技術(shù)方案

本發(fā)明專(zhuān)利技術(shù)涉及一種數(shù)據(jù)分維度分層次管理的方法及系統(tǒng)，其中方法包括以下步驟：步驟1：采用至少一種收集方式收集原始數(shù)據(jù)；步驟2：將收集到的原始數(shù)據(jù)存入基本表中，在基本表中對(duì)存入數(shù)據(jù)進(jìn)行維度拆分；步驟3：將拆分后的原始數(shù)據(jù)根據(jù)維度分別存入多個(gè)維度表，并根據(jù)所有維度表的外鍵和關(guān)鍵字建立事實(shí)表。本發(fā)明專(zhuān)利技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行分維度分層次的管理，實(shí)現(xiàn)海量數(shù)據(jù)的收集、存儲(chǔ)和快速精準(zhǔn)的數(shù)據(jù)查詢，提高數(shù)據(jù)分析的效率，為企業(yè)的決策提供及時(shí)準(zhǔn)確的數(shù)據(jù)依據(jù)。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專(zhuān)利技術(shù)涉及一種數(shù)據(jù)分維度分層次管理的方法及系統(tǒng)，屬于計(jì)算機(jī)

技術(shù)介紹
當(dāng)前，信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的新發(fā)展，帶來(lái)了數(shù)據(jù)的爆發(fā)式增長(zhǎng)，數(shù)據(jù)正在成為驅(qū)動(dòng)經(jīng)濟(jì)增長(zhǎng)和社會(huì)進(jìn)步的重要基礎(chǔ)和戰(zhàn)略資源。不論任何規(guī)模的企業(yè)，無(wú)不每時(shí)每刻都產(chǎn)生著大量的數(shù)據(jù)。隨著企業(yè)信息化的發(fā)展，數(shù)據(jù)的分析和統(tǒng)計(jì)成為了企業(yè)領(lǐng)導(dǎo)層決策的重要因素。由于企業(yè)的業(yè)務(wù)數(shù)據(jù)量的迅猛增長(zhǎng)，數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)量成TB甚至PB級(jí)的數(shù)據(jù)規(guī)模，并且數(shù)據(jù)來(lái)源也更加多元化，如何存儲(chǔ)這些海量數(shù)據(jù)并進(jìn)行快速精準(zhǔn)的數(shù)據(jù)查詢，是傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)無(wú)法全部解決的難題。
技術(shù)實(shí)現(xiàn)思路
本專(zhuān)利技術(shù)所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種，對(duì)企業(yè)海量業(yè)務(wù)數(shù)據(jù)進(jìn)行分維度分層次的管理，實(shí)現(xiàn)海量數(shù)據(jù)的收集、存儲(chǔ)和快速精準(zhǔn)的數(shù)據(jù)查詢，提高數(shù)據(jù)分析的效率，為企業(yè)的決策提供及時(shí)準(zhǔn)確的數(shù)據(jù)依據(jù)的數(shù)據(jù)分維度分層次管理的方法及系統(tǒng)。本專(zhuān)利技術(shù)解決上述技術(shù)問(wèn)題的技術(shù)方案如下:一種數(shù)據(jù)分維度分層次管理的方法，包括以下步驟:步驟1:采用至少一種收集方式收集原始數(shù)據(jù)；步驟2:將收集到的原始數(shù)據(jù)存入基本表中，在基本表中對(duì)存入數(shù)據(jù)進(jìn)行維度拆分；步驟3:將拆分后的原始數(shù)據(jù)根據(jù)維度分別存入多個(gè)維度表，并根據(jù)所有維度表的外鍵和關(guān)鍵字建立事實(shí)表。本專(zhuān)利技術(shù)的有益效果是:對(duì)海量數(shù)據(jù)進(jìn)行分維度分層次的管理，實(shí)現(xiàn)海量數(shù)據(jù)的收集、存儲(chǔ)和快速精準(zhǔn)的數(shù)據(jù)查詢，提高數(shù)據(jù)分析的效率，為企業(yè)的決策提供及時(shí)準(zhǔn)確的數(shù)據(jù)依據(jù)。每一個(gè)事實(shí)表都有一組維度表通過(guò)關(guān)鍵字與之關(guān)聯(lián);事實(shí)表中存儲(chǔ)主要數(shù)據(jù)，只需查詢事實(shí)表就可以查詢到主要信息，而無(wú)需將多個(gè)龐大的基本表進(jìn)行聯(lián)表查詢，同時(shí)維度表一般較小，與事實(shí)表連接時(shí)速度很快，并不影響查詢效率。通過(guò)這種數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，可以極大的提高數(shù)據(jù)查詢效率。在上述技術(shù)方案的基礎(chǔ)上，本專(zhuān)利技術(shù)還可以做如下改進(jìn)。進(jìn)一步，還包括步驟4:將每個(gè)維度表中數(shù)據(jù)根據(jù)不同類(lèi)別創(chuàng)建視圖，得到數(shù)據(jù)立方體;所有維度表對(duì)應(yīng)多維數(shù)據(jù)立方體。采用上述進(jìn)一步方案的有益效果是，事實(shí)表和維度表中存儲(chǔ)了所有數(shù)據(jù)各種維度的詳細(xì)信息，但在根據(jù)用戶需求做數(shù)據(jù)分析并展示數(shù)據(jù)時(shí)，往往只需要部分的數(shù)據(jù)，通過(guò)建立多維度數(shù)據(jù)立方體，可以方便定制數(shù)據(jù)，聚焦特定的數(shù)據(jù)。在實(shí)際應(yīng)用中可以任意抽取多維數(shù)據(jù)立方體中的數(shù)據(jù)用于Web應(yīng)用、手機(jī)APP應(yīng)用、微信應(yīng)用等各種應(yīng)用的數(shù)據(jù)分析展示；從數(shù)據(jù)安全性角度來(lái)看，多維度數(shù)據(jù)立方體是物理上并不存在的虛擬數(shù)據(jù)集，存儲(chǔ)動(dòng)態(tài)的數(shù)據(jù)集合，即便用戶操作數(shù)據(jù)立方體也無(wú)法更改和刪除事實(shí)表和維度表中的數(shù)據(jù)，保障了原始數(shù)據(jù)的安全性。進(jìn)一步，所述步驟I具體包括以下步驟:步驟1.1:確定數(shù)據(jù)來(lái)源，根據(jù)數(shù)據(jù)來(lái)源和數(shù)據(jù)種類(lèi)選用不同的收集方式和收集工具;步驟1.2:采用選用的收集方式和收集工具收集數(shù)據(jù)。進(jìn)一步，所述數(shù)據(jù)來(lái)源包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)、電子表格、系統(tǒng)運(yùn)行日志文件、移動(dòng)終端數(shù)據(jù)、數(shù)據(jù)供應(yīng)商和互聯(lián)網(wǎng)數(shù)據(jù)等。進(jìn)一步，所述數(shù)據(jù)種類(lèi)包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。進(jìn)一步，所述收集方式包括手動(dòng)收集和自動(dòng)收集。采用上述進(jìn)一步方案的有益效果是，手動(dòng)收集有Web應(yīng)用上傳、遠(yuǎn)程文件傳輸、云存儲(chǔ)等方式。自動(dòng)收集主要采用有ETL工具集收集，運(yùn)用ETL工具從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，進(jìn)行數(shù)據(jù)轉(zhuǎn)換、清洗，并加載數(shù)據(jù)到目標(biāo)數(shù)據(jù)存儲(chǔ)區(qū)。進(jìn)一步，所述步驟2具體包括以下步驟:步驟2.1:將收集到的原始數(shù)據(jù)存入基本表中；步驟2.2:對(duì)基本表中的原始數(shù)據(jù)進(jìn)行預(yù)處理、分析和維度拆分，將原始數(shù)據(jù)按維度分組。本專(zhuān)利技術(shù)解決上述技術(shù)問(wèn)題的技術(shù)方案如下:一種數(shù)據(jù)分維度分層次管理的系統(tǒng)，包括數(shù)據(jù)收集模塊、維度拆分模塊和分表存儲(chǔ)模塊；所述數(shù)據(jù)收集模塊用于采用至少一種收集方式收集原始數(shù)據(jù)；所述維度拆分模塊用于將收集到的原始數(shù)據(jù)存入基本表中，在基本表中對(duì)存入數(shù)據(jù)進(jìn)行維度拆分；所述分表存儲(chǔ)模塊用于將拆分后的原始數(shù)據(jù)根據(jù)維度分別存入多個(gè)維度表，并根據(jù)所有維度表的外鍵和關(guān)鍵字建立事實(shí)表。本專(zhuān)利技術(shù)的有益效果是:每一個(gè)事實(shí)表都有一組維度表通過(guò)關(guān)鍵字與之關(guān)聯(lián)。事實(shí)表中存儲(chǔ)主要數(shù)據(jù)，只需查詢事實(shí)表就可以查詢到主要信息，而無(wú)需將多個(gè)龐大的基本表進(jìn)行聯(lián)表查詢，同時(shí)維度表一般較小，與事實(shí)表連接時(shí)速度很快，并不影響查詢效率。通過(guò)這種數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，可以極大的提高數(shù)據(jù)查詢效率。在上述技術(shù)方案的基礎(chǔ)上，本專(zhuān)利技術(shù)還可以做如下改進(jìn)。進(jìn)一步，還包括立方體模塊；所述立方體模塊用于將每個(gè)維度表中數(shù)據(jù)根據(jù)不同類(lèi)別創(chuàng)建視圖，得到數(shù)據(jù)立方體;所有維度表對(duì)應(yīng)多維數(shù)據(jù)立方體。采用上述進(jìn)一步方案的有益效果是，事實(shí)表和維度表中存儲(chǔ)了所有數(shù)據(jù)各種維度的詳細(xì)信息，但在根據(jù)用戶需求做數(shù)據(jù)分析并展示數(shù)據(jù)時(shí)，往往只需要部分的數(shù)據(jù)，通過(guò)建立多維度數(shù)據(jù)立方體，可以方便定制數(shù)據(jù)，聚焦特定的數(shù)據(jù)。在實(shí)際應(yīng)用中可以任意抽取多維數(shù)據(jù)立方體中的數(shù)據(jù)用于Web應(yīng)用、手機(jī)APP應(yīng)用、微信應(yīng)用等各種應(yīng)用的數(shù)據(jù)分析展示；從數(shù)據(jù)安全性角度來(lái)看，多維度數(shù)據(jù)立方體是物理上并不存在的虛擬數(shù)據(jù)集，存儲(chǔ)動(dòng)態(tài)的數(shù)據(jù)集合，即便用戶操作數(shù)據(jù)立方體也無(wú)法更改和刪除事實(shí)表和維度表中的數(shù)據(jù)，保障了原始數(shù)據(jù)的安全性。進(jìn)一步，所述數(shù)據(jù)收集模塊包括來(lái)源判斷模塊和收集模塊；所述來(lái)源判斷模塊用于確定數(shù)據(jù)來(lái)源，根據(jù)數(shù)據(jù)來(lái)源和數(shù)據(jù)種類(lèi)選用不同的收集方式和收集工具；所述收集模塊用于采用選用的收集方式和收集工具收集數(shù)據(jù)?！靖綀D說(shuō)明】圖1為本專(zhuān)利技術(shù)實(shí)施例1所述的一種數(shù)據(jù)分維度分層次管理的方法流程圖；圖2為本專(zhuān)利技術(shù)實(shí)施例1所述的一種數(shù)據(jù)分維度分層次管理的系統(tǒng)結(jié)構(gòu)框圖；圖3為本專(zhuān)利技術(shù)具體示例所述的一種數(shù)據(jù)分維度分層次管理的方法流程圖。附圖中，各標(biāo)號(hào)所代表的部件列表如下:1、數(shù)據(jù)收集模塊，2、維度拆分模塊，3、分表存儲(chǔ)模塊?！揪唧w實(shí)施方式】以下結(jié)合附圖對(duì)本專(zhuān)利技術(shù)的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本專(zhuān)利技術(shù)，并非用于限定本專(zhuān)利技術(shù)的范圍。如圖1所示，為本專(zhuān)利技術(shù)實(shí)施例1所述的一種數(shù)據(jù)分維度分層次管理的方法，包括以下步驟:步驟I:采用至少一種收集方式收集原始數(shù)據(jù)；步驟2:將收集到的原始數(shù)據(jù)存入基本表中，在基本表中對(duì)存入數(shù)據(jù)進(jìn)行維度拆分；步驟3:將拆分后的原始數(shù)據(jù)根據(jù)維度分別存入多個(gè)維度表，并根據(jù)所有維度表的外鍵和關(guān)鍵字建立事實(shí)表。本專(zhuān)利技術(shù)實(shí)施例2所述的方法，在實(shí)施例1的基礎(chǔ)上，還包括步驟4:將每個(gè)維度表中數(shù)據(jù)根據(jù)不同類(lèi)別創(chuàng)建視圖，得到數(shù)據(jù)立方體;所有維度表對(duì)應(yīng)多維數(shù)據(jù)立方體。本專(zhuān)利技術(shù)實(shí)施例3所述的方法，在實(shí)施例1或2的基礎(chǔ)上，所述步驟I具體包括以下步驟:步驟1.1:確定數(shù)據(jù)來(lái)源，根據(jù)數(shù)據(jù)來(lái)源和數(shù)據(jù)種類(lèi)選用不同的收集方式和收集工具;步驟1.2:采用選用的收集方式和收集工具收集數(shù)據(jù)。本專(zhuān)利技術(shù)實(shí)施例4所述的方法，在實(shí)施例3的基礎(chǔ)上，所述數(shù)據(jù)來(lái)源包括業(yè)務(wù)系統(tǒng)數(shù)當(dāng)前第1頁(yè)1 2 本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種數(shù)據(jù)分維度分層次管理的方法，其特征在于，包括以下步驟：步驟1：采用至少一種收集方式收集原始數(shù)據(jù)；步驟2：將收集到的原始數(shù)據(jù)存入基本表中，在基本表中對(duì)存入數(shù)據(jù)進(jìn)行維度拆分；步驟3：將拆分后的原始數(shù)據(jù)根據(jù)維度分別存入多個(gè)維度表，并根據(jù)所有維度表的外鍵和關(guān)鍵字建立事實(shí)表。

【技術(shù)特征摘要】

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：陳卓，吳斌奕，張洪沛，王少華，羅誠(chéng)，鐵明珠，李舒燕，
申請(qǐng)(專(zhuān)利權(quán))人：武漢璞華大數(shù)據(jù)技術(shù)有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：湖北;42