【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機數(shù)據(jù)，具體涉及一種數(shù)據(jù)視圖分層聚合建模方法及系統(tǒng)。
技術(shù)介紹
1、隨著大數(shù)據(jù)時代的到來，各種使用場景下的數(shù)據(jù)呈爆炸性增長，數(shù)據(jù)類型也日益復(fù)雜，如果有效地處理、分析并形成專業(yè)的業(yè)務(wù)模型和呈現(xiàn)這些數(shù)據(jù)，成為數(shù)據(jù)科學(xué)領(lǐng)域的核心挑戰(zhàn)，數(shù)據(jù)視圖分層聚合建模方案通過分層聚合模型這一關(guān)鍵技術(shù)，降低數(shù)據(jù)的復(fù)雜度，快速生成高精準度的數(shù)據(jù)模型并通過靈活配置的數(shù)據(jù)視圖進行展示分析，提高數(shù)據(jù)利用率和決策支持能力，以適應(yīng)系統(tǒng)未來的變化和發(fā)展。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提出了一種數(shù)據(jù)視圖分層聚合建模方法，包括：
2、s1、數(shù)據(jù)建模，對需要處理的數(shù)據(jù)實體及其屬性，通過數(shù)據(jù)預(yù)處理、數(shù)據(jù)源關(guān)聯(lián)、特征處理、特征變換四個階段完成數(shù)據(jù)建模流程，在數(shù)據(jù)預(yù)處理過程中，主要采用業(yè)務(wù)模型冪技術(shù)方案實現(xiàn)，即通過業(yè)務(wù)模型特征的冪次來增強模型對數(shù)據(jù)的擬合能力；
3、s2、分層多維聚合模型，分層多維聚合建模作為核心部分主要包括，分層視圖生成，抽離聚合模型，業(yè)務(wù)模塊組合；
4、s3、數(shù)據(jù)視圖結(jié)構(gòu)，根據(jù)聚合模型提供的數(shù)據(jù)接口，結(jié)合視圖布局模塊的配置，支持用戶生成具有交互功能的數(shù)據(jù)視圖。
5、進一步地，所述的在數(shù)據(jù)預(yù)處理過程中，主要采用業(yè)務(wù)模型冪技術(shù)方案實現(xiàn)，具體計算公式為：
6、y＝θ0+θ1x+θ2x2+θ3x3+…+θnxn其中，y是預(yù)測值，x是自變量，θ0、θ1、θ2、θ3、θn是模型的參數(shù)；所述自變量是原始特征或變換后的特征。
7、進一步
8、進一步地，所述gbdt算法公式如下:
9、其中f0(x)，是初始模型，通常設(shè)為0，jm是第m次迭代時決策樹的葉子節(jié)點個數(shù)，i(x∈rjm)是一個指示函數(shù)，當x屬于第m次迭代時第j個葉子節(jié)點時取值為1，否則為0。
10、進一步地，所述s2中，所述的抽離聚合模型，通過分成視圖生成技術(shù)，根據(jù)數(shù)據(jù)分層架構(gòu)，通過分組聚合、壓縮聚合、近似聚合、分布式聚合、實時聚合成出可獨立工作的模塊或數(shù)據(jù)元素，通過抽離聚合模型，形成可以單獨進行開發(fā)、測試和維護的獨立單元的接口，系統(tǒng)可以根據(jù)不同的需求進行靈活調(diào)整，迅速生成響應(yīng)方案。
11、進一步地，所述s2中，所述的業(yè)務(wù)模塊組合是業(yè)務(wù)模塊組合技術(shù)方案主要接收生成的聚合模型，并且根據(jù)業(yè)務(wù)需求對視圖進行篩選、排序和組合，形成具有特定邏輯和業(yè)務(wù)含義的業(yè)務(wù)模塊集合，支持對業(yè)務(wù)模塊進行封裝和復(fù)用，提高系統(tǒng)的可擴展性和可維護性。
12、進一步地，所述s3中，所述的數(shù)據(jù)視圖結(jié)構(gòu)支持用戶通過vue-draggable-resizable-porkys技術(shù)實現(xiàn)點擊、拖拽、縮放等操作與數(shù)據(jù)視圖進行交互，生成數(shù)據(jù)視圖，并且可以通過codemirror支持對數(shù)據(jù)視圖進行多語言的深度開發(fā)。
13、進一步地，所述的數(shù)據(jù)視圖的靈活構(gòu)建配置實現(xiàn)了用戶對數(shù)據(jù)視圖進行深度挖掘和可視化展示。
14、另一方面，一種數(shù)據(jù)視圖分層聚合建模系統(tǒng)，包括：
15、數(shù)據(jù)建模模塊：對需要處理的數(shù)據(jù)實體及其屬性，通過數(shù)據(jù)預(yù)處理、數(shù)據(jù)源關(guān)聯(lián)、特征處理、特征變換四個階段完成數(shù)據(jù)建模流程，在數(shù)據(jù)預(yù)處理過程中，主要采用業(yè)務(wù)模型冪技術(shù)方案實現(xiàn)，即通過業(yè)務(wù)模型特征的冪次來增強模型對數(shù)據(jù)的擬合能力；
16、分層多維聚合模型模塊：分層多維聚合建模作為核心部分主要包括，分層視圖生成，抽離聚合模型，業(yè)務(wù)模塊組合；
17、數(shù)據(jù)視圖結(jié)構(gòu)模塊：根據(jù)聚合模型提供的數(shù)據(jù)接口，結(jié)合視圖布局模塊的配置，支持用戶通過與數(shù)據(jù)視圖進行交互，生成數(shù)據(jù)視圖。
18、另一方面，本專利技術(shù)提供一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機程序指令，所述計算機程序指令被計算機運行時，所述計算機執(zhí)行如前任一所述的數(shù)據(jù)視圖分層聚合建模方法的步驟。
19、本專利技術(shù)實施例的有益效果如下：
20、本專利技術(shù)使用了創(chuàng)新的分層聚合的設(shè)計思想，將復(fù)雜的數(shù)據(jù)處理任務(wù)進行多維度分解，這種處理方式降低了數(shù)據(jù)處理的復(fù)雜度，提高了數(shù)據(jù)處理的效率和精準度，在各層次之間的數(shù)據(jù)流動和交互進行了規(guī)范化處理，全方位提升了系統(tǒng)的擴展性和靈活性。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種數(shù)據(jù)視圖分層聚合建模方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述S1中，所述的在數(shù)據(jù)預(yù)處理過程中，主要采用業(yè)務(wù)模型冪技術(shù)方案實現(xiàn)，具體計算公式為：
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述S2中，所述的分層視圖生成，采用GBDT綜合分層算法對數(shù)據(jù)分離出原生屬性、業(yè)務(wù)屬性、性能感知、安全感知屬性進行屬性分層。
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述GBDT算法公式如下：
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述S2中，所述的抽離聚合模型，通過分成視圖生成技術(shù)，根據(jù)數(shù)據(jù)分層架構(gòu)，通過分組聚合、壓縮聚合、近似聚合、分布式聚合、實時聚合成出可獨立工作的模塊或數(shù)據(jù)元素，通過抽離聚合模型，形成可以單獨進行開發(fā)、測試和維護的獨立單元的接口，系統(tǒng)可以根據(jù)不同的需求進行靈活調(diào)整，迅速生成響應(yīng)方案。
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述S2中，所述的業(yè)務(wù)模塊組合是業(yè)務(wù)模塊組合技
7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述S3中，所述的數(shù)據(jù)視圖結(jié)構(gòu)支持用戶通過
8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述的數(shù)據(jù)視圖的靈活構(gòu)建配置實現(xiàn)了用戶對數(shù)據(jù)視圖進行深度挖掘和可視化展示。
9.一種數(shù)據(jù)視圖分層聚合建模系統(tǒng)，其特征在于，包括：
10.一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機程序指令，所述計算機程序指令被計算機運行時，所述計算機執(zhí)行如權(quán)利要求1-8任一所述的數(shù)據(jù)視圖分層聚合建模方法的步驟。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)視圖分層聚合建模方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述s1中，所述的在數(shù)據(jù)預(yù)處理過程中，主要采用業(yè)務(wù)模型冪技術(shù)方案實現(xiàn)，具體計算公式為：
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述s2中，所述的分層視圖生成，采用gbdt綜合分層算法對數(shù)據(jù)分離出原生屬性、業(yè)務(wù)屬性、性能感知、安全感知屬性進行屬性分層。
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述gbdt算法公式如下：
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)視圖分層聚合建模方法，其特征在于，所述s2中，所述的抽離聚合模型，通過分成視圖生成技術(shù)，根據(jù)數(shù)據(jù)分層架構(gòu)，通過分組聚合、壓縮聚合、近似聚合、分布式聚合、實時聚合成出可獨立工作的模塊或數(shù)據(jù)元素，通過抽離聚合模型，形成可以單獨進行開發(fā)、測試和維護的獨立單元的接口，系統(tǒng)可以根據(jù)不同的需求進行靈活...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳青民，孫鴻斌，安勝華，
申請(專利權(quán))人：北京安信天行科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。