【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)融合，具體地說，涉及一種多源數(shù)據(jù)融合方法、系統(tǒng)、設(shè)備及介質(zhì)。
技術(shù)介紹
1、當(dāng)前數(shù)據(jù)融合一般解決方案主要是在跨系統(tǒng)間通過數(shù)據(jù)同步或數(shù)據(jù)挖掘到本地，再次查詢，此類做法需要提供硬件存儲及軟件配套支撐，針對不同業(yè)務(wù)，自行開發(fā)，局限性強(qiáng)，人力物力投入較大，維護(hù)成本高。例如對于運營商不同系統(tǒng)的設(shè)備性能監(jiān)控的大數(shù)據(jù)而言，設(shè)備具有重復(fù)同性質(zhì)采集的特性，數(shù)據(jù)存儲空間要求巨大，對前端用戶只需查看數(shù)據(jù)而言，數(shù)據(jù)同步、數(shù)據(jù)挖掘?qū)υ摪咐静豢尚?，亟需為此場景提供一種可行可靠的方案。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)針對現(xiàn)有的數(shù)據(jù)融合方法需要硬件存儲和軟件配套支撐，針對不同業(yè)務(wù)開發(fā)局限性強(qiáng)、維護(hù)成本高的問題，提出一種多源數(shù)據(jù)融合方法、系統(tǒng)、設(shè)備及介質(zhì)；首先根據(jù)從多源數(shù)據(jù)中臺獲取的多源數(shù)據(jù)，構(gòu)建中臺配置表；其次根據(jù)獲取的查詢請求，將第三方系統(tǒng)的數(shù)據(jù)接口配置至多源數(shù)據(jù)中臺，并根據(jù)中臺前端參數(shù)配置表對接口參數(shù)進(jìn)行必填項校驗；然后判斷校驗通過的查詢請求是否進(jìn)行笛卡爾積分拆，得到多個第三方系統(tǒng)的響應(yīng)報文；最后將多個響應(yīng)報文進(jìn)行數(shù)據(jù)重組得到重組數(shù)據(jù)，并調(diào)用分頁算法，將分頁后的重組數(shù)據(jù)反饋至請求端，實現(xiàn)同類結(jié)構(gòu)融合多個或單個系統(tǒng)數(shù)據(jù)接入，界面靈活配置，操作簡便通用性強(qiáng)。
2、本專利技術(shù)具體實現(xiàn)內(nèi)容如下：一種多源數(shù)據(jù)融合方法，具體包括以下步驟：
3、步驟s1：根據(jù)從多源數(shù)據(jù)中臺獲取的多源數(shù)據(jù)，構(gòu)建中臺配置表；所述中臺配置表包括中臺訪問標(biāo)識表spr_mg_output_identity
4、步驟s2：根據(jù)獲取的查詢請求，構(gòu)建與第三方系統(tǒng)映射的接口參數(shù)，根據(jù)接口參數(shù)將第三方系統(tǒng)的數(shù)據(jù)接口配置至多源數(shù)據(jù)中臺，并根據(jù)構(gòu)建的中臺前端參數(shù)配置表spr_mg_input_paramete對接口參數(shù)進(jìn)行必填項校驗；
5、步驟s3：根據(jù)第三方系統(tǒng)訪問配置表spr_mg_output_iden_interface，判斷校驗通過的查詢請求是否進(jìn)行笛卡爾積分拆；
6、步驟s4：根據(jù)笛卡爾積分拆后的查詢請求，得到多個第三方系統(tǒng)的響應(yīng)報文；
7、步驟s5：將多個響應(yīng)報文進(jìn)行數(shù)據(jù)重組得到重組數(shù)據(jù)，并調(diào)用分頁算法，將分頁后的重組數(shù)據(jù)反饋至請求端。
8、本專利技術(shù)具有以下有益效果：
9、(1)本專利技術(shù)適用于各行業(yè)下同類結(jié)構(gòu)融合多個或單個系統(tǒng)數(shù)據(jù)接入，提供自定義輸出字段及數(shù)據(jù)導(dǎo)出；接入多源數(shù)據(jù)中臺，界面靈活配置，操作簡便，通用性強(qiáng)；對目標(biāo)數(shù)據(jù)無存儲要求，即查即用。
10、(2)針對大數(shù)據(jù)融合，相對傳統(tǒng)數(shù)據(jù)挖掘、數(shù)據(jù)同步，具有經(jīng)濟(jì)、實用、高效、易維護(hù)的特點，其中經(jīng)濟(jì)即投入設(shè)備少，中臺部署設(shè)備，數(shù)據(jù)庫可共享；實用即只需配置化，滿足可多系統(tǒng)數(shù)據(jù)融合前端可視化；高效即使用已有系統(tǒng)接口資源，投入少，見效快。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種多源數(shù)據(jù)融合方法，其特征在于，具體包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟S2具體包括以下步驟：
3.根據(jù)權(quán)利要求2所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟S3具體包括以下步驟：
4.根據(jù)權(quán)利要求3所述的一種多源數(shù)據(jù)融合方法，其特征在于，步驟S31中所述笛卡爾積分拆的具體操作為：首先根據(jù)第三方系統(tǒng)訪問配置表判斷OUT_SOURCE字段的類型值，若類型值為URL_MUTI值則進(jìn)行系統(tǒng)級的笛卡爾積拆分，并動態(tài)合成第三方URL；然后判斷動態(tài)合成的第三方URL的條件字段類型，若條件字段類型為中臺參數(shù)與第三方系統(tǒng)字段映射表的IN_PARAMTER_TYPE值為stringMuti，則在系統(tǒng)笛卡爾積的基礎(chǔ)上進(jìn)行字段級笛卡爾積拆分，否則表示為非多選項或第三方系統(tǒng)可以傳遞多選值無需做笛卡爾積拆分，保持輸入?yún)?shù)方式傳參到第三方接口；其中，所述笛卡爾積拆分的方式為用逗號拆分參數(shù)。
5.根據(jù)權(quán)利要求1所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟S4具體包括以下步驟：
6.根據(jù)權(quán)利要
7.根據(jù)權(quán)利要求6所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟S52的具體操作為：根據(jù)system字段匹配到中臺映射表的記錄，進(jìn)行多源中臺輸出報文重定義，若對應(yīng)的配置字段為JSON_KEY，則進(jìn)行清洗后，再將JSON_KEY字段轉(zhuǎn)變成MG_KEY字段。
8.根據(jù)權(quán)利要求6所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟S53具體包括以下步驟：
9.根據(jù)權(quán)利要求6所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟S54具體包括以下步驟：
10.根據(jù)權(quán)利要求6所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟S55的具體操作為：根據(jù)設(shè)置的分頁條件offset，分頁并集后的數(shù)據(jù)，將分頁后的結(jié)果集傳輸至請求端。
...【技術(shù)特征摘要】
1.一種多源數(shù)據(jù)融合方法，其特征在于，具體包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟s2具體包括以下步驟：
3.根據(jù)權(quán)利要求2所述的一種多源數(shù)據(jù)融合方法，其特征在于，所述步驟s3具體包括以下步驟：
4.根據(jù)權(quán)利要求3所述的一種多源數(shù)據(jù)融合方法，其特征在于，步驟s31中所述笛卡爾積分拆的具體操作為：首先根據(jù)第三方系統(tǒng)訪問配置表判斷out_source字段的類型值，若類型值為url_muti值則進(jìn)行系統(tǒng)級的笛卡爾積拆分，并動態(tài)合成第三方url；然后判斷動態(tài)合成的第三方url的條件字段類型，若條件字段類型為中臺參數(shù)與第三方系統(tǒng)字段映射表的in_paramter_type值為stringmuti，則在系統(tǒng)笛卡爾積的基礎(chǔ)上進(jìn)行字段級笛卡爾積拆分，否則表示為非多選項或第三方系統(tǒng)可以傳遞多選值無需做笛卡爾積拆分，保持輸入?yún)?shù)方式傳參到第三方接口；其中，所述笛卡爾積拆分的方式為用逗號拆分參數(shù)。...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳懿，胡國忠，
申請(專利權(quán))人：中通服軟件科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。