【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)集成，特別涉及一種基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法及系統(tǒng)。
技術(shù)介紹
1、數(shù)據(jù)虛擬化是一種數(shù)據(jù)管理方法，可以將多個異構(gòu)數(shù)據(jù)源抽象為一個統(tǒng)一的數(shù)據(jù)層，提供給應用程序或用戶，數(shù)據(jù)虛擬化是一座橋梁，讓平臺能夠按需訪問和顯示來自外部源系統(tǒng)的數(shù)據(jù)。這種創(chuàng)新方法集中并簡化了數(shù)據(jù)管理，平臺本身無需實際存儲數(shù)據(jù)。它在數(shù)據(jù)源和用戶之間建立一個虛擬層，使組織能夠訪問和管理其數(shù)據(jù)，而無需從原始位置復制或移動數(shù)據(jù)。
2、采用數(shù)據(jù)虛擬化在數(shù)據(jù)集成過程中不會考慮外部數(shù)據(jù)源之間的關(guān)聯(lián)，也就是會依次從每個外部數(shù)據(jù)源中調(diào)取所需要的數(shù)據(jù)，并不會因為源之間的關(guān)聯(lián)而減少對源調(diào)取的操作次數(shù)，間接導致應用開發(fā)的效率降低。
3、因此，本專利技術(shù)提出一種基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提供一種基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法及系統(tǒng)，用以基于需求涉及到的異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)列表以及預定義指標集所構(gòu)建的分析函數(shù)，來精確不同源的關(guān)聯(lián)以及重要情況，且通過融合處理確定線性與非線性參數(shù)來設置抽象符號以及符號優(yōu)化，實現(xiàn)數(shù)據(jù)集成，來有效降低調(diào)取的操作次數(shù)，提高開發(fā)效率。
2、本專利技術(shù)提供一種基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，包括：
3、步驟1：確定與業(yè)務需求的需求類型匹配的每個異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)列表；
4、步驟2：按照預定義指標集對每個異構(gòu)數(shù)據(jù)源的結(jié)構(gòu)特征進行分析得到參數(shù)集，并構(gòu)建對應異構(gòu)數(shù)據(jù)源的分析函數(shù)；
5、步驟3：對所有分
6、步驟4：對所述業(yè)務需求進行解析并對所述抽象符號進行優(yōu)化得到統(tǒng)一符號，實現(xiàn)對多個異構(gòu)數(shù)據(jù)源的數(shù)據(jù)集成。
7、優(yōu)選的，步驟1，包括：
8、從類型-源數(shù)據(jù)庫中獲取與所述業(yè)務需求的需求類型匹配的若干異構(gòu)數(shù)據(jù)源；
9、對每個異構(gòu)數(shù)據(jù)源的數(shù)據(jù)內(nèi)容進行關(guān)聯(lián)分析，得到對應異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)列表，其中，所述關(guān)聯(lián)列表中包括與剩余每個數(shù)據(jù)源的關(guān)聯(lián)內(nèi)容集、與每個關(guān)聯(lián)內(nèi)容的關(guān)聯(lián)度以及對應關(guān)聯(lián)內(nèi)容基于相應異構(gòu)數(shù)據(jù)源的內(nèi)容重要性。
10、優(yōu)選的，構(gòu)建對應異構(gòu)數(shù)據(jù)源的分析函數(shù)，包括：
11、根據(jù)所述預定義指標集中每個預定義指標與異構(gòu)數(shù)據(jù)源的結(jié)構(gòu)特征的標準轉(zhuǎn)換關(guān)系，對相應結(jié)構(gòu)特征進行對應關(guān)系轉(zhuǎn)換得到基于對應預定義指標的第一參數(shù)值，并構(gòu)成參數(shù)集；
12、根據(jù)每個異構(gòu)數(shù)據(jù)源的應用場景，構(gòu)建對應異構(gòu)數(shù)據(jù)源的參數(shù)描述權(quán)重矩陣，其中，表示第1個應用場景的參數(shù)描述權(quán)重向量；表示第n個應用場景的參數(shù)描述權(quán)重向量；i的取值為1,2,3,...,m，m表示第m個預定義指標的參數(shù)描述；
13、捕捉下發(fā)所述業(yè)務需求的場景日志，并提取所述場景日志中的場景特定表示，進而根據(jù)所述場景特定表示的表示覆蓋值以及語義關(guān)聯(lián)值，確定與對應場景特定表示一致的表示權(quán)重；
14、;
15、其中，表示對應場景特定表示的語義關(guān)聯(lián)值；表示對應場景特定表示在場景日志中第d個日志段落中所處位置的關(guān)聯(lián)篇幅長度；表示場景日志中第d個日志段落的篇幅長度；表示基于所有的方差；表示對應場景特定表示在場景日志的第d個日志段落的關(guān)聯(lián)覆蓋比值；表示對應場景特定表示在場景日志的第d個日志段落的次數(shù)覆蓋比值；表示對應場景特定表示的表示覆蓋值；表示對應場景特定表示在場景日志中第d個日志段落中出現(xiàn)次數(shù)；表示場景日志中第d個日志段落中存在場景特征表示的總次數(shù)；d表示場景日志的日志段落總數(shù)；表示基于所有的方差；表示除對應場景特征表示的之外的剩余場景特定表示下所對應的關(guān)聯(lián)覆蓋比值的方差；表示除對應場景特征表示的之外的剩余場景特定表示下所對應的次數(shù)覆蓋比值的方差；
16、對所述表示權(quán)重進行大小排序，篩選大于預設權(quán)重所對應的所需場景；
17、對所述所需場景的表示權(quán)重進行權(quán)重調(diào)整，得到對應場景維度的維度權(quán)重；
18、;
19、其中，表示第r1個所需場景的維度權(quán)重；表示第r1個所需場景的表示權(quán)重；m1表示所需場景的數(shù)量；m2表示不大于預設權(quán)重所對應的所需場景的數(shù)量；ln表示對數(shù)函數(shù)符號；表示小于預設權(quán)重的所有表示權(quán)重的和；表示大于預設權(quán)重的表示權(quán)重中除去第r1個所需場景對應的表示權(quán)重后的剩余權(quán)重的方差；
20、依賴所述場景維度以及維度權(quán)重，且結(jié)合a0，構(gòu)建對應參數(shù)集的當下權(quán)重向量；
21、基于所述當下權(quán)重向量以及參數(shù)集，構(gòu)建分析函數(shù)。
22、優(yōu)選的，依賴所述場景維度以及維度權(quán)重，且結(jié)合a0，構(gòu)建對應參數(shù)集的當下權(quán)重向量，包括：
23、基于所述場景維度以及維度權(quán)重，構(gòu)建維度橫向量；
24、按照維度橫向量中所述所需場景的順序依次從參數(shù)描述權(quán)重矩陣a0中進行向量提取得到所需描述矩陣b0，并將所述維度橫向量分別與所述所需描述矩陣b0中的每列進行計算得到對應參數(shù)描述的權(quán)重，從而得到當下權(quán)重向量。
25、優(yōu)選的，對所有分析函數(shù)進行融合處理，確定出基于數(shù)據(jù)集成的線性參數(shù)以及非線性參數(shù)，包括：
26、對所有分析函數(shù)中的同個參數(shù)變量的參數(shù)系數(shù)進行提取，并進行系數(shù)曲線繪制，來確定對應的系數(shù)曲線是否趨于水平線性關(guān)系；
27、若趨于，將對應參數(shù)變量進行第一鎖定，得到線性參數(shù)；
28、否則，將對應參數(shù)變量進行第二鎖定，得到非線性參數(shù)。
29、優(yōu)選的，結(jié)合每個異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)列表來分別向?qū)悩?gòu)數(shù)據(jù)源配置抽象符號，包括：
30、對每個異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)內(nèi)容集按照線性參數(shù)以及非線性參數(shù)進行劃分，得到針對每個線性參數(shù)的線性內(nèi)容以及針對每個非線性參數(shù)的非線性內(nèi)容；
31、依據(jù)每個線性內(nèi)容中涉及到的與每個關(guān)聯(lián)內(nèi)容的關(guān)聯(lián)度得到第一總度，依據(jù)基于每個線性內(nèi)容基于相應異構(gòu)數(shù)據(jù)源的內(nèi)容重要性，得到篩選值；
32、從同個線性參數(shù)對應的所有篩選值中提取最大值，并鎖定最大值所屬異構(gòu)數(shù)據(jù)源的匹配內(nèi)容進行鎖定，并設置第一集成符號；
33、向同個線性參數(shù)對應的剩余異構(gòu)數(shù)據(jù)源的匹配內(nèi)容設置調(diào)取符號，且結(jié)合所述第一集成符號，來對不同異構(gòu)數(shù)據(jù)源中同個線性參數(shù)設置第一最終符號；
34、依據(jù)每個非線性內(nèi)容中涉及到的與每個關(guān)聯(lián)內(nèi)容的關(guān)聯(lián)度得到第二總度，并對同個非線性參數(shù)涉及到的所有第二總度進行大小排序，來依次與相應異構(gòu)數(shù)據(jù)源的內(nèi)容匹配，并分別設置第二最終符號；
35、對每個異構(gòu)數(shù)據(jù)源中涉及到的參數(shù)變量所設置的最終符號進行統(tǒng)計，得到抽象符號。
36、優(yōu)選的，對所述業(yè)務需求進行解析并對所述抽象符號進行優(yōu)化得到統(tǒng)一符號，包括：
37、將所述業(yè)務需求輸入到需求解析模型中，分別得到每個需求參數(shù)的參數(shù)重要性；
38、將所述需求參數(shù)與參數(shù)變量進行對照分析，且結(jié)合參數(shù)重要性得到非重要變量；
39、對非重要變量中屬于線性參數(shù)的本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，步驟1，包括：
3.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，構(gòu)建對應異構(gòu)數(shù)據(jù)源的分析函數(shù)，包括：
4.根據(jù)權(quán)利要求3所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，依賴所述場景維度以及維度權(quán)重，且結(jié)合A0，構(gòu)建對應參數(shù)集的當下權(quán)重向量，包括：
5.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，對所有分析函數(shù)進行融合處理，確定出基于數(shù)據(jù)集成的線性參數(shù)以及非線性參數(shù)，包括：
6.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，結(jié)合每個異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)列表來分別向?qū)悩?gòu)數(shù)據(jù)源配置抽象符號，包括：
7.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，對所述業(yè)務需求進行解析并對所述抽象符號進行優(yōu)化得到統(tǒng)一符號，包括：
8.一種基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成系統(tǒng)，其特征在于，包括：
【技術(shù)特征摘要】
1.一種基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，步驟1，包括：
3.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，構(gòu)建對應異構(gòu)數(shù)據(jù)源的分析函數(shù)，包括：
4.根據(jù)權(quán)利要求3所述的基于數(shù)據(jù)虛擬化的智能數(shù)據(jù)集成方法，其特征在于，依賴所述場景維度以及維度權(quán)重，且結(jié)合a0，構(gòu)建對應參數(shù)集的當下權(quán)重向量，包括：
5.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)虛擬...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄧崗，
申請(專利權(quán))人：北京億智云科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。