【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及大數(shù)據(jù)處理領(lǐng)域，具體涉及一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)。
技術(shù)介紹
1、人工智能（ai）技術(shù)能夠增強(qiáng)大數(shù)據(jù)處理分析的能力，對(duì)于企業(yè)而言，利用ai技術(shù)使企業(yè)能夠從大數(shù)據(jù)中獲得更深入的洞察，做出更智能的決策，并提高競(jìng)爭(zhēng)力，實(shí)現(xiàn)商業(yè)數(shù)據(jù)智能化。
2、現(xiàn)有的大數(shù)據(jù)處理及管理系統(tǒng)在處理數(shù)據(jù)時(shí)，大多數(shù)未能對(duì)數(shù)據(jù)收集處理過(guò)程進(jìn)行優(yōu)化，使得數(shù)據(jù)的質(zhì)量得到保障以及保護(hù)敏感數(shù)據(jù)不外泄；沒(méi)有進(jìn)一步評(píng)估聚類(lèi)結(jié)果和真實(shí)結(jié)果的一致性從而未能提高聚類(lèi)效果的準(zhǔn)確性和魯棒性，導(dǎo)致無(wú)法更精準(zhǔn)挖掘數(shù)據(jù)中的潛在價(jià)值；也沒(méi)有對(duì)數(shù)據(jù)傳輸過(guò)程進(jìn)行分析從而無(wú)法提高系統(tǒng)整體效率和響應(yīng)速度。
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)的目的是提供一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，以解決
技術(shù)介紹
中的不足。
2、本專(zhuān)利技術(shù)的目的可以通過(guò)以下技術(shù)方案實(shí)現(xiàn)：一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，包括數(shù)據(jù)采集模塊，用于從多個(gè)數(shù)據(jù)源中采集數(shù)據(jù)，對(duì)數(shù)據(jù)采集過(guò)程進(jìn)行監(jiān)控并記錄日志和數(shù)據(jù)采集時(shí)間；
3、預(yù)處理分配模塊，通過(guò)對(duì)接收的采集數(shù)據(jù)利用訓(xùn)練好的隨機(jī)森林模型實(shí)施預(yù)處理以及隱私判斷；并根據(jù)判斷結(jié)果中的標(biāo)簽來(lái)將元數(shù)據(jù)上傳至私有鏈或者公有鏈；
4、數(shù)據(jù)分析模塊，構(gòu)建k-means聚類(lèi)算法模型對(duì)原始數(shù)據(jù)集進(jìn)行分組，計(jì)算每個(gè)特征向量和簇中心之間的相似距離，并評(píng)估聚類(lèi)結(jié)果與真實(shí)分類(lèi)的一致性；
5、通過(guò)對(duì)數(shù)據(jù)傳輸過(guò)程進(jìn)行分析，獲取數(shù)據(jù)傳輸干擾比和數(shù)據(jù)傳輸速率，評(píng)估數(shù)據(jù)傳輸?shù)男Ч黄渲校@取當(dāng)前時(shí)刻
6、計(jì)算公式為：；
7、式中，t為傳輸時(shí)延，q為當(dāng)前時(shí)刻傳輸數(shù)據(jù)的幀長(zhǎng)度，c表示傳輸數(shù)據(jù)的信號(hào)寬度，w表示調(diào)制電平數(shù)；
8、計(jì)算數(shù)據(jù)傳輸異常系數(shù)：；
9、式中yc是數(shù)據(jù)傳輸異常系數(shù)，α是數(shù)據(jù)傳輸干擾比的權(quán)重系數(shù)，β是傳輸時(shí)延的權(quán)重系數(shù)；
10、將獲取的數(shù)據(jù)傳輸異常系數(shù)，與數(shù)據(jù)傳輸閾值作比較，若數(shù)據(jù)傳輸異常系數(shù)≥數(shù)據(jù)傳輸閾值，則分析數(shù)據(jù)傳輸干擾比和傳輸時(shí)延，判斷出其中高于常值的值，針對(duì)判斷結(jié)果采取措施優(yōu)化網(wǎng)絡(luò)配置；
11、若數(shù)據(jù)傳輸異常系數(shù)＜數(shù)據(jù)傳輸閾值，則說(shuō)明數(shù)據(jù)傳輸過(guò)程正常，暫時(shí)不需要進(jìn)行升級(jí)；其中，數(shù)據(jù)傳輸閾值是根據(jù)系統(tǒng)實(shí)際情況進(jìn)行預(yù)設(shè)。
12、優(yōu)選地，數(shù)據(jù)采集模塊，用于同時(shí)接入多種類(lèi)型的數(shù)據(jù)源，確保從不同渠道獲取所需數(shù)據(jù)內(nèi)容，并將采集到的數(shù)據(jù)整合成統(tǒng)一的格式，以便于后續(xù)的處理和分析；其中，多個(gè)數(shù)據(jù)源包括但不限于傳感器、數(shù)據(jù)庫(kù)、api接口。
13、優(yōu)選地，預(yù)處理分配模塊，通過(guò)對(duì)接收的采集數(shù)據(jù)實(shí)施預(yù)處理，將采集的數(shù)據(jù)按采集時(shí)間順序排列組合，對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，利用訓(xùn)練好的隨機(jī)森林模型，對(duì)異常數(shù)據(jù)進(jìn)行識(shí)別和剔除；
14、輸入預(yù)處理的數(shù)據(jù)，基于包含m個(gè)決策樹(shù)的隨機(jī)森林模型，對(duì)于每棵樹(shù)，根據(jù)記錄數(shù)據(jù)點(diǎn)從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的路徑信息，隨機(jī)森林模型會(huì)計(jì)算從樹(shù)的根節(jié)點(diǎn)到該數(shù)據(jù)點(diǎn)所在的葉節(jié)點(diǎn)所經(jīng)過(guò)的邊數(shù)，即數(shù)據(jù)點(diǎn)的路徑長(zhǎng)度，使用訓(xùn)練好的每棵樹(shù)平均路徑長(zhǎng)度來(lái)標(biāo)準(zhǔn)化這個(gè)路徑長(zhǎng)度，得到異常分?jǐn)?shù)；
15、計(jì)算公式為：；
16、式中，表示路徑長(zhǎng)度的期望；
17、根據(jù)獲取每棵樹(shù)的數(shù)據(jù)點(diǎn)所對(duì)應(yīng)的異常分?jǐn)?shù)，計(jì)算所有決策樹(shù)的數(shù)據(jù)點(diǎn)所對(duì)應(yīng)的異常分?jǐn)?shù)總和；
18、計(jì)算公式為：；
19、式中，表示所有決策樹(shù)的數(shù)據(jù)點(diǎn)所對(duì)應(yīng)的異常分?jǐn)?shù)總和；表示第i個(gè)數(shù)據(jù)點(diǎn)；
20、設(shè)定一個(gè)閾值，標(biāo)記為h，若>h，則將對(duì)應(yīng)的數(shù)據(jù)點(diǎn)標(biāo)記為異常；若≤h，則將對(duì)應(yīng)的數(shù)據(jù)點(diǎn)標(biāo)記為正常；其中，閾值h是根據(jù)實(shí)際正常數(shù)據(jù)所計(jì)算得到的；
21、遍歷采集日志對(duì)正常數(shù)據(jù)按照數(shù)據(jù)類(lèi)型進(jìn)行分類(lèi)，整合同一類(lèi)型的正常數(shù)據(jù)為元數(shù)據(jù)，包括數(shù)據(jù)內(nèi)容、來(lái)源、格式。
22、優(yōu)選地，實(shí)施隱私判斷時(shí)，獲取元數(shù)據(jù)的數(shù)據(jù)內(nèi)容并與預(yù)設(shè)的敏感信息進(jìn)行匹配，若匹配成功，則將該數(shù)據(jù)內(nèi)容所對(duì)應(yīng)的元數(shù)據(jù)標(biāo)記上隱私標(biāo)簽；若匹配失敗，則將該數(shù)據(jù)內(nèi)容所對(duì)應(yīng)的元數(shù)據(jù)標(biāo)記上公開(kāi)標(biāo)簽；其中，敏感信息包括個(gè)人隱私信息、受保護(hù)的健康信息；
23、公開(kāi)標(biāo)簽或者隱私標(biāo)簽構(gòu)成判斷結(jié)果；
24、對(duì)判斷結(jié)果進(jìn)行遍歷，將隱私標(biāo)簽所對(duì)應(yīng)的元數(shù)據(jù)標(biāo)記為隱私數(shù)據(jù)上傳至私有鏈來(lái)進(jìn)行數(shù)據(jù)存儲(chǔ)，將公開(kāi)標(biāo)簽所對(duì)應(yīng)的元數(shù)據(jù)標(biāo)記為公開(kāi)數(shù)據(jù)上傳至公有鏈來(lái)進(jìn)行數(shù)據(jù)更新。
25、優(yōu)選地，數(shù)據(jù)分析模塊，從數(shù)據(jù)倉(cāng)庫(kù)中提取預(yù)處理后的數(shù)據(jù)集，構(gòu)建k-means聚類(lèi)算法模型對(duì)數(shù)據(jù)集進(jìn)行分組，結(jié)合手肘法確定最佳的k值和初始的簇中心點(diǎn)，并驗(yàn)證聚類(lèi)結(jié)果與真實(shí)分類(lèi)的一致性；
26、選擇k值范圍，k≥1且為正整數(shù)，隨機(jī)選擇k個(gè)數(shù)據(jù)點(diǎn)作為初始的簇中心，形成k個(gè)簇，建立每個(gè)數(shù)據(jù)對(duì)應(yīng)的特征向量，其中特征向量是由數(shù)據(jù)點(diǎn)的量化屬性構(gòu)成，計(jì)算每個(gè)特征向量和k個(gè)簇中心之間的相似距離；
27、計(jì)算公式為：；
28、式中，x為當(dāng)前計(jì)算的特征向量，c為當(dāng)前簇中心對(duì)應(yīng)的預(yù)設(shè)特征向量，dist(x,c)表示特征向量和簇中心之間的相似距離，ed(x,c)表示特征向量和簇中心之間的歐式距離，md(x,c)表示特征向量和簇中心之間的曼哈頓距離，cd(x,c)表示特征向量和簇中心之間的余弦距離，ω1、ω2、ω3分別為不同的權(quán)重系數(shù)；
29、其中，歐氏距離的計(jì)算公式為：；
30、式中，是第j個(gè)簇中心，是第i個(gè)數(shù)據(jù)點(diǎn)；
31、曼哈頓距離的計(jì)算公式為：；
32、余弦距離的計(jì)算公式為：；
33、式中，表示向量x和c的點(diǎn)積，、分別表示向量x和c的歐幾里得范數(shù)。
34、優(yōu)選地，根據(jù)獲取的相似距離分配每個(gè)數(shù)據(jù)到最近的簇中心，對(duì)于每個(gè)k值，計(jì)算每個(gè)數(shù)據(jù)到其所屬簇中心的歐氏距離的平方和sse(k)；
35、計(jì)算公式為：；
36、式中，n是數(shù)據(jù)點(diǎn)x的總數(shù)，c是當(dāng)前k值下的簇中心的集合，是第j個(gè)簇中心，是數(shù)據(jù)到其最近簇中心的歐幾里得距離的平方；
37、重復(fù)以上步驟，直到簇中心不再顯著變化或達(dá)到預(yù)先設(shè)定的迭代次數(shù)；
38、畫(huà)出k值與對(duì)應(yīng)sse(k)的折線圖，并尋找sse(k)快速下降趨緩的“肘部”點(diǎn)，該點(diǎn)的k值即為最優(yōu)的聚類(lèi)數(shù)量，使用選定的最優(yōu)k值執(zhí)行k-means算法，得到最終的聚類(lèi)結(jié)果。
39、優(yōu)選地，將最終得到的聚類(lèi)結(jié)果與真實(shí)分類(lèi)進(jìn)行比對(duì)，評(píng)估聚類(lèi)結(jié)果與真實(shí)分類(lèi)的一致性，計(jì)算ri；
40、計(jì)算公式為：；
41、式中，tp是兩個(gè)相同類(lèi)數(shù)據(jù)被分配到同一簇，tn是兩個(gè)不同類(lèi)數(shù)據(jù)被分配到不同簇；c(n,2)是從n個(gè)數(shù)據(jù)點(diǎn)中選取兩個(gè)數(shù)據(jù)的組合數(shù)；ri是用于衡量聚類(lèi)結(jié)果與真實(shí)分類(lèi)的一致性；
42、ri值在0到1之間，值越接近1表示聚類(lèi)效果越好，聚類(lèi)結(jié)果與真實(shí)分類(lèi)的一致性越好；
43、對(duì)ri進(jìn)行歸一化調(diào)整，計(jì)算ari；
44、計(jì)算公式為：；
45、式中，e(本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，包括數(shù)據(jù)采集模塊，用于從多個(gè)數(shù)據(jù)源中采集數(shù)據(jù)，對(duì)數(shù)據(jù)采集過(guò)程進(jìn)行監(jiān)控并記錄日志和數(shù)據(jù)采集時(shí)間；
2.根據(jù)權(quán)利要求1所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，數(shù)據(jù)采集模塊，用于同時(shí)接入多種類(lèi)型的數(shù)據(jù)源，確保從不同渠道獲取所需數(shù)據(jù)內(nèi)容，并將采集到的數(shù)據(jù)整合成統(tǒng)一的格式，以便于后續(xù)的處理和分析；其中，多個(gè)數(shù)據(jù)源包括但不限于傳感器、數(shù)據(jù)庫(kù)、API接口。
3.根據(jù)權(quán)利要求2所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，預(yù)處理分配模塊，通過(guò)對(duì)接收的采集數(shù)據(jù)實(shí)施預(yù)處理，將采集的數(shù)據(jù)按采集時(shí)間順序排列組合，對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，利用訓(xùn)練好的隨機(jī)森林模型，對(duì)異常數(shù)據(jù)進(jìn)行識(shí)別和剔除；
4.根據(jù)權(quán)利要求3所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，實(shí)施隱私判斷時(shí)，獲取元數(shù)據(jù)的數(shù)據(jù)內(nèi)容并與預(yù)設(shè)的敏感信息進(jìn)行匹配，若匹配成功，則將該數(shù)據(jù)內(nèi)容所對(duì)應(yīng)的元數(shù)據(jù)標(biāo)記上隱私標(biāo)簽；若匹配失敗，則將該數(shù)據(jù)內(nèi)容所對(duì)應(yīng)的元數(shù)據(jù)標(biāo)記上公開(kāi)標(biāo)簽；其中，敏感信息包括個(gè)人隱私信息、受保護(hù)的健康信息；
5.根據(jù)權(quán)
6.根據(jù)權(quán)利要求5所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，根據(jù)獲取的相似距離分配每個(gè)數(shù)據(jù)到最近的簇中心，對(duì)于每個(gè)k值，計(jì)算每個(gè)數(shù)據(jù)到其所屬簇中心的歐氏距離的平方和SSE(k)；
7.根據(jù)權(quán)利要求6所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，將最終得到的聚類(lèi)結(jié)果與真實(shí)分類(lèi)進(jìn)行比對(duì)，評(píng)估聚類(lèi)結(jié)果與真實(shí)分類(lèi)的一致性，計(jì)算RI；
8.根據(jù)權(quán)利要求1所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，創(chuàng)建大數(shù)據(jù)集成平臺(tái)用于促進(jìn)不同模塊之間的通信和數(shù)據(jù)交換，并根據(jù)數(shù)據(jù)傳輸過(guò)程中獲取的異常系數(shù)，對(duì)數(shù)據(jù)傳輸過(guò)程做評(píng)估；
...【技術(shù)特征摘要】
1.一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，包括數(shù)據(jù)采集模塊，用于從多個(gè)數(shù)據(jù)源中采集數(shù)據(jù)，對(duì)數(shù)據(jù)采集過(guò)程進(jìn)行監(jiān)控并記錄日志和數(shù)據(jù)采集時(shí)間；
2.根據(jù)權(quán)利要求1所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，數(shù)據(jù)采集模塊，用于同時(shí)接入多種類(lèi)型的數(shù)據(jù)源，確保從不同渠道獲取所需數(shù)據(jù)內(nèi)容，并將采集到的數(shù)據(jù)整合成統(tǒng)一的格式，以便于后續(xù)的處理和分析；其中，多個(gè)數(shù)據(jù)源包括但不限于傳感器、數(shù)據(jù)庫(kù)、api接口。
3.根據(jù)權(quán)利要求2所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，預(yù)處理分配模塊，通過(guò)對(duì)接收的采集數(shù)據(jù)實(shí)施預(yù)處理，將采集的數(shù)據(jù)按采集時(shí)間順序排列組合，對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，利用訓(xùn)練好的隨機(jī)森林模型，對(duì)異常數(shù)據(jù)進(jìn)行識(shí)別和剔除；
4.根據(jù)權(quán)利要求3所述的一種人工智能的大數(shù)據(jù)處理與管理系統(tǒng)，其特征在于，實(shí)施隱私判斷時(shí)，獲取元數(shù)據(jù)的數(shù)據(jù)內(nèi)容并與預(yù)設(shè)的敏感信息進(jìn)行匹配，若匹配成功，則將該數(shù)據(jù)內(nèi)容所對(duì)應(yīng)的元數(shù)據(jù)標(biāo)記上隱私標(biāo)簽；若匹配失敗，則將該數(shù)據(jù)內(nèi)容所對(duì)應(yīng)的元...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：馬磊，張凱，
申請(qǐng)(專(zhuān)利權(quán))人：東臺(tái)奧凱新能源發(fā)展有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。