一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法技術(shù)方案

本發(fā)明專利技術(shù)涉及數(shù)據(jù)總線領(lǐng)域，具體的說是一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法，包括數(shù)據(jù)抓取模塊、數(shù)據(jù)分類模塊、數(shù)據(jù)整合模塊以及數(shù)據(jù)處理模塊，所述數(shù)據(jù)抓取模塊包括數(shù)據(jù)接收、數(shù)據(jù)抓取以及數(shù)據(jù)傳輸，所述數(shù)據(jù)分類模塊包括數(shù)據(jù)分析與數(shù)據(jù)歸類，通過關(guān)鍵詞對接受的信息進(jìn)行首次區(qū)分，其中合格的信息會直接傳輸至數(shù)據(jù)中心，然后將不合格的信息進(jìn)行二次的分析對比，其中重復(fù)率超高的信息直接注入多余數(shù)據(jù)庫，而重復(fù)率較高的信息在整合后，與重復(fù)率較低的信息全部傳輸至數(shù)據(jù)中心，而多余數(shù)據(jù)庫在使用并沒有進(jìn)行搜索使用的情況下每隔一段時(shí)間進(jìn)行刪除，從而避免大量無用數(shù)據(jù)占據(jù)空間以及大量的重復(fù)信息占用使用者閱讀時(shí)間。以及大量的重復(fù)信息占用使用者閱讀時(shí)間。以及大量的重復(fù)信息占用使用者閱讀時(shí)間。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法


[0001]本專利技術(shù)涉及數(shù)據(jù)總線領(lǐng)域，具體說的是一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法。

技術(shù)介紹

[0002]總線(Bus)是指計(jì)算機(jī)組件間規(guī)范化的交換數(shù)據(jù)(data)的方式，即以一種通用的方式為各組件提供數(shù)據(jù)傳送和控制邏輯。從另一個(gè)角度來看，如果說主板(MotherBoard)是一座城市，那么總線就像是城市里的公共汽車(bus)，能按照固定行車路線，傳輸來回不停運(yùn)作的比特(bit)。
[0003]而現(xiàn)在隨著時(shí)代的變化網(wǎng)絡(luò)已經(jīng)步入生活中的各個(gè)部分，而現(xiàn)代人們信息的接受也大部分都是通過網(wǎng)絡(luò)的，而網(wǎng)絡(luò)上的信息隨著人們的傳播，其中使得人們接受到重復(fù)的信息會大幅度的提高，而重復(fù)的信息會造成全新信息的沉淀以及閱讀時(shí)所需的時(shí)間，從而并不利用人們接受網(wǎng)絡(luò)上的信息，對此有必要提出一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法。

技術(shù)實(shí)現(xiàn)思路

[0004]針對現(xiàn)有技術(shù)中的問題，本專利技術(shù)提供了一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法。
[0005]本專利技術(shù)解決其技術(shù)問題所采用的技術(shù)方案是：一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)，包括數(shù)據(jù)抓取模塊、數(shù)據(jù)分類模塊、數(shù)據(jù)整合模塊以及數(shù)據(jù)處理模塊。
[0006]具體的，A：所述數(shù)據(jù)抓取模塊包括數(shù)據(jù)接收、數(shù)據(jù)抓取以及數(shù)據(jù)傳輸；
[0007]B：所述數(shù)據(jù)分類模塊包括數(shù)據(jù)分析與數(shù)據(jù)歸類；
[0008]C：所述數(shù)據(jù)整合模塊包括歸類數(shù)據(jù)整合與多余數(shù)據(jù)整合；
[0009]D：所述數(shù)據(jù)處理模塊包括整合數(shù)據(jù)發(fā)布以及多余數(shù)據(jù)刪除。
[0010]具體的，所述數(shù)據(jù)接收是通過數(shù)據(jù)總線對外部的數(shù)據(jù)進(jìn)行接受，然后再將接受的數(shù)據(jù)傳遞至分析服務(wù)器中；所述數(shù)據(jù)抓取是在分析服務(wù)器中對接受的數(shù)據(jù)進(jìn)行分析后，然后再將需要提取的數(shù)據(jù)提取出來；所述數(shù)據(jù)傳輸是對需要傳輸?shù)臄?shù)據(jù)進(jìn)行傳輸。
[0011]具體的，所述數(shù)據(jù)分析是對抓取的數(shù)據(jù)進(jìn)行分析，將其中重合的數(shù)據(jù)進(jìn)行標(biāo)記，再將正常的數(shù)據(jù)傳輸至數(shù)據(jù)中心，然后再將標(biāo)記的數(shù)據(jù)抓取出來；所述數(shù)據(jù)歸類是將標(biāo)記的數(shù)據(jù)按照重合的內(nèi)容，每種重合的數(shù)據(jù)歸位一個(gè)分類方便后續(xù)的分別。
[0012]具體的，所述歸類數(shù)據(jù)整合是將分類的重合的數(shù)據(jù)進(jìn)行整合，可以將其中重復(fù)的數(shù)據(jù)提取出來并將其傳輸至多余數(shù)據(jù)庫內(nèi)，而整合后的數(shù)據(jù)會歸入整合數(shù)據(jù)庫中，而僅僅是重合率較高的正常數(shù)據(jù)也歸入整合數(shù)據(jù)庫中；所述多余數(shù)據(jù)整合是將重復(fù)的數(shù)據(jù)進(jìn)行整合打包，從而方便后續(xù)的處理。
[0013]具體的，所述整合數(shù)據(jù)發(fā)布是將整合數(shù)據(jù)庫中的整合后的數(shù)據(jù)以及重合率較高的正常數(shù)據(jù)進(jìn)行傳輸，將其與之前的正常的數(shù)據(jù)一致傳輸至數(shù)據(jù)中心；所述多余數(shù)據(jù)刪除是
在對多余數(shù)據(jù)庫中的多余數(shù)據(jù)保存一段時(shí)間，在一段時(shí)間使用者沒有使用該數(shù)據(jù)的情況下，再對其進(jìn)行刪除處理。
[0014]具體的，所述數(shù)據(jù)整合將重合率為40％以上的數(shù)據(jù)歸入重合數(shù)據(jù)，然后再對重合數(shù)據(jù)數(shù)據(jù)進(jìn)行清理，將其中不重復(fù)的部分歸入主體的重合數(shù)據(jù)中，然后再將其歸入整合數(shù)據(jù)庫，而重合率為40％以下的數(shù)據(jù)也歸入整合數(shù)據(jù)庫中，從而避免大量重復(fù)的數(shù)據(jù)出現(xiàn)。
[0015]一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)的使用方法，
[0016]第一步：首先通過數(shù)據(jù)總線對外部的數(shù)據(jù)進(jìn)行接受，然后再將接受的數(shù)據(jù)傳遞至分析服務(wù)器中，而分析服務(wù)器對數(shù)據(jù)中的關(guān)鍵詞進(jìn)行抓取，當(dāng)關(guān)鍵詞重復(fù)率較高的數(shù)據(jù)會被留下，而重復(fù)率較低或者不重復(fù)的數(shù)據(jù)會向后傳輸至數(shù)據(jù)中心以供后續(xù)使用；
[0017]第二步：被留下的重復(fù)率較高的數(shù)據(jù)會進(jìn)行二次分析，其會將重合率為40％以上的數(shù)據(jù)進(jìn)行標(biāo)記，而重合率為40％以下的會直接進(jìn)入傳輸進(jìn)入整合數(shù)據(jù)庫中，然后再將重合率為40％以上的數(shù)據(jù)單獨(dú)進(jìn)行提?。?br/>[0018]第三步：將重合率為40％以上的數(shù)據(jù)進(jìn)行拆分，其中重合率高于60％的數(shù)據(jù)保留一個(gè)而其他的全部數(shù)據(jù)傳輸至多余數(shù)據(jù)庫中，而40％
?
60％之間的數(shù)據(jù)保留一個(gè)主體，而將其中部分不重復(fù)的數(shù)據(jù)提取出來并化為鏈接保留在主體上，然后再將的全部數(shù)據(jù)傳輸至多余數(shù)據(jù)庫中；
[0019]第四步：將需要?jiǎng)h除的數(shù)據(jù)保留一段時(shí)間，在使用者的使用過程中如果需要使用到該段數(shù)據(jù)可以進(jìn)行再次的搜索提取，而使用者不需要使用時(shí)則在一段時(shí)間后自然粉碎清理，從而避免大量無用數(shù)據(jù)占據(jù)空間以及大量的重復(fù)信息占用閱讀時(shí)間。
[0020]本專利技術(shù)的有益效果：本專利技術(shù)所述的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法，在使用時(shí)，通過關(guān)鍵詞對接受的信息進(jìn)行首次區(qū)分，其中合格的信息會直接傳輸至數(shù)據(jù)中心，然后將不合格的信息進(jìn)行二次的分析對比，其中重復(fù)率超高的信息直接注入多余數(shù)據(jù)庫，而重復(fù)率較高的信息在整合后，與重復(fù)率較低的信息全部傳輸至數(shù)據(jù)中心，而多余數(shù)據(jù)庫在使用并沒有進(jìn)行搜索使用的情況下每隔一段時(shí)間進(jìn)行刪除，從而避免大量無用數(shù)據(jù)占據(jù)空間以及大量的重復(fù)信息占用使用者閱讀時(shí)間。
附圖說明
[0021]下面結(jié)合附圖和實(shí)施例對本專利技術(shù)進(jìn)一步說明。
[0022]圖1為本專利技術(shù)提供的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法的整體系統(tǒng)運(yùn)行流程示意圖；
[0023]圖2為本專利技術(shù)提供的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法的數(shù)據(jù)分析系統(tǒng)運(yùn)行流程示意圖；
[0024]圖3為本專利技術(shù)提供的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)和方法的二次分析系統(tǒng)運(yùn)行流程示意圖。
[0025]圖中：。
具體實(shí)施方式
[0026]為了使本專利技術(shù)實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體實(shí)施方式，進(jìn)一步闡述本專利技術(shù)。
[0027]如圖1
?
圖3所示，本專利技術(shù)所述的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)，包括數(shù)據(jù)抓取模塊、數(shù)據(jù)分類模塊、數(shù)據(jù)整合模塊以及數(shù)據(jù)處理模塊。
[0028]其中，A：數(shù)據(jù)抓取模塊包括數(shù)據(jù)接收、數(shù)據(jù)抓取以及數(shù)據(jù)傳輸；
[0029]B：數(shù)據(jù)分類模塊包括數(shù)據(jù)分析與數(shù)據(jù)歸類；
[0030]C：數(shù)據(jù)整合模塊包括歸類數(shù)據(jù)整合與多余數(shù)據(jù)整合；
[0031]D：數(shù)據(jù)處理模塊包括整合數(shù)據(jù)發(fā)布以及多余數(shù)據(jù)刪除。
[0032]其中，數(shù)據(jù)接收是通過數(shù)據(jù)總線對外部的數(shù)據(jù)進(jìn)行接受，然后再將接受的數(shù)據(jù)傳遞至分析服務(wù)器中；數(shù)據(jù)抓取是在分析服務(wù)器中對接受的數(shù)據(jù)進(jìn)行分析后，然后再將需要提取的數(shù)據(jù)提取出來；數(shù)據(jù)傳輸是對需要傳輸?shù)臄?shù)據(jù)進(jìn)行傳輸。
[0033]其中，數(shù)據(jù)分析是對抓取的數(shù)據(jù)進(jìn)行分析，將其中重合的數(shù)據(jù)進(jìn)行標(biāo)記，再將正常的數(shù)據(jù)傳輸至數(shù)據(jù)中心，然后再將標(biāo)記的數(shù)據(jù)抓取出來；數(shù)據(jù)歸類是將標(biāo)記的數(shù)據(jù)按照重合的內(nèi)容，每種重合的數(shù)據(jù)歸位一個(gè)分類方便后續(xù)的分別。
[0034]其中，歸類數(shù)據(jù)整合是將分類的重合的數(shù)據(jù)進(jìn)行整合，可以將其中重復(fù)的數(shù)據(jù)提取出來并將其傳輸至多余數(shù)據(jù)庫內(nèi)，而整合后的數(shù)據(jù)會歸入整合數(shù)據(jù)庫中，而僅僅是重合率較高的正常數(shù)據(jù)也歸入整合數(shù)據(jù)庫中；多余數(shù)據(jù)整合是將重復(fù)的數(shù)據(jù)進(jìn)行整合打包，從而方便后續(xù)的處理。
[0035]其中，整合數(shù)據(jù)發(fā)布是將整合數(shù)據(jù)庫中的整合后的數(shù)據(jù)以及重合率本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)，其特征在于：包括數(shù)據(jù)抓取模塊、數(shù)據(jù)分類模塊、數(shù)據(jù)整合模塊以及數(shù)據(jù)處理模塊。2.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)，其特征在于：A：所述數(shù)據(jù)抓取模塊包括數(shù)據(jù)接收、數(shù)據(jù)抓取以及數(shù)據(jù)傳輸；B：所述數(shù)據(jù)分類模塊包括數(shù)據(jù)分析與數(shù)據(jù)歸類；C：所述數(shù)據(jù)整合模塊包括歸類數(shù)據(jù)整合與多余數(shù)據(jù)整合；D：所述數(shù)據(jù)處理模塊包括整合數(shù)據(jù)發(fā)布以及多余數(shù)據(jù)刪除。3.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)，其特征在于：所述數(shù)據(jù)接收是通過數(shù)據(jù)總線對外部的數(shù)據(jù)進(jìn)行接受，然后再將接受的數(shù)據(jù)傳遞至分析服務(wù)器中；所述數(shù)據(jù)抓取是在分析服務(wù)器中對接受的數(shù)據(jù)進(jìn)行分析后，然后再將需要提取的數(shù)據(jù)提取出來；所述數(shù)據(jù)傳輸是對需要傳輸?shù)臄?shù)據(jù)進(jìn)行傳輸。4.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)，其特征在于：所述數(shù)據(jù)分析是對抓取的數(shù)據(jù)進(jìn)行分析，將其中重合的數(shù)據(jù)進(jìn)行標(biāo)記，再將正常的數(shù)據(jù)傳輸至數(shù)據(jù)中心，然后再將標(biāo)記的數(shù)據(jù)抓取出來；所述數(shù)據(jù)歸類是將標(biāo)記的數(shù)據(jù)按照重合的內(nèi)容，每種重合的數(shù)據(jù)歸位一個(gè)分類方便后續(xù)的分別。5.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)，其特征在于：所述歸類數(shù)據(jù)整合是將分類的重合的數(shù)據(jù)進(jìn)行整合，可以將其中重復(fù)的數(shù)據(jù)提取出來并將其傳輸至多余數(shù)據(jù)庫內(nèi)，而整合后的數(shù)據(jù)會歸入整合數(shù)據(jù)庫中，而僅僅是重合率較高的正常數(shù)據(jù)也歸入整合數(shù)據(jù)庫中；所述多余數(shù)據(jù)整合是將重復(fù)的數(shù)據(jù)進(jìn)行整合打包，從而方便后續(xù)的處理。6.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)總線的數(shù)據(jù)融合處理系統(tǒng)，其特征在于：所述整合數(shù)據(jù)發(fā)布是將整合數(shù)據(jù)庫中的整合后的數(shù)據(jù)以及重合率較高的正常數(shù)據(jù)進(jìn)行傳輸，將其與之前的正常的數(shù)據(jù)一致傳輸至數(shù)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張維佳，賈勝勇，辛少飛，范育敏，于智純，
申請(專利權(quán))人：陜西東潤科技有限公司，
類型：發(fā)明
國別省市：