本發(fā)明專利技術(shù)涉及基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法及系統(tǒng)，實(shí)現(xiàn)方法如下：構(gòu)建項(xiàng)目框架，依據(jù)數(shù)據(jù)子項(xiàng)的預(yù)估大小進(jìn)行虛擬分布式存儲，獲取最終反饋的多個(gè)存儲節(jié)點(diǎn)地址數(shù)據(jù)，采用設(shè)定的私密加密算法，對選定的全部存儲節(jié)點(diǎn)進(jìn)行加密；在設(shè)定的采集范圍內(nèi)持續(xù)采集實(shí)時(shí)數(shù)據(jù)包，對于匹配成功的實(shí)時(shí)數(shù)據(jù)包進(jìn)行如下處理：若當(dāng)前存在與數(shù)據(jù)子項(xiàng)對應(yīng)的存儲節(jié)點(diǎn)的剩余空間大于實(shí)時(shí)數(shù)據(jù)包的大小，則將實(shí)時(shí)數(shù)據(jù)包直接存入該存儲節(jié)點(diǎn)；否則，將實(shí)時(shí)數(shù)據(jù)包通過分片算法進(jìn)行分片處理后進(jìn)行分布式存儲在與相匹配的數(shù)據(jù)子項(xiàng)對應(yīng)的多個(gè)存儲節(jié)點(diǎn)中；應(yīng)用本申請的方式方法，免去了數(shù)據(jù)整體性效驗(yàn)步驟，避免了可能對數(shù)據(jù)流處理中帶來的數(shù)據(jù)堵塞情況。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及分布式存儲，更具體地說，涉及一種基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法及系統(tǒng)。
技術(shù)介紹
1、數(shù)據(jù)流處理是一種對實(shí)時(shí)、連續(xù)、無限的數(shù)據(jù)流進(jìn)行實(shí)時(shí)分析和處理的技術(shù)，數(shù)據(jù)流具有無限性、實(shí)時(shí)性、快速性和易失性等特點(diǎn)，被廣泛應(yīng)用于傳感器數(shù)據(jù)監(jiān)測、網(wǎng)絡(luò)日志分析、金融交易等領(lǐng)域；
2、目前，在數(shù)據(jù)流處理中的數(shù)據(jù)分布式存儲，大都只是簡單的將采集到的數(shù)據(jù)作為一個(gè)獨(dú)立的個(gè)體，進(jìn)行分片處理后，將分出的片進(jìn)行在存儲系統(tǒng)中分布式存儲，該種方式難以與數(shù)據(jù)流中持續(xù)流動的數(shù)據(jù)相匹配，即在進(jìn)行分布式存儲時(shí)，需要對數(shù)據(jù)完整性進(jìn)行檢測，而且為了滿足安全性，還需要每一個(gè)次分布式存儲，對各個(gè)分片數(shù)據(jù)均進(jìn)行一次加密處理，效率較差，容易造成處理業(yè)務(wù)積壓而最終導(dǎo)致網(wǎng)絡(luò)堵塞，需要一種能夠良好的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法及系統(tǒng)來解決該種問題，以能夠在持續(xù)的數(shù)據(jù)流動中進(jìn)行數(shù)據(jù)分布式存儲，避免網(wǎng)絡(luò)堵塞。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的上述缺陷，提供一種基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，還提供了一種基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲系統(tǒng)。
2、本專利技術(shù)解決其技術(shù)問題所采用的技術(shù)方案是：
3、構(gòu)造一種基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，實(shí)現(xiàn)方法如下：
4、第一步：基于用戶輸入或選擇的項(xiàng)目，構(gòu)建項(xiàng)目框架；項(xiàng)目框架包括項(xiàng)目名稱和項(xiàng)目內(nèi)容，項(xiàng)目內(nèi)容依據(jù)數(shù)據(jù)屬性進(jìn)行數(shù)據(jù)分類為多個(gè)數(shù)據(jù)子項(xiàng)；
<
p>5、第二步：依據(jù)數(shù)據(jù)子項(xiàng)的預(yù)估大小進(jìn)行虛擬分布式存儲，篩選符合要求的存儲節(jié)點(diǎn)，獲取最終反饋的多個(gè)存儲節(jié)點(diǎn)地址數(shù)據(jù)，其中，每一數(shù)據(jù)子項(xiàng)均對應(yīng)有多個(gè)的存儲節(jié)點(diǎn)；6、第三步：采用設(shè)定的私密加密算法，對選定的全部存儲節(jié)點(diǎn)進(jìn)行加密；
7、第四步：在設(shè)定的采集范圍內(nèi)持續(xù)采集實(shí)時(shí)數(shù)據(jù)包，并進(jìn)行數(shù)據(jù)識別得到實(shí)時(shí)數(shù)據(jù)包的數(shù)據(jù)屬性和大小；
8、第五步：對實(shí)時(shí)數(shù)據(jù)包依據(jù)數(shù)據(jù)屬性與數(shù)據(jù)子項(xiàng)進(jìn)行匹配，對于匹配失敗的實(shí)時(shí)數(shù)據(jù)包進(jìn)行舍棄，對于匹配成功的實(shí)時(shí)數(shù)據(jù)包進(jìn)行如下處理：
9、若當(dāng)前存在與數(shù)據(jù)子項(xiàng)對應(yīng)的存儲節(jié)點(diǎn)的剩余空間大于實(shí)時(shí)數(shù)據(jù)包的大小，則將實(shí)時(shí)數(shù)據(jù)包直接存入該存儲節(jié)點(diǎn)；
10、否則，將實(shí)時(shí)數(shù)據(jù)包通過分片算法進(jìn)行分片處理后進(jìn)行分布式存儲在與相匹配的數(shù)據(jù)子項(xiàng)對應(yīng)的多個(gè)存儲節(jié)點(diǎn)中。
11、本專利技術(shù)所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其中，所述對項(xiàng)目內(nèi)容進(jìn)行虛擬式的分布式存儲，篩選符合要求的存儲節(jié)點(diǎn)，獲取最終反饋的多個(gè)存儲節(jié)點(diǎn)地址數(shù)據(jù)采用方法：
12、構(gòu)建與項(xiàng)目內(nèi)容的預(yù)設(shè)大小相當(dāng)?shù)奶摂M存儲文件，并采用無用數(shù)據(jù)對虛擬存儲文件填充；
13、對虛擬存儲文件進(jìn)行拆分為與多個(gè)數(shù)據(jù)子項(xiàng)預(yù)估大小等大的虛擬子文件；
14、分布式存儲服務(wù)器依據(jù)虛擬子文件大小進(jìn)行分布式存儲；
15、篩選符合要求的存儲節(jié)點(diǎn)，獲取最終反饋的多個(gè)存儲節(jié)點(diǎn)地址數(shù)據(jù)；
16、保留存儲節(jié)點(diǎn)中的存儲空間，刪除虛擬子文件中的數(shù)據(jù)。
17、本專利技術(shù)所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其中，所述篩選符合要求的存儲節(jié)點(diǎn)采用：
18、對獲取的可用的存儲節(jié)點(diǎn)進(jìn)行性能排序；
19、優(yōu)選設(shè)定數(shù)量的排序考前的存儲節(jié)點(diǎn)為目標(biāo)存儲節(jié)點(diǎn)。
20、本專利技術(shù)所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其中，所述方法還包括：
21、當(dāng)存在存儲節(jié)點(diǎn)因空間不足導(dǎo)致存儲失敗時(shí)，對分布式存儲服務(wù)器反饋相應(yīng)存儲失敗信息；
22、分布式存儲服務(wù)器重新進(jìn)行存儲節(jié)點(diǎn)篩選后，對存儲節(jié)點(diǎn)進(jìn)行加密并將存儲節(jié)點(diǎn)的地址添加到已有的存儲節(jié)點(diǎn)地址列表中；
23、對因空間不足導(dǎo)致存儲失敗的實(shí)時(shí)數(shù)據(jù)包重新進(jìn)行存儲操作。
24、本專利技術(shù)所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其中，所述方法還包括：
25、當(dāng)存在存儲節(jié)點(diǎn)因故障導(dǎo)致存儲失敗時(shí)，對分布式存儲服務(wù)器反饋存儲相應(yīng)失敗信息；
26、分布式存儲服務(wù)器重新進(jìn)行存儲節(jié)點(diǎn)篩選后，對存儲節(jié)點(diǎn)進(jìn)行加密并將存儲節(jié)點(diǎn)的地址添加到已有的存儲節(jié)點(diǎn)地址列表中，剔除故障的數(shù)據(jù)節(jié)點(diǎn)的地址；
27、對因存儲節(jié)點(diǎn)故障導(dǎo)致存儲失敗的實(shí)時(shí)數(shù)據(jù)包重新進(jìn)行存儲操作。
28、本專利技術(shù)所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其中，所述方法還包括：
29、接收到用戶的數(shù)據(jù)讀取指令時(shí)，進(jìn)行讀取指令內(nèi)容解析，與多個(gè)數(shù)據(jù)子項(xiàng)進(jìn)行數(shù)據(jù)匹配，對匹配成功后的數(shù)據(jù)子項(xiàng)對應(yīng)的存儲節(jié)點(diǎn)進(jìn)行解密，解密成功后進(jìn)行數(shù)據(jù)讀取。
30、本專利技術(shù)所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其中，所述方法還包括：
31、接收到用戶的項(xiàng)目撤銷指令時(shí)，進(jìn)行撤銷指令確認(rèn)，確認(rèn)無誤后發(fā)送至分布式存儲系統(tǒng)，由分布式存儲系統(tǒng)發(fā)送指令解密并釋放全部的存儲節(jié)點(diǎn)。
32、一種基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲系統(tǒng)，應(yīng)用于如上述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其中，所述系統(tǒng)包括項(xiàng)目處理單元、虛擬存儲單元、數(shù)據(jù)采集單元和分布式存儲單元；
33、所述項(xiàng)目處理單元，用于基于用戶輸入或選擇的項(xiàng)目，構(gòu)建項(xiàng)目框架；項(xiàng)目框架包括項(xiàng)目名稱和項(xiàng)目內(nèi)容，項(xiàng)目內(nèi)容依據(jù)數(shù)據(jù)屬性進(jìn)行數(shù)據(jù)分類為多個(gè)數(shù)據(jù)子項(xiàng)，將項(xiàng)目框架的信息發(fā)送至分布式存儲單元；
34、所述虛擬存儲單元，用于依據(jù)數(shù)據(jù)子項(xiàng)的預(yù)估大小進(jìn)行虛擬分布式存儲，篩選符合要求的存儲節(jié)點(diǎn)，獲取最終反饋的多個(gè)存儲節(jié)點(diǎn)地址數(shù)據(jù)，其中，每一數(shù)據(jù)子項(xiàng)均對應(yīng)有多個(gè)的存儲節(jié)點(diǎn)；采用設(shè)定的私密加密算法，對選定的全部存儲節(jié)點(diǎn)進(jìn)行加密；
35、所述數(shù)據(jù)采集單元，用于在設(shè)定的采集范圍內(nèi)持續(xù)采集實(shí)時(shí)數(shù)據(jù)包，并進(jìn)行數(shù)據(jù)識別得到實(shí)時(shí)數(shù)據(jù)包的數(shù)據(jù)屬性和大小，并將實(shí)時(shí)數(shù)據(jù)包的數(shù)據(jù)屬性和大小發(fā)送至分布式存儲單元；
36、所述分布式存儲單元，用于對實(shí)時(shí)數(shù)據(jù)包依據(jù)數(shù)據(jù)屬性與數(shù)據(jù)子項(xiàng)進(jìn)行匹配，對于匹配成功的實(shí)時(shí)數(shù)據(jù)包進(jìn)行如下處理：若當(dāng)前存在與數(shù)據(jù)子項(xiàng)對應(yīng)的存儲節(jié)點(diǎn)的剩余空間大于實(shí)時(shí)數(shù)據(jù)包的大小，則將實(shí)時(shí)數(shù)據(jù)包直接存入該存儲節(jié)點(diǎn)；否則，將實(shí)時(shí)數(shù)據(jù)包通過分片算法進(jìn)行分片處理后進(jìn)行分布式存儲在與相匹配的數(shù)據(jù)子項(xiàng)對應(yīng)的多個(gè)存儲節(jié)點(diǎn)中。
37、本專利技術(shù)的有益效果在于：應(yīng)用本申請的方式方法，開創(chuàng)性的采用虛擬存儲手段，提前在存儲服務(wù)器中進(jìn)行數(shù)據(jù)分布式存儲的空間規(guī)劃，并對規(guī)劃好的空間進(jìn)行統(tǒng)一加密處理，后續(xù)采集的實(shí)時(shí)數(shù)據(jù)包經(jīng)過簡單數(shù)據(jù)屬性匹配后，即可快速的進(jìn)行分布式存儲，免去了數(shù)據(jù)整體性效驗(yàn)步驟，避免了可能對數(shù)據(jù)流處理中帶來的數(shù)據(jù)堵塞情況，保障分布式存儲的順利進(jìn)行的同時(shí)，兼顧數(shù)據(jù)的安全性。
本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，實(shí)現(xiàn)方法如下：
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述對項(xiàng)目內(nèi)容進(jìn)行虛擬式的分布式存儲，篩選符合要求的存儲節(jié)點(diǎn)，獲取最終反饋的多個(gè)存儲節(jié)點(diǎn)地址數(shù)據(jù)采用方法：
3.根據(jù)權(quán)利要求2所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述篩選符合要求的存儲節(jié)點(diǎn)采用：
4.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述方法還包括：
6.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述方法還包括：
7.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述方法還包括：
8.一種基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲系統(tǒng)，應(yīng)用于如權(quán)利要求1-7任一所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述系統(tǒng)包括項(xiàng)目處理單元、虛擬存儲單元、數(shù)據(jù)采集單元和分布式存儲單元；
...
【技術(shù)特征摘要】
1.一種基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，實(shí)現(xiàn)方法如下：
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述對項(xiàng)目內(nèi)容進(jìn)行虛擬式的分布式存儲，篩選符合要求的存儲節(jié)點(diǎn)，獲取最終反饋的多個(gè)存儲節(jié)點(diǎn)地址數(shù)據(jù)采用方法：
3.根據(jù)權(quán)利要求2所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述篩選符合要求的存儲節(jié)點(diǎn)采用：
4.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)流處理的數(shù)據(jù)隱私及安全分布式存儲方法，其特征在于，所述方法還包括：
5.根據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張立旭，
申請(專利權(quán))人：優(yōu)網(wǎng)云計(jì)算有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。