【技術實現(xiàn)步驟摘要】
本專利技術涉及大數(shù)據(jù)，特別涉及一種大數(shù)據(jù)流處理方法、設備和存儲介質(zhì)。
技術介紹
1、在數(shù)據(jù)流處理領域，特別是在大數(shù)據(jù)和實時數(shù)據(jù)分析方面，已經(jīng)開發(fā)了多種技術來監(jiān)控和分析持續(xù)流入的數(shù)據(jù)。這些技術旨在快速捕捉和處理數(shù)據(jù)以支持即時和長期決策。例如，一種方案是通過對數(shù)據(jù)項的持久性進行估計，幫助檢測網(wǎng)絡安全中的持續(xù)性行為，另一種方案是專注于發(fā)現(xiàn)那些持久但不頻繁的數(shù)據(jù)流，這對于識別高級持續(xù)性威脅(apt)等安全威脅尤為重要。
2、盡管上述大數(shù)據(jù)流處理方法在處理速度和效率上具有優(yōu)勢，然而，仍然存在對所有數(shù)據(jù)進行無差別處理而導致浪費計算資源、降低處理效率等不足，還存在難以篩選出那些長期對業(yè)務運營具有影響的數(shù)據(jù)元素，從而影響長期決策和分析質(zhì)量的缺陷。
技術實現(xiàn)思路
1、本申請?zhí)峁┮环N大數(shù)據(jù)流處理方法、設備和存儲介質(zhì)，可以減少對計算資源的無效消耗，提升數(shù)據(jù)處理的初步篩選效率和業(yè)務決策的科學性。
2、一方面，本申請?zhí)峁┝艘环N大數(shù)據(jù)流處理方法，所述方法包括：
3、判斷目標數(shù)據(jù)流是否為大數(shù)據(jù)流中的活躍數(shù)據(jù)流；
4、若所述目標數(shù)據(jù)流為大數(shù)據(jù)流中的非活躍數(shù)據(jù)流，則標記所述非活躍數(shù)據(jù)流；
5、若所述目標數(shù)據(jù)流為大數(shù)據(jù)流中的活躍數(shù)據(jù)流，則判斷所述活躍數(shù)據(jù)流是否為持久的活躍數(shù)據(jù)流；
6、若所述活躍數(shù)據(jù)流為持久的活躍數(shù)據(jù)流，則存儲并標記所述持久的活躍數(shù)據(jù)流；
7、若所述活躍數(shù)據(jù)流為非持久的活躍數(shù)據(jù)流，則暫存并將所述非持久的活躍數(shù)據(jù)流標記為
8、另一方面，本申請?zhí)峁┝艘环N大數(shù)據(jù)流處理裝置，所述裝置包括：
9、第一判斷模塊，用于判斷目標數(shù)據(jù)流是否為大數(shù)據(jù)流中的活躍數(shù)據(jù)流；
10、第一標記模塊，用于若所述目標數(shù)據(jù)流為大數(shù)據(jù)流中的非活躍數(shù)據(jù)流，則標記所述非活躍數(shù)據(jù)流；
11、第二判斷模塊，用于若所述目標數(shù)據(jù)流為大數(shù)據(jù)流中的活躍數(shù)據(jù)流，則判斷所述活躍數(shù)據(jù)流是否為持久的活躍數(shù)據(jù)流；
12、第二標記模塊，用于若所述活躍數(shù)據(jù)流為持久的活躍數(shù)據(jù)流，則存儲并標記所述持久的活躍數(shù)據(jù)流；
13、第三標記模塊，用于若所述活躍數(shù)據(jù)流為非持久的活躍數(shù)據(jù)流，則暫存并將所述非持久的活躍數(shù)據(jù)流標記為臨時活躍數(shù)據(jù)流。
14、第三方面，本申請?zhí)峁┝艘环N電子設備，所述設備包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述大數(shù)據(jù)流處理方法的技術方案的步驟。
15、第四方面，本申請?zhí)峁┝艘环N存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述大數(shù)據(jù)流處理方法的技術方案的步驟。
16、從上述本申請?zhí)峁┑募夹g方案可知，一方面，在判斷目標數(shù)據(jù)流為大數(shù)據(jù)流中的非活躍數(shù)據(jù)流后，通過標記這些非活躍數(shù)據(jù)流，可有效識別并過濾掉小流數(shù)據(jù)中的非活躍元素，顯著減少對計算資源的無效消耗，提高數(shù)據(jù)處理的初步篩選效率；另一方面，在進一步判斷活躍數(shù)據(jù)流為持久的活躍數(shù)據(jù)流后，通過存儲并標記這些持久的活躍數(shù)據(jù)流，確保了大數(shù)據(jù)流處理的深度和準確性，也使得系統(tǒng)能夠識別并重點處理對業(yè)務決策具有長期影響的關鍵數(shù)據(jù)項，大大提升業(yè)務決策的科學性。綜上，本申請的技術方案可以減少對計算資源的無效消耗，提升數(shù)據(jù)處理的初步篩選效率和業(yè)務決策的科學性。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種大數(shù)據(jù)流處理方法，其特征在于，所述方法包括：
2.如權利要求1所述大數(shù)據(jù)流處理方法，其特征在于，所述判斷目標數(shù)據(jù)流是否為大數(shù)據(jù)流中的活躍數(shù)據(jù)流，包括：
3.如權利要求2所述大數(shù)據(jù)流處理方法，其特征在于，所述評價所述目標數(shù)據(jù)流是否為大數(shù)據(jù)流中的活躍數(shù)據(jù)流的維度包括所述目標數(shù)據(jù)流在單位時間內(nèi)的更新頻率、所述大數(shù)據(jù)流在所述單位時間內(nèi)的更新頻率以及所述目標數(shù)據(jù)流的多樣性或不確定性。
4.如權利要求3所述大數(shù)據(jù)流處理方法，其特征在于，所述目標數(shù)據(jù)流的多樣性或不確定性通過如下方式確定：
5.如權利要求2所述大數(shù)據(jù)流處理方法，其特征在于，所述方法還包括：
6.如權利要求1所述大數(shù)據(jù)流處理方法，其特征在于，所述判斷所述活躍數(shù)據(jù)流是否為持久的活躍數(shù)據(jù)流，包括：
7.如權利要求6所述大數(shù)據(jù)流處理方法，其特征在于，所述方法還包括：
8.一種大數(shù)據(jù)流處理裝置，其特征在于，所述裝置包括：
9.一種電子設備，所述設備包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所
10.一種存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至7任意一項所述方法的步驟。
...【技術特征摘要】
1.一種大數(shù)據(jù)流處理方法，其特征在于，所述方法包括：
2.如權利要求1所述大數(shù)據(jù)流處理方法，其特征在于，所述判斷目標數(shù)據(jù)流是否為大數(shù)據(jù)流中的活躍數(shù)據(jù)流，包括：
3.如權利要求2所述大數(shù)據(jù)流處理方法，其特征在于，所述評價所述目標數(shù)據(jù)流是否為大數(shù)據(jù)流中的活躍數(shù)據(jù)流的維度包括所述目標數(shù)據(jù)流在單位時間內(nèi)的更新頻率、所述大數(shù)據(jù)流在所述單位時間內(nèi)的更新頻率以及所述目標數(shù)據(jù)流的多樣性或不確定性。
4.如權利要求3所述大數(shù)據(jù)流處理方法，其特征在于，所述目標數(shù)據(jù)流的多樣性或不確定性通過如下方式確定：
5.如權利要求2所述大數(shù)據(jù)流處理方法，其特征在于，所述方法還包括：
【專利技術屬性】
技術研發(fā)人員：張偉哲，操璐，李文軍，張宇，
申請(專利權)人：哈爾濱工業(yè)大學深圳哈爾濱工業(yè)大學深圳科技創(chuàng)新研究院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。