【技術實現步驟摘要】
本申請涉及數據處理領域，具體涉及一種數據分級分類方法及裝置。
技術介紹
1、數據分級分類是數據治理中的關鍵環節，傳統的分類方法往往依賴人工經驗和固定規則，難以應對海量異構數據的處理需求。現有的數據分級分類系統在數據質量評估、語義理解和規則管理等方面都存在明顯不足。
2、在數據質量管理方面，目前的系統普遍缺乏完整的質量評估體系，數據清洗過程較為簡單，無法有效處理復雜的數據質量問題。元數據的采集和標準化處理往往采用固定的規則，難以適應不同類型數據源的特點，導致數據質量參差不齊。
3、在標簽管理方面，傳統方法主要依靠關鍵詞匹配和簡單的分類算法，無法準確理解數據的深層語義。標簽體系的構建往往是靜態的，缺乏對標簽之間關聯關系的深入分析，難以形成反映數據內在聯系的知識圖譜。同時，標簽的層次結構較為簡單，不能很好地表達復雜的數據分類需求。
4、規則管理是另一個關鍵問題。現有系統的規則庫往往是固定的，缺乏自適應更新機制，無法根據新的數據特征和分類需求動態調整規則。規則之間的沖突處理能力較弱，在處理復雜場景時容易出現分類結果不一致的情況。
5、因此，需要一種更智能、更靈活的數據分級分類方案。
技術實現思路
1、針對現有技術中的問題，本申請提供一種數據分級分類方法及裝置，能夠實現更精準的數據分類和更有效的知識管理。
2、為了解決上述問題中的至少一個，本申請提供以下技術方案：
3、第一方面，本申請提供一種數據分級分類方法，包括：p>
4、對數據源服務中的元數據進行采集并建立數據質量評估指標，利用數據清洗算法對所述元數據進行格式標準化和去重處理，將處理后的元數據按照預設的數據模式進行結構化存儲；
5、將所述結構化存儲的元數據輸入至標簽服務，構建雙層神經網絡模型，采用大語言模型對元數據進行語義理解生成特征向量，將所述特征向量輸入深度學習算法構建注意力機制提取關鍵詞權重，基于所述關鍵詞權重計算標簽間的語義相似度矩陣，采用譜聚類算法對相似度矩陣進行分解得到標簽嵌入向量，將所述標簽嵌入向量通過圖神經網絡構建標簽關聯圖譜，對所述標簽關聯圖譜進行層次化處理得到分層標簽體系并存入標簽庫；
6、基于所述分層標簽體系構建分類分級規則模板，將所述規則模板與歷史規則庫進行相似度匹配，根據匹配結果設定規則優先級并建立規則沖突處理機制，采用預設的自適應規則引擎對所述元數據進行分類分級處理，對處理結果進行確認后存儲至結果服務。
7、進一步地，所述對數據源服務中的元數據進行采集并建立數據質量評估指標，利用數據清洗算法對所述元數據進行格式標準化和去重處理，將處理后的元數據按照預設的數據模式進行結構化存儲，包括：
8、從數據源服務接口獲取原始元數據，計算所述原始元數據的完整性、準確性和一致性指標值，采用數據探查算法識別異常值和缺失值，對所述異常值進行統計分析得到數據質量評估結果；
9、基于預設的數據清洗規則對元數據進行格式化處理，采用模糊匹配算法識別重復記錄并合并，將清洗后的數據按照預定義的字段映射關系轉換為目標數據結構，采用數據驗證工具對轉換結果進行校驗后寫入存儲系統。
10、進一步地，所述將所述結構化存儲的元數據輸入至標簽服務，構建雙層神經網絡模型，采用大語言模型對元數據進行語義理解生成特征向量，包括：
11、對結構化元數據進行分詞和編碼處理轉化為輸入序列，將所述輸入序列通過第一層神經網絡提取局部語義特征，在第二層神經網絡中設置多頭注意力機制捕獲元數據的全局上下文關系，采用殘差連接方式融合兩層網絡的輸出結果；
12、將雙層神經網絡的融合結果輸入預訓練的大語言模型，在模型編碼層提取語義表示，對所述語義表示進行池化操作得到固定維度的向量，通過線性映射層將所述向量投影到目標特征空間生成最終的特征向量。
13、進一步地，?所述將所述特征向量輸入深度學習算法構建注意力機制提取關鍵詞權重，基于所述關鍵詞權重計算標簽間的語義相似度矩陣，采用譜聚類算法對相似度矩陣進行分解得到標簽嵌入向量，包括：
14、對特征向量通過多層前饋神經網絡進行非線性變換，在變換后的向量上應用自注意力機制計算詞間關聯度得分，基于關聯度得分構建注意力分布矩陣，將所述注意力分布矩陣與原始特征向量相乘得到帶權重的關鍵詞表示；
15、利用余弦距離度量帶權重關鍵詞表示之間的相似程度構建初始相似度矩陣，對所述初始相似度矩陣進行對稱歸一化處理，采用拉普拉斯矩陣分解方法提取特征值和特征向量，選取前k個最大特征值對應的特征向量組合形成標簽嵌入向量。
16、進一步地，所述將所述標簽嵌入向量通過圖神經網絡構建標簽關聯圖譜，對所述標簽關聯圖譜進行層次化處理得到分層標簽體系并存入標簽庫，包括：
17、基于標簽嵌入向量構建圖網絡的鄰接矩陣，對所述鄰接矩陣應用圖注意力層計算節點間的傳播系數，通過消息傳遞機制更新節點的特征表示，利用圖卷積操作對節點特征進行聚合得到標簽節點的局部結構表示；
18、采用層次聚類算法對圖網絡中的標簽節點進行分組，計算組間和組內的關聯強度確定層次結構，對所述層次結構應用最小生成樹算法構建標簽體系的層級關系，將構建的層級關系及標簽屬性信息寫入標簽庫的數據表中。
19、進一步地，所述基于所述分層標簽體系構建分類分級規則模板，將所述規則模板與歷史規則庫進行相似度匹配，根據匹配結果設定規則優先級并建立規則沖突處理機制，包括：
20、從分層標簽體系中提取標簽節點的層級路徑和屬性特征，基于預定義的規則語法將標簽特征轉換為規則表達式，采用決策樹算法對規則表達式進行組合生成候選規則集，通過規則驗證器對候選規則集進行語法檢查生成規則模板；
21、計算規則模板與歷史規則庫中規則的文本相似度和結構相似度得分，基于加權平均方法融合兩種相似度得分，對融合后的相似度進行排序設定規則優先級閾值，將優先級低于閾值的規則對送入沖突檢測器進行依賴性分析并生成沖突處理策略。
22、進一步地，所述采用預設的自適應規則引擎對所述元數據進行分類分級處理，對處理結果進行確認后存儲至結果服務，包括：
23、基于元數據的特征屬性在規則引擎中匹配預設的分類規則集，應用自適應算法動態調整規則的執行順序，采用規則鏈模式串聯多個規則進行組合推理，通過規則執行器對元數據進行遞歸分類得到層級化的分類結果；
24、對分類分級結果進行規范化處理生成統一的結果數據格式，計算結果可信度分數并設置閾值進行過濾，將過濾后的結果數據按照預定義的存儲模式寫入結果服務的數據表，建立結果數據與原始元數據的關聯映射關系。
25、第二方面，本申請提供一種數據分級分類裝置，包括：
26、預處理模塊，用于對數據源服務中的元數據進行采集并建立數據質量評估指標，利用數據清洗算法對所述元數據進行格式標準化和去重處理，將處理后的元數據按照預設的數據模式進行結構化存儲；本文檔來自技高網...
【技術保護點】
1.一種數據分級分類方法，其特征在于，所述方法包括：
2.根據權利要求1所述的數據分級分類方法，其特征在于，所述對數據源服務中的元數據進行采集并建立數據質量評估指標，利用數據清洗算法對所述元數據進行格式標準化和去重處理，將處理后的元數據按照預設的數據模式進行結構化存儲，包括：
3.根據權利要求1所述的數據分級分類方法，其特征在于，所述將所述結構化存儲的元數據輸入至標簽服務，構建雙層神經網絡模型，采用大語言模型對元數據進行語義理解生成特征向量，包括：
4.根據權利要求1所述的數據分級分類方法，其特征在于，所述將所述特征向量輸入深度學習算法構建注意力機制提取關鍵詞權重，基于所述關鍵詞權重計算標簽間的語義相似度矩陣，采用譜聚類算法對相似度矩陣進行分解得到標簽嵌入向量，包括：
5.根據權利要求1所述的數據分級分類方法，其特征在于，所述將所述標簽嵌入向量通過圖神經網絡構建標簽關聯圖譜，對所述標簽關聯圖譜進行層次化處理得到分層標簽體系并存入標簽庫，包括：
6.根據權利要求1所述的數據分級分類方法，其特征在于，所述基于所述分層標簽體系
7.根據權利要求1所述的數據分級分類方法，其特征在于，所述采用預設的自適應規則引擎對所述元數據進行分類分級處理，對處理結果進行確認后存儲至結果服務，包括：
8.一種數據分級分類裝置，其特征在于，所述裝置包括：
9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1至7任一項所述的數據分級分類方法的步驟。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1至7任一項所述的數據分級分類方法的步驟。
...【技術特征摘要】
1.一種數據分級分類方法，其特征在于，所述方法包括：
2.根據權利要求1所述的數據分級分類方法，其特征在于，所述對數據源服務中的元數據進行采集并建立數據質量評估指標，利用數據清洗算法對所述元數據進行格式標準化和去重處理，將處理后的元數據按照預設的數據模式進行結構化存儲，包括：
3.根據權利要求1所述的數據分級分類方法，其特征在于，所述將所述結構化存儲的元數據輸入至標簽服務，構建雙層神經網絡模型，采用大語言模型對元數據進行語義理解生成特征向量，包括：
4.根據權利要求1所述的數據分級分類方法，其特征在于，所述將所述特征向量輸入深度學習算法構建注意力機制提取關鍵詞權重，基于所述關鍵詞權重計算標簽間的語義相似度矩陣，采用譜聚類算法對相似度矩陣進行分解得到標簽嵌入向量，包括：
5.根據權利要求1所述的數據分級分類方法，其特征在于，所述將所述標簽嵌入向量通過圖神經網絡構建標簽關聯圖譜，對所述標簽關聯...
【專利技術屬性】
技術研發人員：呂穎軒，蔡亮，高龍，沙丕明，
申請(專利權)人：北京霍因科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。