【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)庫，特別是涉及一種自適應(yīng)數(shù)據(jù)無損采集存儲方法。
技術(shù)介紹
1、在大數(shù)據(jù)時(shí)代背景下，數(shù)據(jù)的完整性和可靠性對于支撐業(yè)務(wù)決策、驅(qū)動創(chuàng)新發(fā)展具有至關(guān)重要的作用。然而，傳統(tǒng)的數(shù)據(jù)采集存儲方案往往難以兼顧數(shù)據(jù)的無損性與存儲效率，同時(shí)在數(shù)據(jù)損壞時(shí)缺乏有效的修復(fù)手段，導(dǎo)致數(shù)據(jù)價(jià)值大打折扣。因此，開發(fā)一種能夠自適應(yīng)不同數(shù)據(jù)源特性、實(shí)現(xiàn)數(shù)據(jù)無損采集、高效存儲及智能修復(fù)的系統(tǒng)顯得尤為重要；
2、傳統(tǒng)數(shù)據(jù)管理平臺在對數(shù)據(jù)進(jìn)行采集和存儲的操作時(shí)，用的是手動配置數(shù)據(jù)源的方式，不同的數(shù)據(jù)對應(yīng)的數(shù)據(jù)源格式不一樣，在大數(shù)據(jù)平臺上需要配置的數(shù)據(jù)源數(shù)據(jù)極大，大大增加了運(yùn)維人員的工作量；
3、對于不完整的數(shù)據(jù)沒有數(shù)據(jù)檢索和異常監(jiān)控機(jī)制；
4、在對不完整數(shù)據(jù)處理時(shí)多數(shù)采用缺省值填充，雖然使得無數(shù)據(jù)遺漏，但是數(shù)據(jù)的質(zhì)量大大降低。
技術(shù)實(shí)現(xiàn)思路
1、為解決現(xiàn)有技術(shù)中存在的不足，本專利技術(shù)提供了一種自適應(yīng)數(shù)據(jù)無損采集存儲方法，該自適應(yīng)數(shù)據(jù)無損采集存儲方法通過數(shù)據(jù)特征分析自動分析存儲介質(zhì)，無需手動配置數(shù)據(jù)源，在多種操作下對數(shù)據(jù)進(jìn)行校驗(yàn)，確保數(shù)據(jù)的完整性和一致性，對數(shù)據(jù)進(jìn)行檢測，保證了及時(shí)修復(fù)數(shù)據(jù)的高效性，保證了數(shù)據(jù)的準(zhǔn)確、價(jià)值。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)采用如下技術(shù)方案：
3、本專利技術(shù)提供了一種自適應(yīng)數(shù)據(jù)無損采集存儲方法，包括以下步驟：
4、對數(shù)據(jù)庫中已有的數(shù)據(jù)進(jìn)行數(shù)據(jù)特征提取，將數(shù)據(jù)特征與存儲介質(zhì)關(guān)聯(lián)；
5、對需要采集的
6、在數(shù)據(jù)采集、傳輸和存儲的過程中，對數(shù)據(jù)進(jìn)行校驗(yàn)；
7、對業(yè)務(wù)數(shù)據(jù)進(jìn)行檢測，存在數(shù)據(jù)缺失時(shí)，進(jìn)行數(shù)據(jù)修復(fù)。
8、本專利技術(shù)的自適應(yīng)數(shù)據(jù)無損采集存儲方法，首先通過特征提取、分析的方式將需要采集的數(shù)據(jù)與存儲介質(zhì)之間關(guān)聯(lián)，無需人工手動配置，極大的提高了配置效率，在數(shù)據(jù)操作的過程中對數(shù)據(jù)進(jìn)行校驗(yàn)，因此能獲得完整性和一致性更高的數(shù)據(jù)，對于數(shù)據(jù)庫中的數(shù)據(jù)，進(jìn)行數(shù)據(jù)檢測和數(shù)據(jù)修復(fù)，數(shù)據(jù)的質(zhì)量更高。
9、本專利技術(shù)的自適應(yīng)數(shù)據(jù)無損采集存儲方法通過數(shù)據(jù)特征分析自動分析存儲介質(zhì)，無需手動配置數(shù)據(jù)源，在多種操作下對數(shù)據(jù)進(jìn)行校驗(yàn)，確保數(shù)據(jù)的完整性和一致性，對數(shù)據(jù)進(jìn)行檢測，保證了及時(shí)修復(fù)數(shù)據(jù)的高效性，保證了數(shù)據(jù)的準(zhǔn)確、價(jià)值。
10、在進(jìn)一步的技術(shù)方案中，基于數(shù)據(jù)特征與存儲介質(zhì)的關(guān)聯(lián)性建立決策樹，在進(jìn)行數(shù)據(jù)特征分析時(shí)利用決策樹進(jìn)行。
11、通過決策樹可以高效且準(zhǔn)確的進(jìn)行分類，保證了效率和準(zhǔn)確度。
12、在進(jìn)一步的技術(shù)方案中，當(dāng)數(shù)據(jù)校驗(yàn)不通過次數(shù)達(dá)到閾值，則發(fā)出告警通知。
13、建立了告警程序，保證了數(shù)據(jù)操作的準(zhǔn)確性，避免了數(shù)據(jù)污染。
14、在進(jìn)一步的技術(shù)方案中，數(shù)據(jù)修復(fù)時(shí)，利用期望值最大化算法，通過缺失值周圍的數(shù)據(jù)來計(jì)算缺失值。
15、利用指期望值最大化算法，能夠提高數(shù)據(jù)修復(fù)的準(zhǔn)確度。
16、有益效果在于：
17、1、本專利技術(shù)的自適應(yīng)數(shù)據(jù)無損采集存儲方法通過數(shù)據(jù)特征分析自動分析存儲介質(zhì)，無需手動配置數(shù)據(jù)源，在多種操作下對數(shù)據(jù)進(jìn)行校驗(yàn)，確保數(shù)據(jù)的完整性和一致性，對數(shù)據(jù)進(jìn)行檢測，保證了及時(shí)修復(fù)數(shù)據(jù)的高效性，保證了數(shù)據(jù)的準(zhǔn)確、價(jià)值。
18、2、通過決策樹可以高效且準(zhǔn)確的進(jìn)行分類，保證了效率和準(zhǔn)確度。
19、3、建立了告警程序，保證了數(shù)據(jù)操作的準(zhǔn)確性，避免了數(shù)據(jù)污染。
20、4、利用指期望值最大化算法，能夠提高數(shù)據(jù)修復(fù)的準(zhǔn)確度。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種自適應(yīng)數(shù)據(jù)無損采集存儲方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的自適應(yīng)數(shù)據(jù)無損采集存儲方法，其特征在于，基于數(shù)據(jù)特征與存儲介質(zhì)的關(guān)聯(lián)性建立決策樹，在進(jìn)行數(shù)據(jù)特征分析時(shí)利用決策樹進(jìn)行。
3.根據(jù)權(quán)利要求1所述的自適應(yīng)數(shù)據(jù)無損采集存儲方法，其特征在于，當(dāng)數(shù)據(jù)校驗(yàn)不通過次數(shù)達(dá)到閾值，則發(fā)出告警通知。
4.根據(jù)權(quán)利要求1所述的自適應(yīng)數(shù)據(jù)無損采集存儲方法，其特征在于，數(shù)據(jù)修復(fù)時(shí)，利用期望值最大化算法，通過缺失值周圍的數(shù)據(jù)來計(jì)算缺失值。
【技術(shù)特征摘要】
1.一種自適應(yīng)數(shù)據(jù)無損采集存儲方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的自適應(yīng)數(shù)據(jù)無損采集存儲方法，其特征在于，基于數(shù)據(jù)特征與存儲介質(zhì)的關(guān)聯(lián)性建立決策樹，在進(jìn)行數(shù)據(jù)特征分析時(shí)利用決策樹進(jìn)行。
3.根據(jù)權(quán)利...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：楚鎮(zhèn)豪，魏飛，周文明，
申請(專利權(quán))人：四川開物信息技術(shù)有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。