【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及數(shù)據(jù)治理領(lǐng)域，特別是涉及一種數(shù)據(jù)標(biāo)準(zhǔn)的確定方法及相關(guān)裝置。
技術(shù)介紹
1、數(shù)據(jù)治理是對(duì)數(shù)據(jù)進(jìn)行處置、格式化和規(guī)范化的過(guò)程。是提升企業(yè)等組織內(nèi)部數(shù)據(jù)質(zhì)量、推動(dòng)數(shù)據(jù)廣泛共享、強(qiáng)化數(shù)據(jù)安全保障、盤(pán)活數(shù)據(jù)資源價(jià)值的重要手段。其中，數(shù)據(jù)標(biāo)準(zhǔn)是保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性和準(zhǔn)確定的規(guī)范性約束，它是企業(yè)實(shí)施數(shù)據(jù)治理的核心活動(dòng)和首要工作，具有降低治理的復(fù)雜度、提升數(shù)據(jù)質(zhì)量、打通數(shù)據(jù)孤島、加快數(shù)據(jù)交換共享、釋放數(shù)據(jù)價(jià)值等關(guān)鍵作用。因此，確定出數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)(也可稱為數(shù)據(jù)對(duì)標(biāo))，是數(shù)據(jù)治理中尤為重要的過(guò)程。
2、相關(guān)技術(shù)中，通常采用人工對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)標(biāo)的工作，而企業(yè)等組織的內(nèi)部數(shù)據(jù)往往包含大量存量數(shù)據(jù)以及增量數(shù)據(jù)，需要耗費(fèi)大量的人力和時(shí)間，增加了人工成本和工作負(fù)擔(dān)，且最終的數(shù)據(jù)對(duì)標(biāo)結(jié)果也容易出現(xiàn)錯(cuò)誤。
3、因此，如何在減少人工成本和工作負(fù)擔(dān)的同時(shí)，提高數(shù)據(jù)對(duì)標(biāo)結(jié)果的準(zhǔn)確性，成為目前亟待解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)標(biāo)準(zhǔn)的確定方法及相關(guān)裝置，旨在減少人工成本和工作負(fù)擔(dān)的同時(shí)，提高數(shù)據(jù)對(duì)標(biāo)結(jié)果的準(zhǔn)確性。
2、第一方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)標(biāo)準(zhǔn)的確定方法，所述方法包括：
3、基于待對(duì)標(biāo)數(shù)據(jù)，通過(guò)標(biāo)準(zhǔn)判斷模型輸出所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)判斷結(jié)果；所述標(biāo)準(zhǔn)判斷結(jié)果為所述待對(duì)標(biāo)數(shù)據(jù)是否存在數(shù)據(jù)標(biāo)準(zhǔn)的判斷結(jié)果；所述標(biāo)準(zhǔn)判斷模型是基于第一數(shù)據(jù)樣本和所述第一數(shù)據(jù)樣本對(duì)應(yīng)的標(biāo)準(zhǔn)判斷標(biāo)簽訓(xùn)練得到的；所述標(biāo)準(zhǔn)判斷
4、基于所述待對(duì)標(biāo)數(shù)據(jù)，通過(guò)標(biāo)準(zhǔn)對(duì)標(biāo)模型輸出所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)名稱；所述標(biāo)準(zhǔn)對(duì)標(biāo)模型是基于第二數(shù)據(jù)樣本和所述第二數(shù)據(jù)樣本對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)名稱標(biāo)簽訓(xùn)練得到的；所述數(shù)據(jù)標(biāo)準(zhǔn)名稱標(biāo)簽包括表征為有數(shù)據(jù)標(biāo)準(zhǔn)的名稱標(biāo)簽和表征為無(wú)數(shù)據(jù)標(biāo)準(zhǔn)的名稱標(biāo)簽；所述表征為有數(shù)據(jù)標(biāo)準(zhǔn)的名稱標(biāo)簽對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)包括至少一個(gè)數(shù)據(jù)標(biāo)準(zhǔn)字段對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容；
5、基于所述標(biāo)準(zhǔn)判斷結(jié)果和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱的匹配結(jié)果，確定所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱；
6、基于數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)標(biāo)準(zhǔn)名稱之間的映射關(guān)系以及所述目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱，從多個(gè)數(shù)據(jù)標(biāo)準(zhǔn)中確定出所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)。
7、可選地，所述基于所述標(biāo)準(zhǔn)判斷結(jié)果和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱的匹配結(jié)果，確定所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱，具體包括：
8、若所述匹配結(jié)果為所述標(biāo)準(zhǔn)判斷結(jié)果和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱匹配，則將所述數(shù)據(jù)標(biāo)準(zhǔn)名稱確定為所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱；
9、若所述匹配結(jié)果為所述標(biāo)準(zhǔn)判斷結(jié)果和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱不匹配，則基于所述標(biāo)準(zhǔn)判斷結(jié)果對(duì)應(yīng)的第一概率和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱對(duì)應(yīng)的第二概率，確定所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱；所述第一概率為所述標(biāo)準(zhǔn)判斷模型所輸出結(jié)果對(duì)應(yīng)的概率；所述第二概率為所述標(biāo)準(zhǔn)對(duì)標(biāo)模型所輸出結(jié)果對(duì)應(yīng)的概率。
10、可選地，所述基于所述標(biāo)準(zhǔn)判斷結(jié)果對(duì)應(yīng)的第一概率和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱對(duì)應(yīng)的第二概率，確定所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱，具體包括：
11、若所述標(biāo)準(zhǔn)判斷結(jié)果對(duì)應(yīng)的第一概率小于所述數(shù)據(jù)標(biāo)準(zhǔn)名稱對(duì)應(yīng)的第二概率，則將所述數(shù)據(jù)標(biāo)準(zhǔn)名稱確定為所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱；
12、若所述標(biāo)準(zhǔn)判斷結(jié)果對(duì)應(yīng)的第一概率大于或等于所述數(shù)據(jù)標(biāo)準(zhǔn)名稱對(duì)應(yīng)的第二概率，且所述標(biāo)準(zhǔn)判斷結(jié)果為所述待對(duì)標(biāo)數(shù)據(jù)存在數(shù)據(jù)標(biāo)準(zhǔn)，則將所述標(biāo)準(zhǔn)對(duì)標(biāo)模型所輸出結(jié)果中第二大的概率對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)名稱確定為所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱；
13、若所述標(biāo)準(zhǔn)判斷結(jié)果對(duì)應(yīng)的第一概率大于或等于所述數(shù)據(jù)標(biāo)準(zhǔn)名稱對(duì)應(yīng)的第二概率，且所述標(biāo)準(zhǔn)判斷結(jié)果為所述待對(duì)標(biāo)數(shù)據(jù)不存在數(shù)據(jù)標(biāo)準(zhǔn)，則將表征為無(wú)數(shù)據(jù)標(biāo)準(zhǔn)名稱的數(shù)據(jù)標(biāo)準(zhǔn)名稱確定為所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱。
14、可選地，所述標(biāo)準(zhǔn)判斷模型包括向量轉(zhuǎn)換層、卷積層、池化層以及全連接層；所述基于待對(duì)標(biāo)數(shù)據(jù)，通過(guò)標(biāo)準(zhǔn)判斷模型輸出所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)判斷結(jié)果，具體包括：
15、通過(guò)所述向量轉(zhuǎn)換層對(duì)所述待對(duì)標(biāo)數(shù)據(jù)進(jìn)行向量轉(zhuǎn)換，得到所述待對(duì)標(biāo)數(shù)據(jù)的向量表示；
16、通過(guò)所述卷積層對(duì)所述待對(duì)標(biāo)數(shù)據(jù)的向量表示進(jìn)行卷積處理，得到所述待對(duì)標(biāo)數(shù)據(jù)的第一向量特征矩陣；
17、通過(guò)所述池化層，對(duì)所述待處理數(shù)據(jù)的第一向量特征矩陣進(jìn)行池化處理，得到所述待對(duì)標(biāo)數(shù)據(jù)的第二向量特征矩陣；
18、通過(guò)所述全連接層對(duì)所述待對(duì)標(biāo)數(shù)據(jù)的第二向量特征矩陣進(jìn)行歸一化處理，獲得所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)判斷結(jié)果。
19、可選地，所述標(biāo)準(zhǔn)判斷模型通過(guò)如下步驟訓(xùn)練獲得：
20、獲取所述第一數(shù)據(jù)樣本和所述第一數(shù)據(jù)樣本對(duì)應(yīng)的標(biāo)準(zhǔn)判斷標(biāo)簽；
21、基于所述第一數(shù)據(jù)樣本，通過(guò)第一待訓(xùn)練模型輸出所述第一數(shù)據(jù)樣本對(duì)應(yīng)的預(yù)測(cè)標(biāo)準(zhǔn)判斷結(jié)果；
22、基于所述第一數(shù)據(jù)樣本對(duì)應(yīng)的標(biāo)準(zhǔn)判斷標(biāo)簽與所述第一數(shù)據(jù)樣本對(duì)應(yīng)的預(yù)測(cè)標(biāo)準(zhǔn)判斷結(jié)果之間的差異，調(diào)整所述第一待訓(xùn)練模型的參數(shù)；
23、當(dāng)滿足訓(xùn)練截止條件時(shí)，結(jié)束訓(xùn)練得到所述標(biāo)準(zhǔn)判斷模型。
24、可選地，所述標(biāo)準(zhǔn)對(duì)標(biāo)模型通過(guò)如下步驟訓(xùn)練獲得：
25、獲取所述第二數(shù)據(jù)樣本和所述第二數(shù)據(jù)樣本對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)名稱標(biāo)簽；
26、基于所述第二數(shù)據(jù)樣本，通過(guò)第二待訓(xùn)練模型輸出所述第二數(shù)據(jù)樣本對(duì)應(yīng)的預(yù)測(cè)數(shù)據(jù)標(biāo)準(zhǔn)名稱；
27、基于所述第二數(shù)據(jù)樣本對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)名稱標(biāo)簽與所述第二數(shù)據(jù)樣本對(duì)應(yīng)的預(yù)測(cè)數(shù)據(jù)標(biāo)準(zhǔn)名稱之間的差異，調(diào)整所述第二待訓(xùn)練模型的參數(shù)；
28、當(dāng)滿足訓(xùn)練截止條件時(shí)，結(jié)束訓(xùn)練得到所述標(biāo)準(zhǔn)對(duì)標(biāo)模型。
29、可選地，所述第一數(shù)據(jù)樣本或所述第二數(shù)據(jù)樣本通過(guò)如下步驟獲得：
30、獲取多個(gè)初始數(shù)據(jù)樣本；所述多個(gè)初始數(shù)據(jù)樣本包括與所述目標(biāo)行業(yè)相關(guān)的業(yè)務(wù)字段元數(shù)據(jù)和與所述目標(biāo)行業(yè)相關(guān)的計(jì)算機(jī)系統(tǒng)字段元數(shù)據(jù)；
31、從所述多個(gè)初始數(shù)據(jù)樣本中，基于所述目標(biāo)行業(yè)對(duì)應(yīng)的行業(yè)詞庫(kù)確定出為中文詞語(yǔ)的第一初始數(shù)據(jù)樣本；所述行業(yè)詞庫(kù)包括與所述目標(biāo)行業(yè)相關(guān)的多個(gè)中文詞語(yǔ)；
32、對(duì)所述多個(gè)初始數(shù)據(jù)樣本中除所述第一初始數(shù)據(jù)樣本以外的剩余初始數(shù)據(jù)樣本進(jìn)行分詞處理，得到為英文詞語(yǔ)或者縮寫(xiě)詞語(yǔ)的第二初始數(shù)據(jù)樣本；
33、組合所述第一初始數(shù)據(jù)樣本和所述第二初始數(shù)據(jù)樣本得到目標(biāo)行業(yè)詞庫(kù)；
34、將所述目標(biāo)行業(yè)詞庫(kù)所包括的多個(gè)詞語(yǔ)作為所述第一數(shù)據(jù)樣本或所述第二數(shù)據(jù)樣本。
35、第二方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)標(biāo)準(zhǔn)的確定裝置，所述裝置包括：
36、標(biāo)準(zhǔn)判斷模塊，用于基于待對(duì)標(biāo)數(shù)據(jù)，通過(guò)標(biāo)準(zhǔn)判斷模型輸出所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)判斷結(jié)果；所述標(biāo)準(zhǔn)判斷結(jié)果為所述待對(duì)標(biāo)數(shù)據(jù)是否存在數(shù)據(jù)標(biāo)準(zhǔn)的判斷結(jié)果；所述標(biāo)準(zhǔn)判斷模型是基于第一數(shù)據(jù)本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)標(biāo)準(zhǔn)的確定方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述標(biāo)準(zhǔn)判斷結(jié)果和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱的匹配結(jié)果，確定所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱，具體包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述標(biāo)準(zhǔn)判斷結(jié)果對(duì)應(yīng)的第一概率和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱對(duì)應(yīng)的第二概率，確定所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱，具體包括：
4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述標(biāo)準(zhǔn)判斷模型包括向量轉(zhuǎn)換層、卷積層、池化層以及全連接層；所述基于待對(duì)標(biāo)數(shù)據(jù)，通過(guò)標(biāo)準(zhǔn)判斷模型輸出所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)判斷結(jié)果，具體包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述標(biāo)準(zhǔn)判斷模型通過(guò)如下步驟訓(xùn)練獲得：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述標(biāo)準(zhǔn)對(duì)標(biāo)模型通過(guò)如下步驟訓(xùn)練獲得：
7.根據(jù)權(quán)利要求5或6所述的方法，其特征在于，所述第一數(shù)據(jù)樣本或所述第二數(shù)據(jù)樣本通過(guò)如下步驟獲得：
8.一種數(shù)據(jù)標(biāo)準(zhǔn)的確定裝置，其特征在于，所述裝置包括：
9.一
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被運(yùn)行時(shí)，運(yùn)行所述計(jì)算機(jī)程序的設(shè)備實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的數(shù)據(jù)標(biāo)準(zhǔn)的確定方法的步驟。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)標(biāo)準(zhǔn)的確定方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述標(biāo)準(zhǔn)判斷結(jié)果和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱的匹配結(jié)果，確定所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱，具體包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述標(biāo)準(zhǔn)判斷結(jié)果對(duì)應(yīng)的第一概率和所述數(shù)據(jù)標(biāo)準(zhǔn)名稱對(duì)應(yīng)的第二概率，確定所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)名稱，具體包括：
4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述標(biāo)準(zhǔn)判斷模型包括向量轉(zhuǎn)換層、卷積層、池化層以及全連接層；所述基于待對(duì)標(biāo)數(shù)據(jù)，通過(guò)標(biāo)準(zhǔn)判斷模型輸出所述待對(duì)標(biāo)數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)判斷結(jié)果，具體包括：
5.根據(jù)權(quán)利...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李華，盧西昌，李繼業(yè)，朱蕙，劉特，張新雨，胡澤標(biāo)，張琳，吳東華，
申請(qǐng)(專利權(quán))人：太保科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。