【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建系統(tǒng)及方法，屬于計(jì)算機(jī)信息。
技術(shù)介紹
1、煤炭企業(yè)知識(shí)管理系統(tǒng)是一個(gè)集中存儲(chǔ)、管理和展示煤炭領(lǐng)域相關(guān)知識(shí)的系統(tǒng)或平臺(tái)。它涵蓋了煤炭的各個(gè)方面，包括但不限于煤炭的地質(zhì)成因、開采技術(shù)、加工利用、市場(chǎng)情況、環(huán)境影響以及相關(guān)政策法規(guī)等。
2、在煤炭行業(yè)處于數(shù)字化、智能化快速發(fā)展的背景下，行業(yè)知識(shí)的管理和應(yīng)用成為核心難題，現(xiàn)有知識(shí)管理系統(tǒng)缺乏深度和專業(yè)性，關(guān)聯(lián)性較差，無法實(shí)現(xiàn)多維度分析應(yīng)用：煤炭行業(yè)涉及眾多專業(yè)技術(shù)和復(fù)雜問題，需要深入研究和理解。然而，一些煤炭知識(shí)庫可能只是簡單地羅列了一些基礎(chǔ)概念和常識(shí)，缺乏深入的分析和解讀，無法為用戶提供有價(jià)值的專業(yè)指導(dǎo)。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建系統(tǒng)及方法，針對(duì)現(xiàn)有煤炭行業(yè)知識(shí)管理系統(tǒng)知識(shí)沉淀固化的現(xiàn)狀，通過知識(shí)圖譜和大模型融合的方式，豐富知識(shí)庫回答領(lǐng)域，優(yōu)化知識(shí)庫問題回答方式，為煤炭行業(yè)數(shù)字化、智能化、綠色化發(fā)展貢獻(xiàn)力量。
2、為達(dá)到上述目的，本專利技術(shù)是采用下述技術(shù)方案實(shí)現(xiàn)的：
3、第一方面，本專利技術(shù)提供了一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，包括：
4、收集煤炭企業(yè)知識(shí)數(shù)據(jù)；
5、對(duì)煤炭企業(yè)知識(shí)數(shù)據(jù)進(jìn)行預(yù)處理，得到知識(shí)圖譜數(shù)據(jù)和大模型模塊數(shù)據(jù)；
6、使用實(shí)體識(shí)別技術(shù)對(duì)知識(shí)圖譜數(shù)據(jù)進(jìn)行數(shù)據(jù)實(shí)體識(shí)別后，創(chuàng)建知識(shí)圖譜模塊；
7、對(duì)大模型模塊數(shù)據(jù)進(jìn)行分類和標(biāo)注后，創(chuàng)
8、基于知識(shí)圖譜模塊和大模型模塊創(chuàng)建煤炭企業(yè)知識(shí)管理系統(tǒng)。
9、進(jìn)一步的，所述煤炭企業(yè)知識(shí)數(shù)據(jù)包括內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)：其中內(nèi)部數(shù)據(jù)由企業(yè)內(nèi)部系統(tǒng)提供，包括存儲(chǔ)于數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)和未存儲(chǔ)于數(shù)據(jù)庫的非結(jié)構(gòu)化數(shù)據(jù)；外部數(shù)據(jù)通過網(wǎng)絡(luò)采集和其他煤炭企業(yè)提交獲得。
10、進(jìn)一步的，對(duì)煤炭企業(yè)知識(shí)數(shù)據(jù)進(jìn)行預(yù)處理，包括：使用大數(shù)據(jù)技術(shù)對(duì)所述煤炭企業(yè)知識(shí)數(shù)據(jù)進(jìn)行清洗、核查和分類，剔除無效數(shù)據(jù)、異常數(shù)據(jù)和不真實(shí)數(shù)據(jù)，然后將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。
11、進(jìn)一步的，使用實(shí)體識(shí)別技術(shù)對(duì)知識(shí)圖譜數(shù)據(jù)進(jìn)行數(shù)據(jù)實(shí)體識(shí)別包括：使用macbert模型作為詞嵌入層，同時(shí)加入長短期記憶網(wǎng)絡(luò)提取知識(shí)圖譜數(shù)據(jù)上下文語義特征，最后通過條件隨機(jī)場(chǎng)輸出每個(gè)單詞轉(zhuǎn)移分?jǐn)?shù)矩陣和觀測(cè)分?jǐn)?shù)矩陣之和，并使用維特比解碼算法計(jì)算所有單詞累加分?jǐn)?shù)最高的序列，再使用實(shí)體融合技術(shù)將兩個(gè)表述不同但實(shí)際意義相同的詞進(jìn)行合并，得到知識(shí)圖譜的三元組數(shù)據(jù)后選用neo4j圖數(shù)據(jù)庫存儲(chǔ)。
12、進(jìn)一步的，所述大模型模塊通過定義知識(shí)模板，對(duì)所述知識(shí)圖譜的三元組數(shù)據(jù)進(jìn)行解析，生成問答對(duì)數(shù)據(jù)，然后使用大模型對(duì)問答對(duì)進(jìn)行改寫，以及，利用提示詞工程技術(shù)，構(gòu)建問答對(duì)模板，設(shè)置大模型的最大令牌數(shù)和溫度變量，將問答對(duì)模板發(fā)送給大模型，從原始的半結(jié)構(gòu)化和非結(jié)構(gòu)化文本中自動(dòng)抽取問答對(duì)，進(jìn)行數(shù)據(jù)增強(qiáng)，以及，使用知識(shí)圖譜內(nèi)容，對(duì)知識(shí)圖譜模塊中查詢不到的問題進(jìn)行推理，并對(duì)推理結(jié)果進(jìn)行評(píng)分，當(dāng)推理結(jié)果所得分?jǐn)?shù)高于規(guī)定分?jǐn)?shù)時(shí)，使用該結(jié)果進(jìn)行問答；
13、所述大模型模塊創(chuàng)建完成后，選用glm開源預(yù)訓(xùn)練模型作為原始基座模型，然后使用所述問答對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練微調(diào)，包括：對(duì)問答對(duì)數(shù)據(jù)進(jìn)行去重、清洗不規(guī)范數(shù)據(jù)操作，將其轉(zhuǎn)換為指定模型微調(diào)所需的數(shù)據(jù)集格式；然后采用lora微調(diào)技術(shù)對(duì)指定的參數(shù)進(jìn)行調(diào)整，包括lora的秩、lora的縮放因子以及在lora層使用的dropout概率；最后使用transformers庫對(duì)模型進(jìn)行微調(diào)，包括模型加載、數(shù)據(jù)預(yù)劃分與分批、優(yōu)化器和損失函數(shù)定義、訓(xùn)練參數(shù)設(shè)置、中間步模型權(quán)重保存；在lora微調(diào)結(jié)束后，需要將lora訓(xùn)練出來的模型權(quán)重與原始基座模型進(jìn)行合并。
14、進(jìn)一步的，所述知識(shí)圖譜的質(zhì)量特征基于數(shù)據(jù)質(zhì)量詞表規(guī)范的質(zhì)量評(píng)估方法評(píng)估，包括：引入額外的抽象類和屬性，針對(duì)煤礦領(lǐng)域數(shù)據(jù)特征，構(gòu)建專門針對(duì)煤礦領(lǐng)域知識(shí)圖譜質(zhì)量的本體，然后將這個(gè)本體與知識(shí)圖譜的具體質(zhì)量需求、不同的質(zhì)量維度以及質(zhì)量類別相結(jié)合，對(duì)其中的抽象類和屬性進(jìn)行具體化，形成滿足特定需求的知識(shí)圖譜質(zhì)量評(píng)估本體，最終運(yùn)用這個(gè)本體來對(duì)知識(shí)圖譜的內(nèi)生質(zhì)量、上下文質(zhì)量、描述質(zhì)量、訪問質(zhì)量進(jìn)行全面評(píng)估，根據(jù)評(píng)估結(jié)果對(duì)知識(shí)圖譜數(shù)據(jù)進(jìn)行補(bǔ)充完善。
15、進(jìn)一步的，所述煤炭企業(yè)知識(shí)管理系統(tǒng)還包括用戶畫像模塊和軟件開發(fā)模塊，其中用戶畫像模塊選用聚類算法對(duì)用戶畫像進(jìn)行初步創(chuàng)建，然后根據(jù)用戶的軟件使用行為實(shí)時(shí)更新用戶畫像，為用戶推薦個(gè)性化知識(shí)；所述軟件開發(fā)模塊包括系統(tǒng)管理模塊、知識(shí)問答模塊和安全管理模塊，其中系統(tǒng)管理模塊針對(duì)用戶數(shù)據(jù)、企業(yè)數(shù)據(jù)和權(quán)限數(shù)據(jù)進(jìn)行管理，知識(shí)問答模塊基于知識(shí)圖譜和大模型對(duì)用戶輸入的問題進(jìn)行回答，安全管理模塊針對(duì)靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)提供不同的數(shù)據(jù)安全保護(hù)方案。
16、第二方面，本專利技術(shù)提供了一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建系統(tǒng)，包括：
17、數(shù)據(jù)收集模塊：用于收集煤炭企業(yè)知識(shí)數(shù)據(jù)；
18、數(shù)據(jù)預(yù)處理模塊：用于對(duì)煤炭企業(yè)知識(shí)數(shù)據(jù)進(jìn)行預(yù)處理，得到知識(shí)圖譜數(shù)據(jù)和大模型模塊數(shù)據(jù)；
19、知識(shí)圖譜數(shù)據(jù)處理模塊：用于使用實(shí)體識(shí)別技術(shù)對(duì)知識(shí)圖譜數(shù)據(jù)進(jìn)行數(shù)據(jù)實(shí)體識(shí)別后，創(chuàng)建知識(shí)圖譜模塊；
20、大模型模塊數(shù)據(jù)處理模塊：用于對(duì)大模型模塊數(shù)據(jù)進(jìn)行分類和標(biāo)注后，創(chuàng)建大模型模塊；
21、系統(tǒng)構(gòu)建模塊：用于基于訓(xùn)練微調(diào)后的知識(shí)圖譜構(gòu)建煤炭企業(yè)知識(shí)管理系統(tǒng)。
22、第三方面，本專利技術(shù)提供了一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建裝置，包括處理器及存儲(chǔ)介質(zhì)；
23、所述存儲(chǔ)介質(zhì)用于存儲(chǔ)指令；
24、所述處理器用于根據(jù)所述指令進(jìn)行操作以執(zhí)行根據(jù)上述任一項(xiàng)所述方法的步驟。
25、第四方面，本專利技術(shù)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)所述方法的步驟。
26、與現(xiàn)有技術(shù)相比，本專利技術(shù)所達(dá)到的有益效果：
27、本專利技術(shù)通過將知識(shí)圖譜和大模型融合的方式建立煤炭企業(yè)知識(shí)管理系統(tǒng)，豐富知識(shí)庫回答領(lǐng)域，優(yōu)化知識(shí)庫問題回答方式，利用專業(yè)知識(shí)圖譜知識(shí)對(duì)大模型進(jìn)行增強(qiáng)，生成專業(yè)問答結(jié)果，提升知識(shí)庫在專業(yè)領(lǐng)域的問答能力，同時(shí)，利用大模型的推理能力對(duì)知識(shí)圖譜查詢不到的問題進(jìn)行推理并評(píng)分，解決大模型回答問題幻覺的現(xiàn)象；
28、本專利技術(shù)數(shù)據(jù)收集方式廣泛，具有針對(duì)性，針對(duì)傳統(tǒng)知識(shí)庫中知識(shí)來源和內(nèi)容不準(zhǔn)確等問題，基于煤礦文獻(xiàn)、法律法規(guī)、標(biāo)準(zhǔn)規(guī)范、百科等非結(jié)構(gòu)化文本數(shù)據(jù)，通過建立實(shí)體識(shí)別模型抽取實(shí)體，對(duì)實(shí)體識(shí)別模型進(jìn)行評(píng)估，保證識(shí)別和抽取內(nèi)容的準(zhǔn)確性并用于構(gòu)建煤礦領(lǐng)域知識(shí)圖譜，應(yīng)用基于數(shù)據(jù)質(zhì)量詞表規(guī)范的質(zhì)量評(píng)估方法，對(duì)已構(gòu)建的圖譜質(zhì)量進(jìn)行評(píng)估，根據(jù)評(píng)估結(jié)果對(duì)知識(shí)圖譜進(jìn)行數(shù)據(jù)補(bǔ)充完善，提升知識(shí)庫中知識(shí)的準(zhǔn)確性和全面性；
29、三、本專利技術(shù)以服務(wù)精益生產(chǎn)為導(dǎo)向，輔助員工日常生產(chǎn)工作，提升工作效率，提升安全水平、提升單人效益，指導(dǎo)精準(zhǔn)決策分析，為煤炭行業(yè)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，包括：
2.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，所述煤炭企業(yè)知識(shí)數(shù)據(jù)包括內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)：其中內(nèi)部數(shù)據(jù)由企業(yè)內(nèi)部系統(tǒng)提供，包括存儲(chǔ)于數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)和未存儲(chǔ)于數(shù)據(jù)庫的非結(jié)構(gòu)化數(shù)據(jù)；外部數(shù)據(jù)通過網(wǎng)絡(luò)采集和其他煤炭企業(yè)提交獲得。
3.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，對(duì)煤炭企業(yè)知識(shí)數(shù)據(jù)進(jìn)行預(yù)處理，包括：使用大數(shù)據(jù)技術(shù)對(duì)所述煤炭企業(yè)知識(shí)數(shù)據(jù)進(jìn)行清洗、核查和分類，剔除無效數(shù)據(jù)、異常數(shù)據(jù)和不真實(shí)數(shù)據(jù)，然后將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，所述大模型模塊創(chuàng)建完成后，選用GLM開源預(yù)訓(xùn)練模型作為原始基座模型，然后使用所述問答對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練微調(diào)，包括：對(duì)問答對(duì)數(shù)據(jù)進(jìn)行去重、清洗不規(guī)范數(shù)據(jù)操作，將其轉(zhuǎn)換為指定模型微調(diào)所需的數(shù)據(jù)集格式；然后采用LoRA微調(diào)技術(shù)對(duì)指定的參數(shù)進(jìn)行調(diào)整，包括LoRA的秩、LoRA的縮放因子以及在LoRA層使用的dropout概率；最后使用transformers庫對(duì)模型進(jìn)行
5.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，所述知識(shí)圖譜的質(zhì)量特征基于數(shù)據(jù)質(zhì)量詞表規(guī)范的質(zhì)量評(píng)估方法評(píng)估，包括：引入額外的抽象類和屬性，針對(duì)煤礦領(lǐng)域數(shù)據(jù)特征，構(gòu)建專門針對(duì)煤礦領(lǐng)域知識(shí)圖譜質(zhì)量的本體，然后將這個(gè)本體與知識(shí)圖譜的具體質(zhì)量需求、不同的質(zhì)量維度以及質(zhì)量類別相結(jié)合，對(duì)其中的抽象類和屬性進(jìn)行具體化，形成滿足特定需求的知識(shí)圖譜質(zhì)量評(píng)估本體，最終運(yùn)用這個(gè)本體來對(duì)知識(shí)圖譜的內(nèi)生質(zhì)量、上下文質(zhì)量、描述質(zhì)量、訪問質(zhì)量進(jìn)行全面評(píng)估，根據(jù)評(píng)估結(jié)果對(duì)知識(shí)圖譜數(shù)據(jù)進(jìn)行補(bǔ)充完善。
6.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，所述煤炭企業(yè)知識(shí)管理系統(tǒng)還包括用戶畫像模塊和軟件開發(fā)模塊，其中用戶畫像模塊選用聚類算法對(duì)用戶畫像進(jìn)行初步創(chuàng)建，然后根據(jù)用戶的軟件使用行為實(shí)時(shí)更新用戶畫像，為用戶推薦個(gè)性化知識(shí)；所述軟件開發(fā)模塊包括系統(tǒng)管理模塊、知識(shí)問答模塊和安全管理模塊，其中系統(tǒng)管理模塊針對(duì)用戶數(shù)據(jù)、企業(yè)數(shù)據(jù)和權(quán)限數(shù)據(jù)進(jìn)行管理，知識(shí)問答模塊基于知識(shí)圖譜和大模型對(duì)用戶輸入的問題進(jìn)行回答，安全管理模塊針對(duì)靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)提供不同的數(shù)據(jù)安全保護(hù)方案。
7.一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建系統(tǒng)，其特征是，包括：
8.一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建裝置，其特征是，包括處理器及存儲(chǔ)介質(zhì)；
9.計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征是，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1~6任一項(xiàng)所述方法的步驟。
...【技術(shù)特征摘要】
1.一種煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，包括：
2.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，所述煤炭企業(yè)知識(shí)數(shù)據(jù)包括內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)：其中內(nèi)部數(shù)據(jù)由企業(yè)內(nèi)部系統(tǒng)提供，包括存儲(chǔ)于數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)和未存儲(chǔ)于數(shù)據(jù)庫的非結(jié)構(gòu)化數(shù)據(jù)；外部數(shù)據(jù)通過網(wǎng)絡(luò)采集和其他煤炭企業(yè)提交獲得。
3.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，對(duì)煤炭企業(yè)知識(shí)數(shù)據(jù)進(jìn)行預(yù)處理，包括：使用大數(shù)據(jù)技術(shù)對(duì)所述煤炭企業(yè)知識(shí)數(shù)據(jù)進(jìn)行清洗、核查和分類，剔除無效數(shù)據(jù)、異常數(shù)據(jù)和不真實(shí)數(shù)據(jù)，然后將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系統(tǒng)構(gòu)建方法，其特征是，所述大模型模塊創(chuàng)建完成后，選用glm開源預(yù)訓(xùn)練模型作為原始基座模型，然后使用所述問答對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練微調(diào)，包括：對(duì)問答對(duì)數(shù)據(jù)進(jìn)行去重、清洗不規(guī)范數(shù)據(jù)操作，將其轉(zhuǎn)換為指定模型微調(diào)所需的數(shù)據(jù)集格式；然后采用lora微調(diào)技術(shù)對(duì)指定的參數(shù)進(jìn)行調(diào)整，包括lora的秩、lora的縮放因子以及在lora層使用的dropout概率；最后使用transformers庫對(duì)模型進(jìn)行微調(diào)，包括模型加載、數(shù)據(jù)預(yù)劃分與分批、優(yōu)化器和損失函數(shù)定義、訓(xùn)練參數(shù)設(shè)置、中間步模型權(quán)重保存；在lora微調(diào)結(jié)束后，需要將lora訓(xùn)練出來的模型權(quán)重與原始基座模型進(jìn)行合并。
5.根據(jù)權(quán)利要求1所述的煤炭企業(yè)知識(shí)管理系...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王瑜，衛(wèi)中寬，李岑，白冬艷，張樹森，何潔昕，朱云鵬，倪騰，
申請(qǐng)(專利權(quán))人：中煤天津設(shè)計(jì)工程有限責(zé)任公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。