用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法和裝置制造方法及圖紙

技術(shù)編號(hào)：44459190 閱讀：4 留言：0更新日期：2025-02-28 19:06

本發(fā)明專利技術(shù)提供一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法和裝置，所述方法包括：獲取待處理的原始數(shù)據(jù)，并構(gòu)建訓(xùn)練數(shù)據(jù)集；按預(yù)設(shè)的維度將所述訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行劃分，以得到至少兩個(gè)不同維度的數(shù)據(jù)子集；分別對(duì)各數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行處理，以得到各數(shù)據(jù)子集對(duì)應(yīng)的子向量；拼接各所述子向量，以得到拼接后的結(jié)果向量。對(duì)訓(xùn)練數(shù)據(jù)集中的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，以剔除數(shù)據(jù)庫中的冗余數(shù)據(jù)，解決數(shù)據(jù)維度過高，訓(xùn)練過擬合的問題；從而通過對(duì)采集到的原始數(shù)據(jù)進(jìn)行處理，剔除數(shù)據(jù)庫中的冗余數(shù)據(jù)，提高模型訓(xùn)練效率，避免模型訓(xùn)練中出現(xiàn)過擬合。

全部詳細(xì)技術(shù)資料下載

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及數(shù)據(jù)處理，尤其涉及一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法和裝置。

技術(shù)介紹

1、在教育管理系統(tǒng)的漏洞檢測(cè)過程中，通常會(huì)用到人工智能檢測(cè)系統(tǒng)，利用人工智能識(shí)別系統(tǒng)提高漏洞檢測(cè)的檢測(cè)效率和檢測(cè)準(zhǔn)確性。在搭建人工智能檢測(cè)系統(tǒng)時(shí)，需要收集大量的目標(biāo)數(shù)據(jù)，構(gòu)建龐大的數(shù)據(jù)庫。由于數(shù)據(jù)量龐大，不同樣本間可能含有相似的信息，故信息冗余現(xiàn)象可能存在。

2、已有技術(shù)中，在進(jìn)行數(shù)據(jù)處理時(shí)，通過響應(yīng)內(nèi)容解析html后把內(nèi)容和響應(yīng)頭信息進(jìn)行embedding的方式，容易造成維度過高、訓(xùn)練過擬合問題，而且由于解析全部的內(nèi)容，不能夠精準(zhǔn)的學(xué)習(xí)到想要的內(nèi)容信息。

3、鑒于此，提供一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法和裝置，以期對(duì)訓(xùn)練數(shù)據(jù)集中的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，以剔除數(shù)據(jù)庫中的冗余數(shù)據(jù)，解決數(shù)據(jù)維度過高，訓(xùn)練過擬合的問題。

技術(shù)實(shí)現(xiàn)思路

1、本專利技術(shù)提供一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法和裝置，以期對(duì)訓(xùn)練數(shù)據(jù)集中的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，以剔除數(shù)據(jù)庫中的冗余數(shù)據(jù)，解決數(shù)據(jù)維度過高，訓(xùn)練過擬合的問題；從而通過對(duì)采集到的原始數(shù)據(jù)進(jìn)行處理，剔除數(shù)據(jù)庫中的冗余數(shù)據(jù)，提高模型訓(xùn)練效率，避免模型訓(xùn)練中出現(xiàn)過擬合。

2、本專利技術(shù)提供一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法，所述方法包括：

3、獲取待處理的原始數(shù)據(jù)，并構(gòu)建訓(xùn)練數(shù)據(jù)集；

4、按預(yù)設(shè)的維度將所述訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行劃分，以得到至少兩個(gè)不同維度的數(shù)據(jù)子集；</p>

5、分別對(duì)各數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行處理，以得到各數(shù)據(jù)子集對(duì)應(yīng)的子向量；

6、拼接各所述子向量，以得到拼接后的結(jié)果向量。

7、在一些實(shí)施例中，所述預(yù)設(shè)的維度包括內(nèi)容維度和結(jié)構(gòu)維度。

8、在一些實(shí)施例中，在所述預(yù)設(shè)的維度為內(nèi)容維度的情況下，對(duì)數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行處理，具體包括：

9、對(duì)數(shù)據(jù)子集中的數(shù)據(jù)依次進(jìn)行去除特殊符號(hào)處理、內(nèi)容切分處理、去除高低頻詞處理、向量轉(zhuǎn)化處理和數(shù)據(jù)增強(qiáng)處理。

10、在一些實(shí)施例中，對(duì)數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行去除特殊符號(hào)處理，具體包括：

11、采用正則表達(dá)式，針對(duì)不能表示頁面內(nèi)容的特殊字符進(jìn)行去除；

12、去除數(shù)據(jù)中的鏈接信息、去掉空白符、以及對(duì)理解沒有幫助的標(biāo)點(diǎn)符號(hào)。

13、在一些實(shí)施例中，對(duì)數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理，具體包括：

14、將向量轉(zhuǎn)化處理后得到的子向量輸入ctgan網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)。

15、在一些實(shí)施例中，在所述預(yù)設(shè)的維度為結(jié)構(gòu)維度的情況下，對(duì)數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行處理，具體包括：

16、對(duì)數(shù)據(jù)子集中的數(shù)據(jù)依次進(jìn)行去除重復(fù)結(jié)構(gòu)處理、向量轉(zhuǎn)化處理和數(shù)據(jù)增強(qiáng)處理。

17、本專利技術(shù)還提供一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理裝置，所述裝置包括：

18、數(shù)據(jù)獲取單元，用于獲取待處理的原始數(shù)據(jù)，并構(gòu)建訓(xùn)練數(shù)據(jù)集；

19、數(shù)據(jù)劃分單元，用于按預(yù)設(shè)的維度將所述訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行劃分，以得到至少兩個(gè)不同維度的數(shù)據(jù)子集；

20、向量轉(zhuǎn)化單元，用于分別對(duì)各數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行處理，以得到各數(shù)據(jù)子集對(duì)應(yīng)的子向量；

21、向量拼接單元，用于拼接各所述子向量，以得到拼接后的結(jié)果向量。

22、本專利技術(shù)還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上所述的方法。

23、本專利技術(shù)還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的方法。

24、本專利技術(shù)還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的方法。

25、本專利技術(shù)提供的用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法和裝置，通過獲取待處理的原始數(shù)據(jù)，并構(gòu)建訓(xùn)練數(shù)據(jù)集；按預(yù)設(shè)的維度將所述訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行劃分，以得到至少兩個(gè)不同維度的數(shù)據(jù)子集；分別對(duì)各數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行處理，以得到各數(shù)據(jù)子集對(duì)應(yīng)的子向量；拼接各所述子向量，以得到拼接后的結(jié)果向量。本專利技術(shù)所提供的方法和裝置，采用數(shù)據(jù)的內(nèi)容和結(jié)構(gòu)兩種信息特征工程處理，能夠極大程度獲取更多的數(shù)據(jù)信息，提高后續(xù)模型的準(zhǔn)確率；同時(shí)，采用ctgan的數(shù)據(jù)增強(qiáng)技術(shù)，對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，減少了工作人員收集數(shù)據(jù)的工作量；并且，在處理數(shù)據(jù)時(shí)去除了低頻詞和高頻次、以及分局歷史經(jīng)驗(yàn)切分出來一些詞，能夠更準(zhǔn)確的獲取到該數(shù)據(jù)信息，提高后續(xù)模型訓(xùn)練的準(zhǔn)確率。這樣，本專利技術(shù)所提供的方法和裝置，對(duì)訓(xùn)練數(shù)據(jù)集中的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，以剔除數(shù)據(jù)庫中的冗余數(shù)據(jù)，解決了數(shù)據(jù)維度過高，訓(xùn)練過擬合的問題；從而通過對(duì)采集到的原始數(shù)據(jù)進(jìn)行處理，剔除數(shù)據(jù)庫中的冗余數(shù)據(jù)，提高了模型訓(xùn)練效率，避免了模型訓(xùn)練中出現(xiàn)過擬合。

本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

1.一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法，其特征在于，所述預(yù)設(shè)的維度包括內(nèi)容維度和結(jié)構(gòu)維度。

3.根據(jù)權(quán)利要求2所述的用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法，其特征在于，在所述預(yù)設(shè)的維度為內(nèi)容維度的情況下，對(duì)數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行處理，具體包括：

4.根據(jù)權(quán)利要求3所述的用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法，其特征在于，對(duì)數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行去除特殊符號(hào)處理，具體包括：

5.根據(jù)權(quán)利要求3所述的用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法，其特征在于，對(duì)數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理，具體包括：

6.根據(jù)權(quán)利要求2所述的用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法，其特征在于，在所述預(yù)設(shè)的維度為結(jié)構(gòu)維度的情況下，對(duì)數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行處理，具體包括：

7.一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理裝置，其特征在于，所述裝置包括：

8.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器

9.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述的方法。

...

【技術(shù)特征摘要】

1.一種用于學(xué)校管理系統(tǒng)的模型訓(xùn)練數(shù)據(jù)預(yù)處理方法，其特征在于，所述方法包括：

6.根據(jù)權(quán)利要求2所...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：胡碩利，張進(jìn)，
申請(qǐng)(專利權(quán))人：南昌理工學(xué)院，
類型：發(fā)明
國(guó)別省市：

全部詳細(xì)技術(shù)資料下載我是這個(gè)專利的主人

相關(guān)技術(shù)

網(wǎng)友詢問留言已有0條評(píng)論

還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。

發(fā)布您的意見

相關(guān)領(lǐng)域技術(shù)