【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)數(shù)據(jù)處理領(lǐng)域，特別是涉及一種文本文件的處理方法及裝置、電子設(shè)備、存儲介質(zhì)。
技術(shù)介紹
1、在當(dāng)今的大數(shù)據(jù)時(shí)代，文本文件格式如csv(comma-separated?values，字符分隔值文本文件)、parquet和json在數(shù)據(jù)存儲和交換中扮演著至關(guān)重要的角色。csv文件以其簡單性和廣泛兼容性著稱，常用于數(shù)據(jù)導(dǎo)入導(dǎo)出和數(shù)據(jù)分析。parquet文件則是一種列式存儲格式，專為大數(shù)據(jù)處理而設(shè)計(jì)，提供了高效的壓縮和查詢性能。json文件以其靈活的結(jié)構(gòu)和易于人類閱讀的特點(diǎn)，廣泛應(yīng)用于web服務(wù)和api的數(shù)據(jù)交換。
2、盡管這些文本文件格式在數(shù)據(jù)存儲和交換中具有顯著優(yōu)勢，但在實(shí)際應(yīng)用中，它們也面臨著一些挑戰(zhàn)。相關(guān)技術(shù)的解決方案提供了針對這些文本文件格式的讀寫操作，在一定程度上解決了文本文件格式的讀寫問題，但在數(shù)據(jù)檢索時(shí)，往往需要遍歷整個(gè)文件，導(dǎo)致數(shù)據(jù)處理能力低下，尤其是在數(shù)據(jù)處理操作頻繁的場景下，數(shù)據(jù)處理的性能問題更加突出。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述問題，提出了以便提供克服上述問題或者至少部分地解決上述問題的一種文本文件的處理方法及裝置、電子設(shè)備、存儲介質(zhì)，包括：
2、在本專利技術(shù)實(shí)施的第一方面，首先提供了一種文本文件的處理方法，其特征在于，所述方法包括：
3、獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求，并對所述數(shù)據(jù)處理需求進(jìn)行解析，得到與所述數(shù)據(jù)處理需求對應(yīng)的數(shù)據(jù)處理語句；
4、確定所述數(shù)據(jù)處理語句對應(yīng)的多個(gè)數(shù)據(jù)處理計(jì)劃，并確定
5、依據(jù)所述數(shù)據(jù)處理成本，從所述多個(gè)數(shù)據(jù)處理計(jì)劃中確定出目標(biāo)數(shù)據(jù)處理計(jì)劃，并基于所述目標(biāo)數(shù)據(jù)處理計(jì)劃，對所述數(shù)據(jù)處理需求對應(yīng)的目標(biāo)文本文件進(jìn)行數(shù)據(jù)處理，以得到數(shù)據(jù)處理結(jié)果。
6、可選的，在所述獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求之前，所述方法還包括：
7、獲取文本文件和針對所述文本文件的第一索引字段集合；
8、基于所述第一索引字段集合，為所述文本文件創(chuàng)建第一索引。
9、可選的，所述方法還包括：
10、按照預(yù)設(shè)的時(shí)間間隔，獲取歷史數(shù)據(jù)處理信息和所述文本文件的當(dāng)前索引信息；
11、依據(jù)所述歷史數(shù)據(jù)處理信息確定第二索引字段集合，所述第二索引字段集合用于表征歷史常用字段；
12、更新所述當(dāng)前索引信息中與所述第二索引字段集合匹配的目標(biāo)索引信息。
13、可選的，所述確定所述數(shù)據(jù)處理語句對應(yīng)的多個(gè)數(shù)據(jù)處理計(jì)劃，包括：
14、確定所述數(shù)據(jù)處理語句是否需要重寫；
15、在確定所述數(shù)據(jù)處理語句需要重寫的情況下，對所述數(shù)據(jù)處理語句進(jìn)行重寫，得到重寫后的數(shù)據(jù)處理語句；
16、確定所述數(shù)據(jù)處理語句對應(yīng)的目標(biāo)文本文件信息和所述目標(biāo)文本文件信息的目標(biāo)索引信息；
17、依據(jù)所述重寫后的數(shù)據(jù)處理語句和所述目標(biāo)索引信息，確定所述數(shù)據(jù)處理語句對應(yīng)的多個(gè)數(shù)據(jù)處理計(jì)劃。
18、可選的，所述確定所述多個(gè)數(shù)據(jù)處理計(jì)劃分別對應(yīng)的數(shù)據(jù)處理成本，包括：
19、確定每個(gè)所述數(shù)據(jù)處理計(jì)劃分別對應(yīng)的執(zhí)行時(shí)間和系統(tǒng)資源消耗成本；
20、依據(jù)每個(gè)所述數(shù)據(jù)處理計(jì)劃分別對應(yīng)的所述執(zhí)行時(shí)間和每個(gè)所述數(shù)據(jù)處理計(jì)劃分別對應(yīng)的所述系統(tǒng)資源消耗成本，確定所述多個(gè)數(shù)據(jù)處理計(jì)劃分別對應(yīng)的數(shù)據(jù)處理成本；
21、所述依據(jù)所述數(shù)據(jù)處理成本，從所述多個(gè)數(shù)據(jù)處理計(jì)劃中確定出目標(biāo)數(shù)據(jù)處理計(jì)劃，包括：
22、從所述多個(gè)數(shù)據(jù)處理計(jì)劃分別對應(yīng)的數(shù)據(jù)處理成本中確定出最小數(shù)據(jù)處理成本；
23、將所述最小數(shù)據(jù)處理成本對應(yīng)的數(shù)據(jù)處理計(jì)劃確定為目標(biāo)數(shù)據(jù)處理計(jì)劃。
24、可選的，所述從所述多個(gè)數(shù)據(jù)處理計(jì)劃中確定出目標(biāo)數(shù)據(jù)處理計(jì)劃之后，包括：
25、確定目標(biāo)數(shù)據(jù)處理計(jì)劃對應(yīng)的目標(biāo)數(shù)據(jù)，并獲取針對所述目標(biāo)數(shù)據(jù)的目標(biāo)數(shù)據(jù)歷史處理信息；
26、依據(jù)所述目標(biāo)數(shù)據(jù)歷史處理信息，確定所述目標(biāo)數(shù)據(jù)處理計(jì)劃是否滿足索引新增策略；
27、在確定滿足索引新增策略的情況下，基于所述目標(biāo)數(shù)據(jù)處理計(jì)劃和所述目標(biāo)數(shù)據(jù)歷史處理信息，確定第三索引字段集合；
28、基于所述第三索引字段集合，為所述目標(biāo)文本文件創(chuàng)建第三索引。
29、可選的，所述獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求，包括：
30、通過圖形化數(shù)據(jù)處理界面，獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求；
31、或，通過命令行界面，獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求；其中，所述圖形化數(shù)據(jù)處理界面包括拖拽控件；所述拖拽控件用于拖拽所述數(shù)據(jù)處理需求對應(yīng)的數(shù)據(jù)處理信息。
32、在本專利技術(shù)實(shí)施的第二方面，還提供了一種文本文件的處理裝置，其特征在于，包括：
33、第一獲取模塊，被配置為獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求，并對所述數(shù)據(jù)處理需求進(jìn)行解析，得到與所述數(shù)據(jù)處理需求對應(yīng)的數(shù)據(jù)處理語句；
34、第一確定模塊，被配置為確定所述數(shù)據(jù)處理語句對應(yīng)的多個(gè)數(shù)據(jù)處理計(jì)劃，并確定所述多個(gè)數(shù)據(jù)處理計(jì)劃分別對應(yīng)的數(shù)據(jù)處理成本；
35、第一處理模塊，被配置為依據(jù)所述數(shù)據(jù)處理成本，從所述多個(gè)數(shù)據(jù)處理計(jì)劃中確定出目標(biāo)數(shù)據(jù)處理計(jì)劃，并基于所述目標(biāo)數(shù)據(jù)處理計(jì)劃，對所述數(shù)據(jù)處理需求對應(yīng)的目標(biāo)文本文件進(jìn)行數(shù)據(jù)處理，以得到數(shù)據(jù)處理結(jié)果。
36、本申請實(shí)施例還公開了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本申請實(shí)施例中一個(gè)或多個(gè)所述的文本文件的處理方法。
37、本申請實(shí)施例還公開了一種電子設(shè)備，包括：處理器；和存儲器，其上存儲有可執(zhí)行代碼，當(dāng)所述可執(zhí)行代碼被執(zhí)行時(shí)，使得所述處理器執(zhí)行如本申請實(shí)施例中一個(gè)或多個(gè)所述的文本文件的處理方法。
38、本申請實(shí)施例還公開了一個(gè)或多個(gè)機(jī)器可讀介質(zhì)，其上存儲有可執(zhí)行代碼，當(dāng)所述可執(zhí)行代碼被執(zhí)行時(shí)，使得處理器執(zhí)行如本申請實(shí)施例中一個(gè)或多個(gè)所述的文本文件的處理方法。
39、本專利技術(shù)實(shí)施例具有以下優(yōu)點(diǎn)：
40、通過獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求，并對數(shù)據(jù)處理需求進(jìn)行解析，得到與數(shù)據(jù)處理需求對應(yīng)的數(shù)據(jù)處理語句，確定數(shù)據(jù)處理語句對應(yīng)的多個(gè)數(shù)據(jù)處理計(jì)劃，并確定多個(gè)數(shù)據(jù)處理計(jì)劃分別對應(yīng)的數(shù)據(jù)處理成本，依據(jù)數(shù)據(jù)處理成本，從多個(gè)數(shù)據(jù)處理計(jì)劃中確定出目標(biāo)數(shù)據(jù)處理計(jì)劃，并基于目標(biāo)數(shù)據(jù)處理計(jì)劃，對數(shù)據(jù)處理需求對應(yīng)的目標(biāo)文本文件進(jìn)行數(shù)據(jù)處理，以得到數(shù)據(jù)處理結(jié)果。通過對用戶數(shù)據(jù)處理需求進(jìn)行分析和優(yōu)化，采用高效的數(shù)據(jù)處理計(jì)劃訪問文本文件，減少了資源消耗，提高了數(shù)據(jù)處理性能。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種文本文件的處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求之前，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述數(shù)據(jù)處理語句對應(yīng)的多個(gè)數(shù)據(jù)處理計(jì)劃，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述多個(gè)數(shù)據(jù)處理計(jì)劃分別對應(yīng)的數(shù)據(jù)處理成本，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述多個(gè)數(shù)據(jù)處理計(jì)劃中確定出目標(biāo)數(shù)據(jù)處理計(jì)劃之后，包括：
7.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求，包括：
8.一種文本文件的處理裝置，其特征在于，所述裝置包括：
9.一種電子設(shè)備，其特征在于，包括處理器、存儲器及存儲在所述存儲器上并能夠在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的文本文件的處理方法。
10.一
...【技術(shù)特征摘要】
1.一種文本文件的處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取針對目標(biāo)文本文件的數(shù)據(jù)處理需求之前，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述數(shù)據(jù)處理語句對應(yīng)的多個(gè)數(shù)據(jù)處理計(jì)劃，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述多個(gè)數(shù)據(jù)處理計(jì)劃分別對應(yīng)的數(shù)據(jù)處理成本，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述多個(gè)數(shù)據(jù)處理計(jì)劃中確定出目標(biāo)數(shù)據(jù)處理計(jì)劃之...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃國余，段文平，高洪，羅江維，秦黎，
申請(專利權(quán))人：賽力斯汽車有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。