【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、目前汽車行業(yè)中，智能駕駛功能在整個(gè)汽車中的重要性逐漸增加。智能駕駛指的是機(jī)器幫助人進(jìn)行駕駛，以及在特殊情況下完全取代人駕駛的技術(shù)。為了支持智能駕駛功能的開(kāi)發(fā)，相關(guān)的模型訓(xùn)練部署尤為重要。
2、為了構(gòu)建功能強(qiáng)大且智能的駕駛模型，需要大規(guī)模且多樣化的模型訓(xùn)練數(shù)據(jù)作為堅(jiān)實(shí)支撐。同時(shí)還需要保證模型訓(xùn)練數(shù)據(jù)可覆蓋廣泛的駕駛場(chǎng)景，以及支持快速迭代與實(shí)時(shí)更新，以確保模型能夠持續(xù)學(xué)習(xí)、不斷優(yōu)化，從而精準(zhǔn)應(yīng)對(duì)復(fù)雜多變的道路環(huán)境。然而現(xiàn)有的數(shù)據(jù)處理方法無(wú)法實(shí)現(xiàn)實(shí)時(shí)構(gòu)建大規(guī)模且多樣化的模型訓(xùn)練數(shù)據(jù)。
3、因此，如何能夠?qū)崟r(shí)構(gòu)建大規(guī)模且多樣化的模型訓(xùn)練數(shù)據(jù)是一個(gè)亟待解決的技術(shù)問(wèn)題。
4、上述內(nèi)容僅用于輔助理解本申請(qǐng)的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)的主要目的在于提供一種數(shù)據(jù)處理方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)，旨在解決如何能夠?qū)崟r(shí)構(gòu)建大規(guī)模且多樣化的模型訓(xùn)練數(shù)據(jù)的技術(shù)問(wèn)題。
2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)岢鲆环N數(shù)據(jù)處理方法，所述方法包括：
3、響應(yīng)于數(shù)據(jù)處理指令，獲取待處理駕駛數(shù)據(jù)與預(yù)設(shè)模型數(shù)據(jù)需求，創(chuàng)建數(shù)據(jù)處理任務(wù)；
4、根據(jù)所述數(shù)據(jù)處理任務(wù)，從云端數(shù)據(jù)庫(kù)中獲取關(guān)聯(lián)云端數(shù)據(jù)；
5、基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段；
6、對(duì)所述有效場(chǎng)景
7、在一實(shí)施例中，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段的步驟之前，還包括：
8、基于所述關(guān)聯(lián)云端數(shù)據(jù)，確定對(duì)應(yīng)的數(shù)據(jù)解析格式；
9、將所述數(shù)據(jù)解析格式配置至所述服務(wù)器集群中，得到預(yù)配置的服務(wù)器集群。
10、在一實(shí)施例中，所述關(guān)聯(lián)云端數(shù)據(jù)包括第一云端數(shù)據(jù)，所述根據(jù)所述數(shù)據(jù)處理任務(wù)，從云端數(shù)據(jù)庫(kù)中獲取關(guān)聯(lián)云端數(shù)據(jù)的步驟之前，還包括：
11、根據(jù)所述數(shù)據(jù)處理任務(wù)，獲取待處理駕駛數(shù)據(jù)；
12、基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，提取并合并所述待處理駕駛數(shù)據(jù)中的所需主題數(shù)據(jù)，得到第一云端數(shù)據(jù)；
13、將所述第一云端數(shù)據(jù)保存至云端數(shù)據(jù)庫(kù)。
14、在一實(shí)施例中，所述關(guān)聯(lián)云端數(shù)據(jù)包括第二云端數(shù)據(jù)，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，提取并合并所述待處理駕駛數(shù)據(jù)中的所需主題數(shù)據(jù)，得到第一云端數(shù)據(jù)的步驟之后，還包括：
15、基于預(yù)配置的服務(wù)器集群，對(duì)所述第一云端數(shù)據(jù)進(jìn)行有效數(shù)據(jù)解析，得到若干個(gè)主題的有效數(shù)據(jù)；
16、對(duì)所述若干個(gè)主題的有效數(shù)據(jù)進(jìn)行時(shí)間對(duì)齊，將若干個(gè)主題的有效數(shù)據(jù)按照數(shù)據(jù)幀進(jìn)行數(shù)據(jù)合并，得到合并數(shù)據(jù)；
17、對(duì)所述合并數(shù)據(jù)進(jìn)行切片處理，得到第二云端數(shù)據(jù)；
18、將所述第二云端數(shù)據(jù)保存至云端數(shù)據(jù)庫(kù)。
19、在一實(shí)施例中，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段的步驟，包括：
20、基于預(yù)配置的服務(wù)器集群與多并發(fā)機(jī)制，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到場(chǎng)景分析結(jié)果；
21、基于所述場(chǎng)景分析結(jié)果，進(jìn)行場(chǎng)景數(shù)據(jù)挖掘以及場(chǎng)景標(biāo)簽挖掘，并按照所述場(chǎng)景標(biāo)簽分類提取有效場(chǎng)景片段。
22、在一實(shí)施例中，所述預(yù)設(shè)模型數(shù)據(jù)需求包括模型訓(xùn)練數(shù)據(jù)格式，所述對(duì)所述有效場(chǎng)景片段進(jìn)行訓(xùn)練預(yù)處理，得到模型訓(xùn)練數(shù)據(jù)的步驟，包括：
23、確認(rèn)所述有效場(chǎng)景片段是否滿足預(yù)設(shè)數(shù)據(jù)檢查條件；
24、在滿足預(yù)設(shè)數(shù)據(jù)檢查條件后，從所述有效場(chǎng)景片段中提取相關(guān)場(chǎng)景數(shù)據(jù)；
25、將所述場(chǎng)景數(shù)據(jù)按照所述模型訓(xùn)練數(shù)據(jù)格式進(jìn)行存儲(chǔ)。
26、在一實(shí)施例中，所述場(chǎng)景數(shù)據(jù)包括地圖數(shù)據(jù)，所述在滿足預(yù)設(shè)數(shù)據(jù)檢查條件后，從所述有效場(chǎng)景片段中提取相關(guān)場(chǎng)景數(shù)據(jù)的步驟，包括：
27、在滿足預(yù)設(shè)數(shù)據(jù)檢查條件后，對(duì)所述有效場(chǎng)景片段中的地圖數(shù)據(jù)進(jìn)行抽稀處理；
28、所述將所述場(chǎng)景數(shù)據(jù)按照所述模型訓(xùn)練數(shù)據(jù)格式進(jìn)行存儲(chǔ)的步驟，包括：
29、將抽稀處理后的地圖數(shù)據(jù)按照幀級(jí)別，并以所述模型訓(xùn)練數(shù)據(jù)格式進(jìn)行存儲(chǔ)。
30、在一實(shí)施例中，所述方法還包括：
31、針對(duì)所述待處理駕駛數(shù)據(jù)進(jìn)行數(shù)據(jù)生產(chǎn)與異常統(tǒng)計(jì)，得到數(shù)據(jù)統(tǒng)計(jì)結(jié)果；
32、針對(duì)所述數(shù)據(jù)處理任務(wù)的相關(guān)日志和所述數(shù)據(jù)統(tǒng)計(jì)結(jié)果進(jìn)行分析，生成數(shù)據(jù)分析報(bào)告；
33、基于所述模型訓(xùn)練數(shù)據(jù)與所述數(shù)據(jù)統(tǒng)計(jì)結(jié)果，進(jìn)行數(shù)據(jù)可視化展示。
34、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種數(shù)據(jù)處理裝置，所述數(shù)據(jù)處理裝置包括：
35、任務(wù)創(chuàng)建模塊，用于響應(yīng)于數(shù)據(jù)處理指令，獲取待處理駕駛數(shù)據(jù)與預(yù)設(shè)模型數(shù)據(jù)需求，創(chuàng)建數(shù)據(jù)處理任務(wù)；
36、數(shù)據(jù)獲取模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)，從云端數(shù)據(jù)庫(kù)中獲取關(guān)聯(lián)云端數(shù)據(jù)；
37、場(chǎng)景分析模塊，用于基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段；
38、訓(xùn)練預(yù)處理模塊，用于對(duì)所述有效場(chǎng)景片段進(jìn)行訓(xùn)練預(yù)處理，得到模型訓(xùn)練數(shù)據(jù)。
39、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種數(shù)據(jù)處理設(shè)備，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上文所述的數(shù)據(jù)處理方法的步驟。
40、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的數(shù)據(jù)處理方法的步驟。
41、本申請(qǐng)?zhí)岢龅囊粋€(gè)或多個(gè)技術(shù)方案，至少具有以下技術(shù)效果：
42、本申請(qǐng)實(shí)施例提出的數(shù)據(jù)處理方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)，具體通過(guò)響應(yīng)于數(shù)據(jù)處理指令，獲取待處理駕駛數(shù)據(jù)與預(yù)設(shè)模型數(shù)據(jù)需求，創(chuàng)建數(shù)據(jù)處理任務(wù)；根據(jù)所述數(shù)據(jù)處理任務(wù)，從云端數(shù)據(jù)庫(kù)中獲取關(guān)聯(lián)云端數(shù)據(jù)；基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段；對(duì)所述有效場(chǎng)景片段進(jìn)行訓(xùn)練預(yù)處理，得到模型訓(xùn)練數(shù)據(jù)。
43、本申請(qǐng)通過(guò)原始的駕駛數(shù)據(jù)以及智駕相關(guān)的模型數(shù)據(jù)需求，創(chuàng)建得到數(shù)據(jù)處理任務(wù)，用于指示如何構(gòu)建模型訓(xùn)練數(shù)據(jù)；然后根據(jù)數(shù)據(jù)處理任務(wù)，從云端數(shù)據(jù)庫(kù)中得到關(guān)聯(lián)的云端數(shù)據(jù)，再結(jié)合預(yù)先配置好的服務(wù)器集群，對(duì)關(guān)聯(lián)的云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，提取得到對(duì)模型訓(xùn)練有效的場(chǎng)景片段；最后對(duì)有效場(chǎng)景片段進(jìn)行訓(xùn)練預(yù)處理，確保得到的模型訓(xùn)練數(shù)據(jù)可靠有效。本申請(qǐng)通過(guò)上述方案，實(shí)現(xiàn)對(duì)大規(guī)模的駕駛數(shù)據(jù)集進(jìn)行實(shí)時(shí)調(diào)度處理，通過(guò)對(duì)大規(guī)模的駕駛數(shù)據(jù)集進(jìn)行場(chǎng)景分析，構(gòu)建得到大規(guī)模且多樣性的模型訓(xùn)練數(shù)據(jù)。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段的步驟之前，還包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述關(guān)聯(lián)云端數(shù)據(jù)包括第一云端數(shù)據(jù)，所述根據(jù)所述數(shù)據(jù)處理任務(wù)，從云端數(shù)據(jù)庫(kù)中獲取關(guān)聯(lián)云端數(shù)據(jù)的步驟之前，還包括：
4.如權(quán)利要求3所述的方法，其特征在于，所述關(guān)聯(lián)云端數(shù)據(jù)包括第二云端數(shù)據(jù)，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，提取并合并所述待處理駕駛數(shù)據(jù)中的所需主題數(shù)據(jù)，得到第一云端數(shù)據(jù)的步驟之后，還包括：
5.如權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段的步驟，包括：
6.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)模型數(shù)據(jù)需求包括模型訓(xùn)練數(shù)據(jù)格式，所述對(duì)所述有效場(chǎng)景片段進(jìn)行訓(xùn)練預(yù)處理，得到模型訓(xùn)練數(shù)據(jù)的步驟，包括：
7.如權(quán)利要求6所述的方法，其特征在于，所述場(chǎng)
8.如權(quán)利要求1至7中任一項(xiàng)所述的方法，其特征在于，所述方法還包括：
9.一種數(shù)據(jù)處理裝置，其特征在于，所述數(shù)據(jù)處理裝置包括：
10.一種數(shù)據(jù)處理設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的數(shù)據(jù)處理方法的步驟。
11.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的數(shù)據(jù)處理方法的步驟。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段的步驟之前，還包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述關(guān)聯(lián)云端數(shù)據(jù)包括第一云端數(shù)據(jù)，所述根據(jù)所述數(shù)據(jù)處理任務(wù)，從云端數(shù)據(jù)庫(kù)中獲取關(guān)聯(lián)云端數(shù)據(jù)的步驟之前，還包括：
4.如權(quán)利要求3所述的方法，其特征在于，所述關(guān)聯(lián)云端數(shù)據(jù)包括第二云端數(shù)據(jù)，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，提取并合并所述待處理駕駛數(shù)據(jù)中的所需主題數(shù)據(jù)，得到第一云端數(shù)據(jù)的步驟之后，還包括：
5.如權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)配置的服務(wù)器集群，根據(jù)所述數(shù)據(jù)處理任務(wù)，對(duì)所述關(guān)聯(lián)云端數(shù)據(jù)進(jìn)行場(chǎng)景分析，得到有效場(chǎng)景片段的步驟，包括：
6.如權(quán)利要求1所述的方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳建國(guó)，汪振，杜明博，
申請(qǐng)(專利權(quán))人：浙江極氪智能科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。