【技術實現步驟摘要】
本申請涉及數據處理，具體涉及一種用于自動駕駛評測的數據處理方法及系統。
技術介紹
1、為了實現自動駕駛車輛的自動駕駛，往往需要經過無數輪的測試修正。具體的，需要對自動駕駛車輛測試過程中采集的雷達數據、監控數據、軌跡數據等相關數據進行評測；以指導相應參數修改后繼續進行測試，進而實現自動駕駛車輛的性能優化。
2、所述自動駕駛車輛的評測主要通過如下步驟進行：首先，在metric階段(打散處理階段)，將采集的所有相關數據按業務特征進行存儲；其次，在aggregator階段(聚合階段)，以前述metric階段按特性存儲處理的數據為輸入量再聚合存儲；最后，在對聚合后的處理進行分析。而無論是在metric階段按要求進行數據存儲，還是在aggregator階段進行數據聚合均需要基于數據庫進行；因此目前多采用mongodb數據庫(用于處理大規模數據的開源文檔型數據庫)以實現大量測評相關數據的擴展性及高性能存儲。
3、但基于mongodb數據庫進行自動駕駛車輛評測數據存儲時，受mongodb數據庫內單個文檔的大小限制，常導致在測評數據量較大時，aggregator階段單條輸入量超過單個文檔限制無法進行有效存儲；且由于mongodb數據庫進行無返回碼存儲，因此即使存儲失敗，技術人員也無法有效獲取。進而導致自動駕駛車輛評測無法有效進行。
技術實現思路
1、本申請目的在于提供一種用于自動駕駛評測的數據處理方法及系統，以避免現有技術中無法基于mongodb數據庫進行數據有效存儲的技術問
2、為達成上述目的，本申請提出如下技術方案：
3、第一方面，本技術方案提供了一種用于自動駕駛評測的數據處理方法，包括：
4、從自動駕駛車輛測試過程中采集的原始數據內獲取需求數據；
5、判斷所述需求數據的字段長度超過mongodb數據庫內單個文檔的默認長度時，對所述需求數據進行切分以獲取若干子需求數據以使任一所述子需求數據的字段長度不超過所述單個文檔的默認長度；
6、為每一所述子需求數據分配標識符，并將所有所述子需求數據及其相應的標識符以文檔形式存儲于mongodb數據庫內預設的目標集合內；其中，所述標識符用于識別相應所述子需求數據在所述需求數據中的對應位置；
7、待需要進行自動駕駛評測時，自所述目標集合內獲取子需求數據，并按照所述標識符對所有所述子需求數據進行拼接以重新得到所述需求數據。
8、進一步的，所述將所有所述子需求數據及其相應的標識符以文檔形式存儲于mongodb數據庫內預設的目標集合內，包括：
9、插入一所述子需求數據及其相應的標識符至所述目標集合內，并確認與所述子需求數據相應的安全驗證為真時，執行下一所述子需求數據及其相應的標識符的插入直至所有所述子需求數據及其相應的標識符均插入所述目標集合內。
10、進一步的，所述插入一所述子需求數據及其相應的標識符至所述目標集合內，包括：
11、判斷所述目標集合內存在與所述子需求數據的標識符相同的文檔時，返回標識符重復記錄；
12、判斷所述目標集合內所述與所述子需求數據的標識符相同的文檔為棄用文檔時，對所述棄用文檔進行刪除后繼續執行所述子需求數據插入；反之，則為所述子需求數據重新分配標識符后繼續執行插入。
13、進一步的，所述自所述目標集合內獲取子需求數據，并按照所述標識符對所有所述子需求數據進行拼接以重新得到所述需求數據，包括：
14、基于所述標識符對各所述子需求數據進行排序；
15、以所述標識符為查詢條件自所述目標集合內獲取各所述子需求數據；
16、調用map函數對所述子需求數據進行處理以生成鍵值對序列；
17、調用reduce函數對所述鍵值對序列進行統計處理以重新得到所述需求數據。
18、進一步的，所述按照所述標識符對所有所述子需求數據進行拼接以重新得到所述需求數據之后，包括：
19、以評測項目為依據對所述重新拼接后的需求數據及存儲于所述mongodb數據庫內的所述需求數據進行聚合以得到評測數據；
20、輸出所述評測數據以進行自動駕駛車輛相應所述評測項目的評測分析。
21、第二方面，本技術方案提供了一種用于自動駕駛評測的數據處理系統，包括：
22、第一獲取模塊，用于從自動駕駛車輛測試過程中采集的原始數據內獲取需求數據；
23、分片模塊，用于判斷所述需求數據的字段長度超過mongodb數據庫內單個文檔的默認長度時，對所述需求數據進行切分以獲取若干子需求數據以使任一所述子需求數據的字段長度不超過所述單個文檔的默認長度；
24、存儲模塊，用于為每一所述子需求數據分配標識符，并將所有所述子需求數據及其相應的標識符以文檔形式存儲于mongodb數據庫內預設的目標集合內；其中，所述標識符用于識別相應所述子需求數據在所述需求數據中的對應位置；
25、拼接模塊，用于待需要進行自動駕駛評測時，自所述目標集合內獲取子需求數據，并按照所述標識符對所有所述子需求數據進行拼接以重新得到所述需求數據。
26、進一步的，所述存儲模塊包括：
27、插入單元，用于插入一所述子需求數據及其相應的標識符至所述目標集合內，并確認與所述子需求數據相應的安全驗證為真時，執行下一所述子需求數據及其相應的標識符的插入直至所有所述子需求數據及其相應的標識符均插入所述目標集合內。
28、進一步的，所述插入單元包括：
29、第一判斷子單元，用于判斷所述目標集合內存在與所述子需求數據的標識符相同的文檔時，返回標識符重復記錄；
30、第二判斷子單元，判斷所述目標集合內所述與所述子需求數據的標識符相同的文檔為棄用文檔時，對所述棄用文檔進行刪除后繼續執行所述子需求數據插入；反之，則為所述子需求數據重新分配標識符后繼續執行插入。
31、第三方面，本技術方案提供了一種電子設備，包括至少一個處理器，所述處理器與存儲器耦合，所述存儲器內存儲有計算機程序，所述計算機程序被配置為被所述處理器運行時執行所述的方法。
32、第四方面，本技術方案提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序用于執行所述的方法。
33、由以上技術方案可知，本申請的技術方案提供了一種用于自動駕駛評測的數據處理方法以避免現有技術中難以進行相關數據有效存儲的技術缺陷。
34、所述方法包括：首先，從自動駕駛車輛測試過程中采集的原始數據內獲取需求數據。其次，考慮到mongodb數據庫內單個文檔的大小限制，及mongodb數據庫的無返回碼存儲機制；預先對所述需求數據按所述單個文檔的大小進行了切分。即：判斷所述需求數據的字段長度超過mongodb數據庫內單個文檔的默認長度時，對所述需求數據進行切分以獲取若干子需求數據以使任一所述子需求數據的字段長度不超過所述單個文檔的默認長本文檔來自技高網...
【技術保護點】
1.一種用于自動駕駛評測的數據處理方法，其特征在于，包括：
2.根據權利要求1所述的用于自動駕駛評測的數據處理方法，其特征在于，所述將所有所述子需求數據及其相應的標識符以文檔形式存儲于MongoDB數據庫內預設的目標集合內，包括：
3.根據權利要求2所述的用于自動駕駛評測的數據處理方法，其特征在于，所述插入一所述子需求數據及其相應的標識符至所述目標集合內，包括：
4.根據權利要求1所述的用于自動駕駛評測的數據處理方法，其特征在于，所述自所述目標集合內獲取子需求數據，并按照所述標識符對所有所述子需求數據進行拼接以重新得到所述需求數據，包括：
5.根據權利要求1所述的用于自動駕駛評測的數據處理方法，其特征在于，所述按照所述標識符對所有所述子需求數據進行拼接以重新得到所述需求數據之后，包括：
6.一種用于自動駕駛評測的數據處理系統，其特征在于，包括：
7.根據權利要求6所述的用于自動駕駛評測的數據處理系統，其特征在于，所述存儲模塊包括：
8.根據權利要求7所述的用于自動駕駛評測的數據處理系統，其特征在于
9.一種電子設備，其特征在于，包括至少一個處理器，所述處理器與存儲器耦合，所述存儲器內存儲有計算機程序，所述計算機程序被配置為被所述處理器運行時執行所述權利要求1-5中任一項所述的方法。
10.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，所述計算機程序用于執行所述權利要求1-5任一項所述的方法。
...【技術特征摘要】
1.一種用于自動駕駛評測的數據處理方法，其特征在于，包括：
2.根據權利要求1所述的用于自動駕駛評測的數據處理方法，其特征在于，所述將所有所述子需求數據及其相應的標識符以文檔形式存儲于mongodb數據庫內預設的目標集合內，包括：
3.根據權利要求2所述的用于自動駕駛評測的數據處理方法，其特征在于，所述插入一所述子需求數據及其相應的標識符至所述目標集合內，包括：
4.根據權利要求1所述的用于自動駕駛評測的數據處理方法，其特征在于，所述自所述目標集合內獲取子需求數據，并按照所述標識符對所有所述子需求數據進行拼接以重新得到所述需求數據，包括：
5.根據權利要求1所述的用于自動駕駛評測的數據處理方法，其特征在于，所述按照所述標...
【專利技術屬性】
技術研發人員：李牧昀，劉躍虎，林影，李大千，屈天航，孫琪，孫鑫磊，陳彥君，劉宇沖，
申請(專利權)人：魔門塔蘇州科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。