【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及大數(shù)據(jù)處理領(lǐng)域，尤其是涉及一種數(shù)據(jù)回收處理方法、平臺、存儲介質(zhì)及計(jì)算機(jī)設(shè)備。
技術(shù)介紹
1、在自動駕駛領(lǐng)域中，算法的訓(xùn)練需要大量的數(shù)據(jù)，這些數(shù)據(jù)由車端采集并且寫到固態(tài)硬盤中。采集數(shù)據(jù)的固態(tài)硬盤大小往往在1tb左右，需要將固態(tài)硬盤中的數(shù)據(jù)回收至云端以便訓(xùn)練算法模型。采集而來的數(shù)據(jù)內(nèi)容十分豐富且龐大，包含了多個(gè)傳感器的錄制的長時(shí)間內(nèi)容。因此，需要對這些數(shù)據(jù)進(jìn)行分類和篩選處理，組合成新的回收數(shù)據(jù)，并交給不同業(yè)務(wù)方進(jìn)行使用。
2、在現(xiàn)有技術(shù)中，主要通過上傳系統(tǒng)將固態(tài)硬盤中的原始數(shù)據(jù)上傳至云端的對象存儲系統(tǒng)中，然后將原始數(shù)據(jù)解包為回收數(shù)據(jù)后再上傳至對象存儲系統(tǒng)中。然而，通過上傳系統(tǒng)有限的帶寬同時(shí)用于上傳和解包數(shù)據(jù)，帶寬資源利用率較低，處理速度較慢，尤其在上傳系統(tǒng)需要同時(shí)上傳回收多個(gè)固態(tài)硬盤中的數(shù)據(jù)時(shí)，還會任務(wù)調(diào)度慢，資源沖突多，容易卡死等問題。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本申請?zhí)峁┝艘环N數(shù)據(jù)回收處理方法、平臺、存儲介質(zhì)及計(jì)算機(jī)設(shè)備，主要目的在于解決數(shù)據(jù)上傳、回收速度慢和資源利用率低的技術(shù)問題。
2、根據(jù)本專利技術(shù)的第一個(gè)方面，提供了一種數(shù)據(jù)回收處理方法，該方法應(yīng)用于數(shù)據(jù)回收處理平臺，所述數(shù)據(jù)回收處理平臺包括至少一個(gè)上傳系統(tǒng)、云端回收系統(tǒng)和對象存儲系統(tǒng)，其中，
3、所述上傳系統(tǒng)在所述云端回收系統(tǒng)中獲取上傳配置信息；
4、所述上傳系統(tǒng)根據(jù)所述上傳配置信息確定數(shù)據(jù)上傳優(yōu)先級，并按照所述數(shù)據(jù)上傳優(yōu)先級，將固態(tài)硬盤中的原始數(shù)據(jù)上傳至所述對
5、所述云端回收系統(tǒng)在所述對象存儲系統(tǒng)中下載所述原始數(shù)據(jù)和所述原始數(shù)據(jù)對應(yīng)的解包配置信息，并根據(jù)所述解包配置信息對所述原始數(shù)據(jù)進(jìn)行解包，得到回收數(shù)據(jù)，并將所述回收數(shù)據(jù)上傳至所述對象存儲系統(tǒng)。
6、根據(jù)本專利技術(shù)的第二個(gè)方面，提供了一種數(shù)據(jù)回收處理平臺，該平臺包括至少一個(gè)上傳系統(tǒng)、云端回收系統(tǒng)和對象存儲系統(tǒng)，其中，
7、所述上傳系統(tǒng)，用于在所述云端回收系統(tǒng)中獲取上傳配置信息，并根據(jù)所述上傳配置信息確定數(shù)據(jù)上傳優(yōu)先級，按照所述數(shù)據(jù)上傳優(yōu)先級，將固態(tài)硬盤中的原始數(shù)據(jù)上傳至所述對象存儲系統(tǒng)，并在所述原始數(shù)據(jù)上傳完成后將數(shù)據(jù)上傳完成的通知信息發(fā)送至所述云端回收系統(tǒng)；
8、所述云端回收系統(tǒng)，用于在所述對象存儲系統(tǒng)中下載所述原始數(shù)據(jù)和所述原始數(shù)據(jù)對應(yīng)的解包配置信息，并根據(jù)所述解包配置信息對所述原始數(shù)據(jù)進(jìn)行解包，得到回收數(shù)據(jù)，并將所述回收數(shù)據(jù)上傳至所述對象存儲系統(tǒng)；
9、所述對象存儲系統(tǒng)，用于存儲所述原始數(shù)據(jù)和所述回收數(shù)據(jù)。
10、根據(jù)本專利技術(shù)的第三個(gè)方面，提供了一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述數(shù)據(jù)回收處理方法。
11、根據(jù)本專利技術(shù)的第四個(gè)方面，提供了一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述數(shù)據(jù)回收處理方法。
12、本專利技術(shù)提供的一種數(shù)據(jù)回收處理方法、平臺、存儲介質(zhì)及計(jì)算機(jī)設(shè)備，通過利用云端回收系統(tǒng)存儲上傳配置信息，并在數(shù)據(jù)上傳之前首先在云端回收系統(tǒng)中獲取上傳配置信息，可以便于對不同的上傳系統(tǒng)的配置文件進(jìn)行統(tǒng)一管理，從而便于配置文件的維護(hù)和更新。此外，通過利用上傳系統(tǒng)將固態(tài)硬盤中的原始數(shù)據(jù)上傳至對象存儲系統(tǒng)，并發(fā)送通知給云端回收系統(tǒng)，然后利用云端回收系統(tǒng)下載原始數(shù)據(jù)，并對原始數(shù)據(jù)進(jìn)行解包得到回收數(shù)據(jù)，可以將數(shù)據(jù)上傳和回收的任務(wù)進(jìn)行拆分，從而對數(shù)據(jù)上傳和回收的任務(wù)進(jìn)行解耦和流水線處理，有效的提高了資源利用率，加快了數(shù)據(jù)上傳、回收的速度。
13、上述說明僅是本申請技術(shù)方案的概述，為了能夠更清楚了解本申請的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本申請的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本申請的具體實(shí)施方式。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)回收處理方法，其特征在于，所述數(shù)據(jù)回收處理方法應(yīng)用于數(shù)據(jù)回收處理平臺，所述數(shù)據(jù)回收處理平臺包括至少一個(gè)上傳系統(tǒng)、云端回收系統(tǒng)和對象存儲系統(tǒng)，其中，
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述上傳系統(tǒng)在所述云端回收系統(tǒng)中獲取上傳配置信息，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述上傳系統(tǒng)根據(jù)所述上傳配置信息確定數(shù)據(jù)上傳優(yōu)先級之前，所述方法還包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述上傳系統(tǒng)根據(jù)所述上傳配置信息確定數(shù)據(jù)上傳優(yōu)先級，并按照所述數(shù)據(jù)上傳優(yōu)先級，將固態(tài)硬盤中的原始數(shù)據(jù)上傳至所述對象存儲系統(tǒng)，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述上傳系統(tǒng)將固態(tài)硬盤中的原始數(shù)據(jù)上傳至所述對象存儲系統(tǒng)之前，所述方法還包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述云端回收系統(tǒng)在所述對象存儲系統(tǒng)中下載所述原始數(shù)據(jù)和所述原始數(shù)據(jù)對應(yīng)的解包配置信息，并根據(jù)所述解包配置信息對所述原始數(shù)據(jù)進(jìn)行解包，得到回收數(shù)據(jù)，包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)回收處理平臺還包括前端服務(wù)系統(tǒng)，所述方法還包括：
9.一種數(shù)據(jù)回收處理平臺，其特征在于，所述數(shù)據(jù)回收處理平臺包括至少一個(gè)上傳系統(tǒng)、云端回收系統(tǒng)和對象存儲系統(tǒng)，其中，
10.一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至8中任一項(xiàng)所述的方法的步驟。
11.一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至8中任一項(xiàng)所述的方法的步驟。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)回收處理方法，其特征在于，所述數(shù)據(jù)回收處理方法應(yīng)用于數(shù)據(jù)回收處理平臺，所述數(shù)據(jù)回收處理平臺包括至少一個(gè)上傳系統(tǒng)、云端回收系統(tǒng)和對象存儲系統(tǒng)，其中，
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述上傳系統(tǒng)在所述云端回收系統(tǒng)中獲取上傳配置信息，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述上傳系統(tǒng)根據(jù)所述上傳配置信息確定數(shù)據(jù)上傳優(yōu)先級之前，所述方法還包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述上傳系統(tǒng)根據(jù)所述上傳配置信息確定數(shù)據(jù)上傳優(yōu)先級，并按照所述數(shù)據(jù)上傳優(yōu)先級，將固態(tài)硬盤中的原始數(shù)據(jù)上傳至所述對象存儲系統(tǒng)，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述上傳系統(tǒng)將固態(tài)硬盤中的原始數(shù)據(jù)上傳至所述對象存儲系統(tǒng)之前，所述方法還包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述云...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄒存安，章宏武，
申請(專利權(quán))人：魔門塔蘇州科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。