【技術(shù)實現(xiàn)步驟摘要】
本申請涉及數(shù)據(jù)倉庫，尤其涉及一種用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法及裝置。
技術(shù)介紹
1、智能網(wǎng)聯(lián)汽車使用場景中會產(chǎn)生大量的多源異構(gòu)數(shù)據(jù)，如v2x信息、車輛信息、路側(cè)設(shè)備的感知信息等，這些多源異構(gòu)的數(shù)據(jù)大部分都包含經(jīng)緯度信息，并且都帶有數(shù)據(jù)的產(chǎn)生時間，現(xiàn)有的對這些數(shù)據(jù)進行處理和存儲的方案中，大多是使用大數(shù)據(jù)技術(shù)體系對海量的多源異構(gòu)數(shù)據(jù)進行處理。例如，一種現(xiàn)有技術(shù)中是將原始采集的數(shù)據(jù)經(jīng)過數(shù)據(jù)倉庫技術(shù)(etl)加工處理后加載到hadoop平臺中，并通過hadoop把加工后的數(shù)據(jù)存儲到分布式數(shù)據(jù)庫中和主數(shù)據(jù)庫中，但是該方案系統(tǒng)存在復雜度高、維護成本高的問題，并且沒有針對智能網(wǎng)聯(lián)汽車場景產(chǎn)生的數(shù)據(jù)特性進行處理和存儲。智能網(wǎng)聯(lián)汽車場景會產(chǎn)生大量的時空數(shù)據(jù)，其數(shù)據(jù)具有時間和空間的維度信息，需要根據(jù)其特性進行處理和儲存，傳統(tǒng)的大數(shù)據(jù)技術(shù)體系，對時間數(shù)據(jù)的處理并不高效，也不支持對空間數(shù)據(jù)的處理及存儲。
2、因此，有必要提供一種能夠?qū)χ悄芫W(wǎng)聯(lián)汽車場景產(chǎn)生的大量時空數(shù)據(jù)進行有效存儲的方案。
技術(shù)實現(xiàn)思路
1、本說明書實施例提供一種用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法及裝置，以提供一種效率高的能夠?qū)χ悄芫W(wǎng)聯(lián)汽車場景中產(chǎn)生的海量時空數(shù)據(jù)進行存儲的解決方案。
2、為解決上述技術(shù)問題，本說明書實施例是這樣實現(xiàn)的：
3、根據(jù)本專利技術(shù)的第一方面，提供一種用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法，包括：
4、獲取云控平臺處的待存儲數(shù)據(jù)，所述待存儲數(shù)據(jù)為所述
5、基于flink計算框架設(shè)計若干計算任務(wù)，所述若干計算任務(wù)至少包括基于所述消息隊列kakfa中的數(shù)據(jù)進行將目標智能網(wǎng)聯(lián)車輛綁定到車道及路段、車道指標計算及車道預警，所述若干計算任務(wù)中不同的計算任務(wù)的計算過程具有依賴關(guān)系；其中，所述將目標智能網(wǎng)聯(lián)車輛綁定到車道及路段，具體包括：獲取所述目標智能網(wǎng)聯(lián)汽車的實時位置信息，基于所述實時位置信息及預先制作的高精地圖進行空間計算后，將所述目標智能網(wǎng)聯(lián)汽車綁定到所屬的車道及路段；所述車道指標計算具體包括：獲取綁定到所述車道上的所有智能網(wǎng)聯(lián)車輛的滿足所述數(shù)據(jù)接收格式的時空數(shù)據(jù)，根據(jù)所述所有智能網(wǎng)聯(lián)車輛的滿足所述數(shù)據(jù)接收格式后的時空數(shù)據(jù)得到符合所述車道指標所屬的指標類型的指標計算結(jié)果；所述車道預警具體包括：對于所述監(jiān)測范圍內(nèi)的任一智能網(wǎng)聯(lián)汽車，基于所述任一智能網(wǎng)聯(lián)汽車上報的實時位置信息得到所述任一智能網(wǎng)聯(lián)汽車的實時位置信息，基于所述任一智能網(wǎng)聯(lián)汽車的實時位置信息得到其所屬的目標車道信息，根據(jù)所述目標車道的指標計算結(jié)果對所述任一智能網(wǎng)聯(lián)汽車進行預警；訂閱所述消息隊列kakfa中的數(shù)據(jù)，以便對所述若干計算任務(wù)進行處理，得到若干處理結(jié)果數(shù)據(jù)；
6、在timescaledb時序數(shù)據(jù)庫中對所述轉(zhuǎn)換成滿足所述數(shù)據(jù)接收格式的數(shù)據(jù)及所述若干處理結(jié)果數(shù)據(jù)進行分層存儲，具體包括：在所述timescaledb時序數(shù)據(jù)庫的ods層存儲原始點位數(shù)據(jù)，在所述timescaledb時序數(shù)據(jù)庫的owd層對所述原始點位數(shù)據(jù)進行包括抽稀及綁路在內(nèi)的清洗處理后進行存儲；在所述owd層存儲的數(shù)據(jù)基礎(chǔ)上完善地理信息維度數(shù)據(jù)后存儲在所述timescaledb時序數(shù)據(jù)庫的dws層。
7、優(yōu)選的，所述智能網(wǎng)聯(lián)汽車使用場景中產(chǎn)生的時空數(shù)據(jù)集包括所述云控平臺所監(jiān)控范圍內(nèi)的智能網(wǎng)聯(lián)汽車場景產(chǎn)生的v2x信息、車輛信息、路側(cè)設(shè)備的感知信息。
8、優(yōu)選的，所述述智能網(wǎng)聯(lián)汽車使用場景中產(chǎn)生的時空數(shù)據(jù)集還包括所述運控平臺監(jiān)控范圍內(nèi)的不同智能網(wǎng)聯(lián)汽車在行駛過程中上報的原始車端數(shù)據(jù)，其中，對于所述不同智能網(wǎng)聯(lián)汽車中的任一智能網(wǎng)聯(lián)汽車，在所述任一智能網(wǎng)聯(lián)汽車基于自身安裝的車身傳感器感知其車端視角的數(shù)據(jù)，并將所述車端數(shù)據(jù)打包成滿足mqtt協(xié)議的報文后，所述任一智能網(wǎng)聯(lián)汽車將所述滿足mqtt協(xié)議的報文發(fā)送到所述云控平臺，以使得所述云控平臺采集所述滿足mqtt協(xié)議的報文。
9、優(yōu)選的，所述車道指標包括平均交通流量、平均行程速度、自有流速度、平均行程時間。
10、根據(jù)本專利技術(shù)的第二方面，提供一種用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建裝置，包括：
11、原始車端數(shù)據(jù)轉(zhuǎn)換模塊，用于獲取云控平臺處的待存儲數(shù)據(jù)，所述待存儲數(shù)據(jù)為所述云控平臺所監(jiān)控范圍內(nèi)的智能網(wǎng)聯(lián)汽車使用場景中產(chǎn)生的時空數(shù)據(jù)集；設(shè)計統(tǒng)一的數(shù)據(jù)接收格式，所述數(shù)據(jù)接收格式中至少包括數(shù)據(jù)的產(chǎn)生時間屬性、相關(guān)位置屬性、相關(guān)車輛航向角屬性和相關(guān)車輛速度屬性，將所述時空數(shù)據(jù)集中的各條時空數(shù)據(jù)逐條轉(zhuǎn)換成滿足所述數(shù)據(jù)接收格式的數(shù)據(jù)后推送到消息隊列kakfa中；
12、計算任務(wù)處理模塊，用于基于flink計算框架設(shè)計若干計算任務(wù)，所述若干計算任務(wù)至少包括基于所述消息隊列kakfa中的數(shù)據(jù)進行將目標智能網(wǎng)聯(lián)車輛綁定到車道及路段、車道指標計算及車道預警，所述若干計算任務(wù)中不同的計算任務(wù)的計算過程具有依賴關(guān)系；其中，所述將目標智能網(wǎng)聯(lián)車輛綁定到車道及路段，具體包括：獲取所述目標智能網(wǎng)聯(lián)汽車的實時位置信息，基于所述實時位置信息及預先制作的高精地圖進行空間計算后，將所述目標智能網(wǎng)聯(lián)汽車綁定到所屬的車道及路段；所述車道指標計算具體包括：獲取綁定到所述車道上的所有智能網(wǎng)聯(lián)車輛的滿足所述數(shù)據(jù)接收格式的時空數(shù)據(jù)，根據(jù)所述所有智能網(wǎng)聯(lián)車輛的滿足所述數(shù)據(jù)接收格式后的時空數(shù)據(jù)得到符合所述車道指標所屬的指標類型的指標計算結(jié)果；所述車道預警具體包括：對于所述監(jiān)測范圍內(nèi)的任一智能網(wǎng)聯(lián)汽車，基于所述任一智能網(wǎng)聯(lián)汽車上報的實時位置信息得到所述任一智能網(wǎng)聯(lián)汽車的實時位置信息，基于所述任一智能網(wǎng)聯(lián)汽車的實時位置信息得到其所屬的目標車道信息，根據(jù)所述目標車道的指標計算結(jié)果對所述任一智能網(wǎng)聯(lián)汽車進行預警；訂閱所述消息隊列kakfa中的數(shù)據(jù)，以便對所述若干計算任務(wù)進行處理，得到若干處理結(jié)果數(shù)據(jù)；
13、數(shù)據(jù)存儲模塊，用于在timescaledb時序數(shù)據(jù)庫中對所述轉(zhuǎn)換成滿足所述數(shù)據(jù)接收格式的數(shù)據(jù)及所述若干處理結(jié)果數(shù)據(jù)進行分層存儲，具體包括：在所述timescaledb時序數(shù)據(jù)庫的ods層存儲原始點位數(shù)據(jù)，在所述timescaledb時序數(shù)據(jù)庫的owd層對所述原始點位數(shù)據(jù)進行包括抽稀及綁路在內(nèi)的清洗處理后進行存儲；在所述owd層存儲的數(shù)據(jù)基礎(chǔ)上完善地理信息維度數(shù)據(jù)后存儲在所述timescaledb時序數(shù)據(jù)庫的dws層。
14、根據(jù)本專利技術(shù)的第三方面，提供一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)前文記載的用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法的步驟。
15、根據(jù)本專利技術(shù)的第四方面，提供一種計算機可讀存儲介質(zhì)，其上存儲有本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法，應(yīng)用于數(shù)據(jù)服務(wù)平臺，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法，其特征在于，所述智能網(wǎng)聯(lián)汽車使用場景中產(chǎn)生的時空數(shù)據(jù)集包括所述云控平臺所監(jiān)控范圍內(nèi)的智能網(wǎng)聯(lián)汽車場景產(chǎn)生的V2X信息、車輛信息、路側(cè)設(shè)備的感知信息。
3.根據(jù)權(quán)利要求2所述的用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法，其特征在于，所述述智能網(wǎng)聯(lián)汽車使用場景中產(chǎn)生的時空數(shù)據(jù)集還包括所述運控平臺監(jiān)控范圍內(nèi)的不同智能網(wǎng)聯(lián)汽車在行駛過程中上報的原始車端數(shù)據(jù)，其中，對于所述不同智能網(wǎng)聯(lián)汽車中的任一智能網(wǎng)聯(lián)汽車，在所述任一智能網(wǎng)聯(lián)汽車基于自身安裝的車身傳感器感知其車端視角的數(shù)據(jù)，并將所述車端數(shù)據(jù)打包成滿足MQTT協(xié)議的報文后，所述任一智能網(wǎng)聯(lián)汽車將所述滿足MQTT協(xié)議的報文發(fā)送到所述云控平臺，以使得所述云控平臺采集所述滿足MQTT協(xié)議的報文。
4.根據(jù)權(quán)利要求1所述的用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法，其特征在于，所述車道指標包括平均交通流量、平均行程速度、自有流速度、平均行程時間。
...【技術(shù)特征摘要】
1.一種用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法，應(yīng)用于數(shù)據(jù)服務(wù)平臺，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法，其特征在于，所述智能網(wǎng)聯(lián)汽車使用場景中產(chǎn)生的時空數(shù)據(jù)集包括所述云控平臺所監(jiān)控范圍內(nèi)的智能網(wǎng)聯(lián)汽車場景產(chǎn)生的v2x信息、車輛信息、路側(cè)設(shè)備的感知信息。
3.根據(jù)權(quán)利要求2所述的用于智能網(wǎng)聯(lián)汽車場景的數(shù)據(jù)倉庫的構(gòu)建方法，其特征在于，所述述智能網(wǎng)聯(lián)汽車使用場景中產(chǎn)生的時空數(shù)據(jù)集還包括所述運控平臺監(jiān)控范圍內(nèi)的不同智能網(wǎng)聯(lián)汽車在行駛過程中上報的原始車端數(shù)據(jù)，其中，對于所述不同智能網(wǎng)聯(lián)汽車中的任一智能網(wǎng)聯(lián)汽車，在所述任一智能網(wǎng)聯(lián)汽車基于自身安裝的車身傳感器感知其車端視角的數(shù)據(jù)，并將所述車端數(shù)據(jù)打包成滿足mq...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：白小波，褚文博，任杰，陳林，郭威，
申請(專利權(quán))人：西部科學城智能網(wǎng)聯(lián)汽車創(chuàng)新中心重慶有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。