本發明專利技術屬于智能交通技術領域，具體為一種基于深度學習的軌跡表示預訓練系統。本發明專利技術基于深度學習的軌跡表示預訓練系統，包括構建面向多尺度軌跡結構的深度學習模型；該模型充分結合道路網絡靜態和動態特征，并且通過混合不同尺度的注意力機制與自監督預訓練范式，學習從細粒度到粗粒度的移動軌跡的特征表示，從而獲取更加豐富的軌跡時空語義信息。本發明專利技術具體包括路網靜態特征、路網動態特征的構建模塊，多尺度軌跡注意力編碼器，以及行程軌跡的自監督學習模塊。整個預訓練系統可以讓軌跡特征感知到更多不同尺度上的時空信息，通過在海量軌跡中自監督學習得到的軌跡向量表示可以被廣泛應用到行程時間估算、交通狀況預測等多種智能交通系統任務中。
【技術實現步驟摘要】
本專利技術屬于智能交通，具體涉及一種基于深度學習的軌跡表示預訓練系統。
技術介紹
1、近年來，隨著經濟發展和生活水平提高，對智能交通的相關應用需求不斷上升。許多日常生活中的應用都與軌跡非常相關，包括行程時間估計，終點預測和交通狀態預測。其中，軌跡表示學習是一個非常熱門的研究任務。它通過預訓練的方式從海量的軌跡數據中學習出軌跡的通用向量表示，并作其作為一個基礎模型，能夠為下游不同的軌跡相關任務提供統一的特征，以便讓這些任務得到高效的部署和應用。但目前的軌跡預訓練方法缺乏多尺度的時空信息和路網環境信息，限制了對軌跡語義的有效捕捉。
技術實現思路
1、鑒于上述問題，本專利技術的目的是提供一種基于深度學習的多尺度的軌跡表示預訓練系統，以解決目前軌跡預訓練方法中缺乏對多尺度的軌跡信息和路網環境的有效學習的問題。
2、本專利技術提供的基于深度學習的軌跡表示預訓練系統，包括構建面向多尺度軌跡結構的深度學習模型，深度學習模型包括路網的靜態和動態特征結合模塊，多尺度注意力感知模塊和自監督預訓練模塊；該模型充分結合道路網絡的靜態和動態特征，并且通過混合不同尺度的注意力機制與自監督預訓練范式，學習從細粒度到粗粒度的移動軌跡的特征表示，從而獲取更加豐富的軌跡時空語義信息；預訓練系統具體包括路網的靜態和動態特征構建模塊，多尺度軌跡注意力編碼器模塊，自監督預訓練模塊；所述的路網的靜態和動態特征構建模塊，多尺度軌跡注意力編碼器模塊，自監督預訓練模塊依次串聯起來，形成一個完整的系統；其中：
>3、所述路網的靜態和動態特征構建模塊，包括構建路網靜態特征模塊和構建路網動態特征模塊；用于捕捉路網上的靜態和動態特征，并作為軌跡的初始特征輸入到后續的注意力編碼器中；靜態特征構建模塊用于捕捉不變的拓撲結構和道路類型等特征；動態特征構建模塊用于捕捉路網上每個路段隨著時間動態變化的特征，例如路段上的速度和流量等交通狀態信息。這里，所述的軌跡主要指路徑軌跡，它是由路網上的連續路段組成，由gps采樣點構成的離散點序列通過地圖匹配得到；所述的速度和流量信息主要指每個路段上單位時間內車輛經過的平均速度和經過車輛的次數。4、所述多尺度軌跡注意力編碼器模塊，用于捕捉軌跡在路網上的多尺度特征表示，具體采用不同粒度級別的軌跡序列表示，進行層內和層間的特征融合，以豐富軌跡的時空語義信息；
5、所述自監督學習模塊，用于在海量軌跡數據中通過自監督的方式得到能夠感知到豐富軌跡上下文的特征表示。它利用掩碼軌跡還原任務作為監督信號，訓練模型在缺失數據情況下預測軌跡中的缺失部分。
6、進一步地：
7、(一)所述路網的靜態和動態特征構建模塊中：
8、(1)所述路網靜態特征構建模塊，具體可以有構建離線路網靜態特征和構建在線路網靜態特征這兩個部分。前者可以通過離線預處理的方式得到路網級別的多尺度靜態特征；后者則根據行程軌跡r查詢路網上對應的靜態特征，并得到軌跡序列上的多尺度靜態特征表示作為模型輸入。
9、(1.1)對于離線路網靜態特征構建，采用通過譜聚類方法，將道路網絡的路段根據距離遠近進行聚類，可以獲得一個由路段簇構成的粗粒度道路網絡。具體而言，譜聚類依據結點間的鄰接矩陣來劃分道路網絡，從而實現網絡的粗粒度化，以獲得特定數目的簇，目標的是讓簇內的結點之間的距離接近，而不同簇之間的平均距離盡可能遠。如果兩個簇中有路段互相連接，那么在粗粒度網絡中這兩個簇也會有邊連接。然后通過繼續迭代執行譜聚類，得到更高尺度的道路網絡gj。然后通過圖嵌入學習方法學習得到不同尺度的簇網絡下的結點的嵌入向量
10、(1.2)對于在線路網靜態特征構建，對于軌跡r，在第j個尺度聚類簇網絡中的序列可以表示為然后，對于每個rj，可以從離線路網的多尺度靜態特征中索引得到每個軌跡點的靜態特征
11、(2)所述路網動態特征構建模塊，具體可以分為兩個部分，分別是構建離線路網動態特征和構建在線路網動態特征。前者可以通過預訓練的方式，對歷史軌跡數據進行自監督預訓練，并得到能夠感知軌跡上下文的編碼器模型。后者則在得到短時歷史采樣點軌跡集合和需要查詢的軌跡r后，從路網的動態特征存儲器中動態更新得到軌跡的多尺度動態特征。
12、(2.1)對于離線的路網多尺度動態特征構建，通過還原缺失軌跡任務來對歷史軌跡進行自監督預訓練。目的是通過這種自監督預訓練的方式，讓動態特征捕捉到模型的感知上下文軌跡語義的能力，更好地學習軌跡點的時空特征。具體訓練的損失函數如下：
13、
14、
15、其中，表示一個對離散的gps點軌跡τo進行編碼的神經網絡模型,它可以是一個循環神經網絡結構，也可以是一個多尺度的注意力結構,表示輸出的是第j個軌跡點特征的向量表示，wτ∈rd×d,bτ∈rd是神經網絡模型的預測層參數，d表示參數向量的維度；v表示路網中的路段集合，rp∈v表示具體的某個路段；τm是歷史軌跡τ中被遮蔽的點集，τo表示的是在τ中用一個掩碼標記替換軌跡τm中的點后得到的軌跡。本專利技術對計算交叉熵損失函數，并且通過logits向量uj′∈r|v|來預測τ上的第j個點將屬于哪個路段；對預訓練后，通過對歷史軌跡編碼，并將特征寫入到動態特征存儲器中。
16、(2.2)對于在線的路網多尺度動態特征構建，當模型需要處理查詢時間為tq的行程軌跡時，可以通過構造如下包含神經網絡函數的常微分方程[1](tian?qi?chen,yuliarubanova,jesse?bettencourt,david?duvenaud:neural?ordinary?differentialequations.neurips?2018:6572-6583)來讀取存儲器中存儲的動態特征：
17、
18、神經常微分方程是一種將神經網絡與常微分方程相結合的深度學習模型，通過將離散的層級結構替換為連續的ode解，實現內存效率和計算效率的提升，同時提供連續的建模方式。其中，表示常微分方程的初始狀態，即fψ(·)是一個兩層的感知器網絡；是一個由時空卷積模塊構成的神經網絡函數[2](kaiming?he,xiangyuzhang,shaoqing?ren,jian?sun:deep?residual?learning?for?image?recognition.corrabs/1512.03385(2015))，以第j層的簇網絡對應的靜態存儲特征cj為輸入，包含兩個時間上的卷積結構、一個空間上的卷積結構和一個線性輸出層；代表的是當查詢時間為tq時的第j層簇網絡的動態特征，對于每個路段ri及其在多尺度網絡中對應的結點獲取多尺度的動態特征中的nj表示第j層簇網絡的聚類個數；
19、(二)所述多尺度軌跡注意力編碼器模塊，用于捕捉在路網中不同尺度的簇網絡上的軌跡特征；并將聚類簇網絡中的跨尺度的軌跡特征融合，使用不同尺度的特征對自注意力機制模塊進行增強，從而在神經網絡中做到自適應的特征提取和融合；這里代替經典的自注意力本文檔來自技高網...
【技術保護點】
1.一種基于深度學習的軌跡表示預訓練系統，其特征在于，包括構建面向多尺度軌跡結構的深度學習模型；該模型充分結合道路網絡的靜態和動態特征，并且通過混合不同尺度的注意力機制與自監督預訓練范式，學習不同粒度的軌跡特征表示，從而獲取更加豐富的時空語義信息；具體包括路網的靜態和動態特征構建模塊，多尺度的注意力編碼器模塊，自監督預訓練模塊；其中：
2.根據權利要求1所述的基于深度學習的軌跡表示預訓練系統，其特征在于，所述路網的靜態和動態特征構建模塊中：
3.根據權利要求2所述的基于深度學習的軌跡表示預訓練系統，其特征在于，所述多尺度軌跡注意力編碼器模塊，用于捕捉在路網中不同尺度的簇網絡上的軌跡特征；并將聚類簇網絡中的跨尺度的軌跡特征融合，使用不同尺度的特征對自注意力機制模塊進行增強，從而在神經網絡中做到自適應的特征提取和融合；具體地：
4.根據權利要求3所述的基于深度學習的軌跡表示預訓練系統，其特征在于，所述自監督預訓練模塊，利用軌跡還原任務作為行程軌跡的預訓練任務，用來學習行程軌跡表示；它的損失函數定義如下：
【技術特征摘要】
1.一種基于深度學習的軌跡表示預訓練系統，其特征在于，包括構建面向多尺度軌跡結構的深度學習模型；該模型充分結合道路網絡的靜態和動態特征，并且通過混合不同尺度的注意力機制與自監督預訓練范式，學習不同粒度的軌跡特征表示，從而獲取更加豐富的時空語義信息；具體包括路網的靜態和動態特征構建模塊，多尺度的注意力編碼器模塊，自監督預訓練模塊；其中：
2.根據權利要求1所述的基于深度學習的軌跡表示預訓練系統，其特征在于，所述路網的靜態和動態特征構建模塊中：
3....
【專利技術屬性】
技術研發人員：孫未未，章瀚元，
申請(專利權)人：復旦大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。