【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種基于分布式流處理引擎的軌道交通網(wǎng)絡(luò)實(shí)時(shí)客流預(yù)測(cè)方法，屬于實(shí)時(shí)客流預(yù)測(cè)領(lǐng)域。
技術(shù)介紹
1、準(zhǔn)確、可靠的短時(shí)客流預(yù)測(cè)是軌道交通系統(tǒng)實(shí)現(xiàn)智能化應(yīng)用的關(guān)鍵。軌道交通系統(tǒng)在封閉環(huán)境下高速運(yùn)行，每日服務(wù)數(shù)百萬(wàn)乘客，尤其在上下班高峰時(shí)段，部分地鐵站面臨嚴(yán)重?fù)頂D，某些線路或區(qū)段承受極高的客流壓力，給運(yùn)營(yíng)管理帶來(lái)巨大挑戰(zhàn)。在此情況下，精準(zhǔn)的短時(shí)客流預(yù)測(cè)可為運(yùn)營(yíng)管理提供重要的決策支持，如客流引導(dǎo)、列車調(diào)度優(yōu)化及應(yīng)急管理等，從而提高運(yùn)營(yíng)效率和資源配置效能。目前，許多研究者提出了基于大數(shù)據(jù)技術(shù)的短時(shí)客流預(yù)測(cè)解決方案，這些方法大致可以分為兩類：一類為基于批處理的離線預(yù)測(cè)，另一類為基于流處理的實(shí)時(shí)預(yù)測(cè)。相比批處理方法，流處理更能滿足客流預(yù)測(cè)與智能決策的實(shí)時(shí)需求。雖然現(xiàn)有方案一定程度上解決了短時(shí)客流預(yù)測(cè)的技術(shù)問(wèn)題，但仍存在以下不足：
2、（1）無(wú)法滿足高頻滑動(dòng)預(yù)測(cè)的需求。真實(shí)應(yīng)用場(chǎng)景下，我們期望以更高頻次獲取客流動(dòng)態(tài)。與滾動(dòng)預(yù)測(cè)相比，滑動(dòng)預(yù)測(cè)因其高頻次特性，更適合實(shí)時(shí)客流預(yù)測(cè)。然而，現(xiàn)有解決方案都以滾動(dòng)預(yù)測(cè)的任務(wù)場(chǎng)景，基于滾動(dòng)窗口聚合的客流構(gòu)造樣本訓(xùn)練和評(píng)估模型，導(dǎo)致預(yù)測(cè)模型的泛化能力不足，滑動(dòng)預(yù)測(cè)精度偏低，不能滿足高頻滑動(dòng)預(yù)測(cè)的需求。因此，現(xiàn)有方案在提升滑動(dòng)預(yù)測(cè)場(chǎng)景下的模型預(yù)測(cè)精度還有較大的優(yōu)化空間；
3、（2）實(shí)時(shí)客流計(jì)算效率不足。現(xiàn)有方案往往只計(jì)算少數(shù)站點(diǎn)的客流，或者僅針對(duì)單一的進(jìn)出站模式。不能高效的同時(shí)計(jì)算整個(gè)軌道交通網(wǎng)絡(luò)中所有站點(diǎn)的進(jìn)出站客流。因而，提升網(wǎng)絡(luò)級(jí)的進(jìn)出站客流計(jì)算的效率依然是一個(gè)需要解決的問(wèn)題
4、（3）未充分考慮遲到數(shù)據(jù)對(duì)實(shí)時(shí)預(yù)測(cè)的影響。由于數(shù)據(jù)采集系統(tǒng)和網(wǎng)絡(luò)的不穩(wěn)定，地鐵閘機(jī)產(chǎn)生的刷卡記錄在傳輸至數(shù)據(jù)中心時(shí)通常存在延遲。這些延遲數(shù)據(jù)會(huì)導(dǎo)致流處理系統(tǒng)計(jì)算的實(shí)時(shí)客流與實(shí)際客流之間產(chǎn)生誤差，并影響后續(xù)的在線特征工程與預(yù)測(cè)環(huán)節(jié)，進(jìn)而降低實(shí)時(shí)預(yù)測(cè)的精度。因此，研究如何應(yīng)對(duì)遲到數(shù)據(jù)對(duì)預(yù)測(cè)精度的影響，能夠填補(bǔ)當(dāng)前研究的空白。
5、例如，專利“cn114118555a，一種基于改進(jìn)knn的分布式地鐵客流預(yù)測(cè)方法”針對(duì)地鐵場(chǎng)景下的短時(shí)客流預(yù)測(cè)設(shè)計(jì)了一種融合了knn和lightgbm算法，基于歷史刷卡數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)一小時(shí)的地鐵客流。該方法使用了大數(shù)據(jù)組件hdfs和spark擴(kuò)展了解決方案的算力，但僅局限于離線滑動(dòng)預(yù)測(cè)場(chǎng)景，不能滿足高頻次實(shí)時(shí)預(yù)測(cè)的需求。此外，因其時(shí)間粒度較大，不能提供更細(xì)粒度的客流信息。
6、專利“cn110276474a，一種城市軌道交通車站短時(shí)客流預(yù)測(cè)方法”使用了并行計(jì)算引擎spark訓(xùn)練了elman神經(jīng)網(wǎng)絡(luò)，針對(duì)地鐵場(chǎng)景進(jìn)行短時(shí)客流預(yù)測(cè)。該方案使用的時(shí)間粒度為15分鐘，相較一個(gè)小時(shí)可以提供更細(xì)粒度的客流信息。但由于該方案是一個(gè)批處理的解決方案，因此不能滿足實(shí)時(shí)預(yù)測(cè)的時(shí)效性需求。
7、專利“cn110782060a，基于大數(shù)據(jù)技術(shù)的軌道交通斷面客流短時(shí)預(yù)測(cè)方法及系統(tǒng)”針對(duì)軌道交通斷面客流短時(shí)預(yù)測(cè)場(chǎng)景設(shè)計(jì)一個(gè)系統(tǒng)性的解決方案。該方案使用hdfs存儲(chǔ)歷史票卡數(shù)據(jù)、歷史客流數(shù)據(jù)和實(shí)時(shí)客流數(shù)據(jù)；使用消息中間件kafka接入實(shí)時(shí)的刷卡數(shù)據(jù)；使用spark實(shí)時(shí)計(jì)算斷面客流，并基于實(shí)時(shí)斷面客流、歷史斷面客流和歷史進(jìn)站客流預(yù)測(cè)未來(lái)5分鐘的斷面客流。該解決方案雖然使用流處理技術(shù)進(jìn)行了實(shí)時(shí)斷面客流計(jì)算和預(yù)測(cè)。但是不支持高頻次的滑動(dòng)預(yù)測(cè)需求，不能預(yù)測(cè)大時(shí)空尺度（軌道交通網(wǎng)絡(luò)）每個(gè)站點(diǎn)的進(jìn)出站客流，也沒(méi)有提出有效的措施來(lái)應(yīng)對(duì)遲到數(shù)據(jù)對(duì)預(yù)測(cè)精度的影響。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)要解決的技術(shù)問(wèn)題是在軌道交通系統(tǒng)源源不斷產(chǎn)生海量乘客刷卡票卡數(shù)據(jù)的場(chǎng)景下進(jìn)行實(shí)時(shí)網(wǎng)絡(luò)劇短時(shí)客流預(yù)測(cè)的問(wèn)題，其可以支持軌道交通場(chǎng)景下一些數(shù)據(jù)驅(qū)動(dòng)的智能應(yīng)用，例如換乘推薦、列車調(diào)度、和應(yīng)急管理等。
2、本專利技術(shù)分析了現(xiàn)有的短時(shí)客流預(yù)測(cè)方案及其不足之處，具體來(lái)講，現(xiàn)有的方案仍存在三點(diǎn)不足之處：
3、（1）不支持高效的大規(guī)模網(wǎng)絡(luò)級(jí)實(shí)時(shí)客流計(jì)算。現(xiàn)有短時(shí)客流預(yù)測(cè)方案大多假設(shè)實(shí)時(shí)短時(shí)客流是實(shí)現(xiàn)聚合好或由第三方提供的；少數(shù)實(shí)時(shí)短時(shí)客流計(jì)算方案，提出了實(shí)時(shí)計(jì)算短時(shí)客流的方法，但是計(jì)算的短時(shí)客流為站點(diǎn)級(jí)短時(shí)客流或短時(shí)斷面客流，而非網(wǎng)絡(luò)級(jí)進(jìn)出站客流。
4、（2）僅考慮了滾動(dòng)預(yù)測(cè)場(chǎng)景。現(xiàn)有短時(shí)客流預(yù)測(cè)方案僅針對(duì)滾動(dòng)預(yù)測(cè)的場(chǎng)景進(jìn)行樣本構(gòu)造和模型的訓(xùn)練與評(píng)估。雖然這種方法訓(xùn)練的模型可以在高頻次滑動(dòng)預(yù)測(cè)場(chǎng)景下使用，但會(huì)出現(xiàn)預(yù)測(cè)精度下降的問(wèn)題，模型的泛化能力還有較大的提升空間。
5、（3）忽視了遲到數(shù)據(jù)對(duì)實(shí)時(shí)預(yù)測(cè)的影響。現(xiàn)有方案在實(shí)時(shí)預(yù)測(cè)短時(shí)客流時(shí)，并沒(méi)有考慮遲到數(shù)據(jù)對(duì)實(shí)時(shí)預(yù)測(cè)效果的影響。具體來(lái)說(shuō)，遲到數(shù)據(jù)會(huì)使得實(shí)時(shí)計(jì)算的短時(shí)客流與真實(shí)值存在誤差，該誤差會(huì)進(jìn)一步沿著數(shù)據(jù)處理管道傳播到預(yù)測(cè)模型的輸入特征，進(jìn)而影響實(shí)時(shí)預(yù)測(cè)的精度，導(dǎo)致在線預(yù)測(cè)精度低于離線預(yù)測(cè)。
6、本專利技術(shù)的技術(shù)方案是：基于以上分析，提出了一種基于分布式流處理引擎的軌道交通網(wǎng)絡(luò)實(shí)時(shí)客流預(yù)測(cè)方法。該方法使用spark作為分布式流處理引擎，并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)高效計(jì)算網(wǎng)絡(luò)級(jí)短時(shí)進(jìn)出站客流的并行計(jì)算算法，提升了實(shí)時(shí)網(wǎng)絡(luò)級(jí)短時(shí)客流計(jì)算的效率與時(shí)效性。設(shè)計(jì)了多滾動(dòng)窗口樣本構(gòu)造方法，該方法基于滑動(dòng)聚合的客流構(gòu)造樣本，生成的樣本數(shù)量更多、包含的客流規(guī)律也更為細(xì)致和豐富，有助于提升模型的泛化能力。設(shè)計(jì)了實(shí)時(shí)多模式特征構(gòu)造方法，通過(guò)批流融合的方式，結(jié)合實(shí)時(shí)和歷史的短時(shí)客流數(shù)據(jù)構(gòu)造包含實(shí)時(shí)模式、日模式和周模式的多模式客流特征，借助準(zhǔn)確的日模式和周模式特征，稀釋遲到數(shù)據(jù)傳播到多模式客流特征中的誤差，進(jìn)而緩解遲到數(shù)據(jù)對(duì)在線預(yù)測(cè)精度的影響，提高在線預(yù)測(cè)的精度。設(shè)計(jì)了觸發(fā)器控制的在線特征工程與預(yù)測(cè)方法，該方法通過(guò)指定滑動(dòng)間隔、觸發(fā)間隔和水印大小作為流程控制的參數(shù)，并令，。如此，流處理應(yīng)用在每個(gè)內(nèi)會(huì)觸發(fā)次計(jì)算，前次計(jì)算會(huì)處理屬于上一個(gè)滑動(dòng)時(shí)間窗口的遲到數(shù)據(jù)，并更新其計(jì)算狀態(tài)，提升實(shí)時(shí)短時(shí)客流計(jì)算和預(yù)測(cè)的精度。該方法僅對(duì)前次計(jì)算進(jìn)行在線特征工程與預(yù)測(cè)，可以在每個(gè)內(nèi)的第一次預(yù)測(cè)獲取最佳的時(shí)效性，在第次預(yù)測(cè)取得與離線預(yù)測(cè)一致的精度，中間幾次的預(yù)測(cè)則可以找到時(shí)效性與準(zhǔn)確性的平衡點(diǎn)。
7、一種基于流式計(jì)算引擎的軌道交通實(shí)時(shí)客流預(yù)測(cè)方法的具體步驟如下：
8、step1：采集軌道交通票卡采集系統(tǒng)產(chǎn)生的所有歷史智能卡拍卡記錄，得到靜態(tài)的離線刷卡數(shù)據(jù)集；
9、step2：對(duì)離線刷卡數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，并使用滑動(dòng)窗口按設(shè)定的時(shí)間粒度和滑動(dòng)間隔計(jì)算離線網(wǎng)絡(luò)級(jí)短時(shí)進(jìn)出站客流；
10、step3：使用多滾動(dòng)窗口的多模式特征樣本構(gòu)造方法處理離線網(wǎng)絡(luò)級(jí)短時(shí)進(jìn)出站客流，構(gòu)造離線多模式特征樣本；
11、step4：使用離線多模式特征樣本訓(xùn)練和評(píng)估預(yù)訓(xùn)練模型；
12、step5：將預(yù)訓(xùn)練模型以序列化的方式進(jìn)行保存；
13、step6：部署消息中間件、持久化鍵值存儲(chǔ)服務(wù)、流式計(jì)算引擎、特征工程控制器、預(yù)測(cè)控制模塊和實(shí)時(shí)數(shù)據(jù)模擬模塊，提供可用的流處理環(huán)境；
14、本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于：
2.根據(jù)權(quán)利要求1所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述Step3具體為：
3.根據(jù)權(quán)利要求1所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述Step7具體為：
4.根據(jù)權(quán)利要求3所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述模擬延遲函數(shù)具體為：
5.根據(jù)權(quán)利要求1所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述Step8具體為：
6.根據(jù)權(quán)利要求5所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述Step8.3具體為：
7.根據(jù)權(quán)利要求1所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述Step9具體為：
8.根據(jù)權(quán)利要求7所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述特征工程控制器具體實(shí)現(xiàn)如下：設(shè)計(jì)一個(gè)自定義類型作為特征工程控制器，在部署特征工程控制模塊時(shí)，在應(yīng)用的守
...【技術(shù)特征摘要】
1.一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于：
2.根據(jù)權(quán)利要求1所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述step3具體為：
3.根據(jù)權(quán)利要求1所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述step7具體為：
4.根據(jù)權(quán)利要求3所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述模擬延遲函數(shù)具體為：
5.根據(jù)權(quán)利要求1所述的一種基于流式計(jì)算引擎的軌道交通客流實(shí)時(shí)預(yù)測(cè)方法，其特征在于，所述ste...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張適顯，熊文，王曉璇，
申請(qǐng)(專利權(quán))人：云南師范大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。