一種基于交通卡口的數據流轉處理方法技術

本發明專利技術公開了一種基于交通卡口的數據流轉處理方法，包括如下步驟：通過卡口設備數據抓取服務進行圖像數據抓取和識別，形成結構化數據并寫入數據分發服務處理隊列，同時通過文檔存儲接口服務，連接到存儲設備接口進行圖像數據存儲；數據分發服務按數據處理計劃將數據分發服務處理隊列中對應圖像數據的結構化數據按照識別結果，將圖片圖像數據發送至卡口圖片分析服務處理隊列，將視頻圖像數據發送至視頻智能分析服務處理隊列；卡口圖片分析服務或視頻智能分析服務將分析結果，結合原始圖像數據和結構化數據，通過文檔存儲接口服務調用持久化存儲器。該方法可提高適配性和擴展能力。該方法可提高適配性和擴展能力。該方法可提高適配性和擴展能力。

【技術實現步驟摘要】
一種基于交通卡口的數據流轉處理方法


[0001]本專利技術涉及數據識別
，尤其涉及一種基于交通卡口的數據流轉處理方法。

技術介紹

[0002]在交通管理部門的日常管理中，交通卡口是重要的數據來源，對交通卡口數據有效利用可顯著提升交通管理信息化水平。在數據利用中，不同的業務子系統需要對同源數據分別進行邏輯處理成不同的業務結構，新產生的數據再進行下級傳遞，由后續服務再次進行不同的邏輯處理，逐層遞進。因此抽取、轉換、處理、復用、流轉是有效利用的關鍵環節。傳統的ETL雖能滿足基本數據抽取、轉換、處理和流轉要求，但也存在以下不足：以客戶端方式主動請求數據源抽取數據，抽取頻率受限數據源，在需要實時處理的業務場景下延時高；處理層次平面化，無層次遞進，數據的多級流轉需要多次定義表結構，且表結構的變更限制嚴格，無法靈活快速地適配變更需求；數據轉換邏輯沒有自定義處理語義，無法擴展特定的業務邏輯；數據復用不友好，對相同數據源的數據復用需要多個作業任務，無法做到抽取一次多次復用，多目標分發；作業任務流轉狀態反饋不足，無法直觀表現數據流轉狀態，維護難度高。

技術實現思路

[0003]為了克服上述現有技術的不足，本專利技術所解決的技術問題在于提供一種基于交通卡口的數據流轉處理方法，其不但適應不斷提高的數據利用要求，降低利用成本，數據流轉更多樣順暢，簡化數據使用方的業務邏輯，針對傳統ETL的痛點，將數據流轉過程切分為三個階段：接入、處理、配送，對三個階段采用模塊化和插件化設計，提高適配性和擴展能力。
[0004]為了解決上述技術問題，本專利技術采用的技術方案內容具體如下：一種基于交通卡口的數據流轉處理方法，應用在服務器上，包括如下步驟：S1:構建用于抓取卡口設備數據的卡口設備數據抓取服務、用于數據分發的數據分發服務、用于視頻智能分析的視頻智能分析服務、用于卡口圖片分析的卡口圖片分析服務及用于對接存儲，以進行數據存儲的文檔存儲接口服務；S2:在數據流轉過程中，通過卡口設備數據抓取服務進行圖像數據的抓取和識別，形成結構化數據并寫入數據分發服務的處理隊列，同時通過文檔存儲接口服務，連接到存儲設備的接口進行圖像數據的存儲；S3:數據分發服務按照數據處理計劃，將數據分發服務處理隊列中的對應圖像數據的結構化數據按照識別結果，將圖片圖像數據發送至卡口圖片分析服務的處理隊列，將視頻圖像數據發送至視頻智能分析服務的處理隊列；S4:分析完成后，卡口圖片分析服務或視頻智能分析服務將分析結果，結合原始圖像數據和結構化數據，通過文檔存儲接口服務調用持久化存儲器，以將分析結果、原始圖像數據和結構化數據進行持久化存儲。
[0005]進一步地，所述S2具體為：獲取卡口設備數據抓取的結構化數據后，通過自定義語義處理，配送至卡口圖片分析服務的處理隊列之中。
[0006]進一步地，所述S2包括：S21：對所述原始圖像數據進行識別，將識別為二次識別數據的圖像數據標記并寫入數據分發服務的處理隊列中；S22：從數據分發服務的處理隊列中，對帶司機信息的二次識別數據進行告警判斷，若符合告警規則的數據寫入數據分發服務的二次識別告警隊列；S23：獲取帶司機信息的二次識別數據后進行分析處理，將非編司機告警數據寫入數據分發服務隊列。
[0007]更優地，所述S23之后還包括：S24:獲取二次識別告警數據，將二次識別告警數據存入持久化存儲器之中。
[0008]進一步地，所述S21具體為：通過自定義語義處理二次識別數據，配送至視頻智能分析隊列之中，同時存儲所述二次識別數據。
[0009]優選地，所述S13包括：S131：將非編司機數據寫入至視頻智能分析隊列中并進行處理存儲。
[0010]相比現有技術，本專利技術的有益效果在于：1.本專利技術的基于交通卡口的數據流轉處理方法將業務劃分為卡口數據抓取服務、數據分發服務、視頻智能分析服務、卡口圖片分析服務、文檔存儲接口服務這五大塊模塊化服務，在數據接入、處理、配送這三個階段時，能使業務邏輯分布清晰，易于業務自身的更新和擴展，并提高適配性，從而適應了不斷提高的數據利用要求，降低利用成本，使數據流轉更多樣順暢，簡化數據使用方的業務邏輯；2.本專利技術的基于交通卡口的數據流轉處理方法采用數據隊列存儲或讀取數據，按照先進先出原則，實現數據一對多，多對一的管道化處理，業務數據即時性更高，業務數據根據不同的需求配送至不同的服務，擴展業務邏輯的同時，不影響原有業務的使用；3.本專利技術的基于交通卡口的數據流轉處理方法采用自定義語義處理數據，實現靈活的數據配送調度、數據轉換、數據加強等操作，使數據充分流轉效率更高效的同時，提高了穩定性和流程化。
[0011]下面結合附圖和具體實施方式對本專利技術作進一步詳細說明。
附圖說明
[0012]為了更清楚的說明本申請實施例技術方案，下面將對實施例描述中所需要使用的附圖作簡單的介紹，顯而易見的，下面的描述中的附圖是本申請的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。
[0013]圖1為本專利技術數據流轉處理方法交優選實施的方法流程圖。
具體實施方式
[0014]下面結合附圖對本專利技術的具體實施方式作進一步說明。在此需要說明的是，對于
這些實施方式的說明用于幫助理解本專利技術，但并不構成對本專利技術的限定。此外，下面所描述的本專利技術各個實施方式中所涉及的技術特征只要彼此之間未構成沖突就可以相互組合。
[0015]參見圖1實施例所示，本專利技術所述的基于交通卡口的數據流轉處理方法，應用在服務器上，包括如下步驟：S1:構建用于抓取卡口設備數據的卡口設備數據抓取服務、用于數據分發的數據分發服務、用于視頻智能分析的視頻智能分析服務、用于卡口圖片分析的卡口圖片分析服務及用于對接存儲，以進行數據存儲的文檔存儲接口服務；S2:在數據流轉過程中，通過卡口設備數據抓取服務進行圖像數據的抓取和識別，形成結構化數據并寫入數據分發服務的處理隊列，同時通過文檔存儲接口服務，連接到存儲設備的接口進行圖像數據的存儲；S3:數據分發服務按照數據處理計劃，將數據分發服務處理隊列中的對應圖像數據的結構化數據按照識別結果，將圖片圖像數據發送至卡口圖片分析服務的處理隊列，將視頻圖像數據發送至視頻智能分析服務的處理隊列；S4:分析完成后，卡口圖片分析服務或視頻智能分析服務將分析結果，結合原始圖像數據和結構化數據，通過文檔存儲接口服務調用持久化存儲器，以將分析結果、原始圖像數據和結構化數據進行持久化存儲；作為本專利技術的基于交通卡口的數據流轉處理方法的進一步改進方案，所述方法還包括S5:數據分發服務其處理隊列中將帶有URL的結構化數據通過文檔存儲接口服務存入文檔數據庫中。
[0016]所述S2具體為：獲取卡口設備數據抓取的結構化數據后，通過自定義語義處理，配送至卡口圖片分析服務的處理隊列之中。
[0017]進一步地，所述S2包括：S21：對所述原始圖像數據進行識別，將識別為二次識別數據的圖像數據標記并寫入數據分發服務的處理隊列中；S22：從數據分發服務的處理隊本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于交通卡口的數據流轉處理方法，應用在服務器上，其特征在于：包括如下步驟：S1:構建用于抓取卡口設備數據的卡口設備數據抓取服務、用于數據分發的數據分發服務、用于視頻智能分析的視頻智能分析服務、用于卡口圖片分析的卡口圖片分析服務及用于對接存儲，以進行數據存儲的文檔存儲接口服務；S2:在數據流轉過程中，通過卡口設備數據抓取服務進行圖像數據的抓取和識別，形成結構化數據并寫入數據分發服務的處理隊列，同時通過文檔存儲接口服務，連接到存儲設備的接口進行圖像數據的存儲；S3:數據分發服務按照數據處理計劃，將數據分發服務處理隊列中的對應圖像數據的結構化數據按照識別結果，將圖片圖像數據發送至卡口圖片分析服務的處理隊列，將視頻圖像數據發送至視頻智能分析服務的處理隊列；S4:分析完成后，卡口圖片分析服務或視頻智能分析服務將分析結果，結合原始圖像數據和結構化數據，通過文檔存儲接口服務調用持久化存儲器，以將分析結果、原始圖像數據和結構化數據進行持久化存儲。2.根據權利要求1所述的基于交通卡口的數據流轉處理方法，其特征在于：所述S2具體為：獲取卡口設備數據抓取的結構化數...

【專利技術屬性】
技術研發人員：陳歡，李明，魏侖，黃岳松，戴宇聰，張名山，梁娜，
申請(專利權)人：廣州交信投科技股份有限公司，
類型：發明
國別省市：