一種大數據開發與運行方法及系統技術方案

本發明專利技術涉及一種大數據開發與運行方法及系統，其中的方法包括：擴展大數據計算處理流程，形成大數據處理流程的集成環境；基于所述集成環境，獲取用戶定制的大數據處理流程；上傳所述定制的大數據處理流程，調度運行所述上傳的大數據處理流程，并顯示運行結果。其抽象了大數據應用開發的流程，將大數據應用開發流程集成在一起，方便用戶自行定制大數據處理流程，提高了工作效率，達到降低大數據應用門檻、降低生產成本的目標。

Large data development and operation method and system

The invention relates to a method and system for data development and operation, the method includes: extended data calculation process, the formation of integrated environment data processing; the integrated environment based on large data acquisition, customized processing; data uploading the making process of big data scheduling run the upload process and display the results. The abstract data application development process, the big data application development process are integrated together to facilitate users to customize the data processing flow, improve work efficiency, reduce the data application threshold, reducing the production cost target.

【技術實現步驟摘要】

本專利技術涉及數據處理領域，尤其涉及一種大數據開發與運行方法及系統。
技術介紹
目前，各公司、單位通常基于開源或商業的大數據基礎平臺進行大數據應用開發，這些開源或商業的大數據基礎平臺通常對Hadoop、Spark體系平臺進行了定制、封裝和集成。在此基礎上進行大數據開發時，通常在本地完成程序的開發和編譯，隨后上傳到上述平臺運行。此種方式中的所有運行、調度等工作都需要自寫代碼完成，其大致流程如圖1所示，首先，開發人員在本地計算機進行大數據應用開發，并編譯成在大數據平臺運行的目標文件；操作人員將目標文件上傳到大數據平臺，并使用命令行提交到大數據平臺運行；運行成功結束或失敗后，操作人員檢查運行結果、日志。如運行結果與預想的不一致，則開發人員還需要再修改、編譯代碼。然后再重復上述過程。現有大數據平臺是通常只是大數據運行Hadoop、Spark框架和組件的堆砌，相關通常直接基于上述底層的組件進行開發和運行，在諸多方面具有不足，大致有以下幾種缺點：1、大數據應用門檻高大數據運行Hadoop、Spark框架包含程序組件有上百個之多，開發人員、運維人員學習這些框架的曲線非常陡峭。另外，人才市場也缺少具有這些技能的開發人員與運維人員。基于以上原因，企業要在現有大數據平臺上開展大數據應用，門檻非常高。2、生產效率低下從上面描述的生產過程可知，在現有大數據平臺上開展大數據應用的幾個步驟是完全割裂的。在實際的工作中往往需要反復執行上述步驟，割裂的步驟導致低下的生產效率。3、生產成本高開展大數據應用的高門檻、生產效率的低下，導致企業或單位開展大數據應用的成本極高，嚴重阻礙了大數據行業的發展。
技術實現思路
為克服現有技術存在的上述技術問題，本專利技術提供了一種大數據開發與運行方法，其抽象了大數據應用開發的流程，將大數據應用開發流程集成在一起，方便用戶自行定制大數據處理流程，提高了工作效率，達到降低大數據應用門檻、降低生產成本的目標。本專利技術解決上述技術問題的技術方案如下：一種大數據開發與運行方法，其包括：擴展大數據計算處理流程，形成大數據處理流程的集成環境；基于所述集成環境，獲取用戶定制的大數據處理流程；上傳所述定制的大數據處理流程，調度運行所述上傳的大數據處理流程，并顯示運行結果。在上述技術方案的基礎上，本專利技術還可以做如下改進。進一步，用戶根據所述運行結果，與其期望運行結果進行對比，如果所述運行結果與其期望運行結果不同，則重新定制新的大數據處理流程。進一步，所述擴展大數據計算處理流程，形成大數據處理流程的集成環境的步驟包括數據采集的擴展、數據存儲的擴展、數據處理的擴展和數據分享的擴展。進一步，所述數據采集的擴展包括歷史數據的采集和即時發生的業務數據的采集，采集的數據類型包括結構化數據、半結構化數據和非結構化數據。進一步，所述數據存儲的擴展包括存儲結構化數據的關系型數據存儲和支持存儲半結構化數據和非結構化數據的非關系型數據存儲。進一步，所述數據處理的擴展包括SQL處理、通用算法處理及利用用戶開發的處理程序的處理；所述數據分享的擴展包括數據的批量輸出、實時輸出和外部高并發訪問。本專利技術還提供了一種大數據開發與運行系統，其包括：處理流程集成模塊，用于集成擴展后的大數據計算處理流程；獲取模塊，用于獲取用戶定制的大數據處理流程；上傳模塊，用于將定制的大數據處理流程上傳至大數據集群；調度運行模塊，用于運行上傳至大數據集群的大數據處理流程，獲得運行結果；顯示模塊，用于顯示所述運行結果。進一步，所述處理流程集成模塊包括：歷史數據采集模塊，用于采集非交易數據；業務數據采集模塊，用于實時采集即時發生的業務數據；存儲模塊，用于存儲采集的所述歷史數據和業務數據；處理模塊，用于處理采集的歷史數據和業務數據，獲得處理后的數據；數據分享模塊，用于分享所述處理后的數據。進一步，所述歷史數據采集模塊和實時數據采集模塊均包括結構化數據采集單元、半結構化數據采集單元和非結構化數據采集單元。進一步，所述存儲模塊包括關系型數據存儲單元和非關系型數據存儲單元，所述關系型數據存儲單元用于存儲結構化數據，所述非關系型數據存儲單元用于存儲半結構化數據和非結構化數據；所述處理模塊包括SQL處理單元、通用算法處理單元及開源處理單元；所述SQL處理單元用于支持用戶直接使用SQL語句處理所述歷史數據和交易數據；所述通用算法處理單元用于利用通用算法處理所述歷史數據和交易數據；所述開源處理單元用于基于用戶開發的處理程序處理所述歷史數據和交易數據；所述數據分享模塊包括批量輸出單元、實時輸出單元和高并發訪問接口；所述批量輸出單元用于將所述處理后的數據一次性或周期性地輸出；所述實時輸出單元用于將所述處理后的數據實時輸出；所述高并發訪問接口用于外部業務系統高并發訪問所述處理后的數據。與現有技術相比，本專利技術提供的大數據開發與運行方法通過擴展大數據計算處理流程，將大數據應用開發流程集成在一起，方便用戶自行定制大數據處理流程，達到降低大數據應用門檻、降低生產成本的目標；另外，通過獲取用戶定制的自己所需的大數據處理流程，將其定制的大數據處理流程上傳至大數據集群進行調度運行，在運行過程中始終監控應用的運行情況，并將運行結果及時回饋給用戶，用戶可以根據運行結果，與其期望運行結果進行對比，如果所述運行結果與其期望運行結果不同，則重新定制新的大數據處理流程，再次獲取用戶重新定制的新的大數據處理流程，使得用戶可以連續進行開發運行相關工作，而不需要在每一個步驟都切換工作環境，提高了工作效率。附圖說明圖1為
技術介紹
中大數據開發與運行方法的流程圖；圖2為本專利技術實施例一提供的大數據開發與運行方法的流程圖；圖3為現有技術中的大數據計算處理的通用流程圖；圖4為本專利技術實施例二提供的大數據計算處理的擴展流程圖；圖5為本專利技術實施例二提供大數據開發與運行方法的流程圖。具體實施方式以下結合附圖對本專利技術的原理和特征進行描述，所舉實例只用于解釋本專利技術，并非用于限定本專利技術的范圍。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。實施例一如圖2所示，本實施例提供了一種大數據開發與運行方法，其包括：S1：擴展大數據計算處理流程，形成大數據處理流程的集成環境；S2：基于所述集成環境，獲取用戶定制的大數據處理流程；S3：上傳所述定制的大數據處理流程，調度運行所述上傳的大數據處理流程，并顯示運行結果。如圖3所示，進行大數據計算處理的通用流程會經過數據采集、存儲、處理和分享四個步驟，其中的數據采集是從外部的業務系統抽取、收集業務數據的過程，采集數據進入大數據平臺后可以進行持久化存儲，也可以不存儲而直接進行數據處理；數據存儲是將外部的業務數據持久化存儲到磁盤中，大數據平臺通常會使用分布式的方式存儲這些數據，數據量不大的時候也可能采用關系數據庫來保存這些數據；數據處理是指用戶編寫基于大數據平臺的數據計算程序或腳本進行數據的處理，要處理數據通常有兩種來源，其一為在數據采集階段采集的數據，直接進行數據處理，其二為讀取已經持久化存儲的數據進行數據處理；數據分享是指用戶根據需要將處理結果數據或持久化存儲的數據輸出到業務系統、數據庫。本實施例中針對大數據計算處理流程的擴展以上述通用流程為基礎，將采集部分、存儲部分、處理部分及分享處理部分都進本文檔來自技高網...

【技術保護點】
一種大數據開發與運行方法，其特征在于，包括：擴展大數據計算處理流程，形成大數據處理流程的集成環境；基于所述集成環境，獲取用戶定制的大數據處理流程；上傳所述定制的大數據處理流程，調度運行所述上傳的大數據處理流程，并顯示運行結果。

【技術特征摘要】
1.一種大數據開發與運行方法，其特征在于，包括：擴展大數據計算處理流程，形成大數據處理流程的集成環境；基于所述集成環境，獲取用戶定制的大數據處理流程；上傳所述定制的大數據處理流程，調度運行所述上傳的大數據處理流程，并顯示運行結果。2.根據權利要求1所述的大數據開發與運行方法，其特征在于，用戶根據所述運行結果，與其期望運行結果進行對比，如果所述運行結果與其期望運行結果不同，則重新定制新的大數據處理流程。3.根據權利要求1所述的大數據開發與運行方法，其特征在于，所述擴展大數據計算處理流程，形成大數據處理流程的集成環境的步驟包括數據采集的擴展、數據存儲的擴展、數據處理的擴展和數據分享的擴展。4.根據權利要求3所述的大數據開發與運行方法，其特征在于，所述數據采集的擴展包括歷史數據的采集和實時數據的采集，采集的數據類型包括結構化數據、半結構化數據和非結構化數據。5.根據權利要求3或4所述的大數據開發與運行方法，其特征在于，所述數據存儲的擴展包括存儲結構化數據的關系型數據存儲和支持存儲半結構化數據和非結構化數據的非關系型數據存儲。6.根據權利要求3或4所述的大數據開發與運行方法，其特征在于，所述數據處理的擴展包括SQL處理、通用算法處理及利用用戶開發的處理程序的處理；所述數據分享的擴展包括數據的批量輸出、實時輸出和外部高并發訪問。7.一種大數據開發與運行系統，其特征在于，包括：處理流程集成模塊，用于集成擴展后的大數據計算處理流程；獲取模塊，用于獲取用戶定制的大數據處理流程；上傳模塊，用于將定制的大數據處理流程上傳至大數...

【專利技術屬性】
技術研發人員：黃超，曹正鳳，張祺君，郜義浩，邊海葉，
申請(專利權)人：北京云星宇交通科技股份有限公司，北京博宇通達科技有限公司，
類型：發明
國別省市：北京;11