一種海量訂單實時處理方法技術

本發明專利技術提出一種海量訂單實時處理方法，包括下列步驟：訂單預處理，包括對電商服務器實時生成的訂單集合進行處理，形成相應的鍵－值對的形式，并以文件塊的形式進行分布存儲；訂單到倉，對所述分布存儲的待計算文件塊編制聚類分析代碼，實現任務分配與結果聚類；快遞上車，對聚類結果形成鍵－值對的形式，并將配送需求發到相應分倉，并根據配送目的地發放給相應的快遞員。本發明專利技術提出的海量訂單實時處理方法，基于并行處理模型MapReduce框架，能夠對所有電商的海量訂單進行面向分倉庫的聚類處理，從而實現實時區域化處理。

【技術實現步驟摘要】

本專利技術涉及電子商務領域，且特別涉及一種海量訂單實時處理方法。
技術介紹
電子商務通常是指在全球各地廣泛的商業貿易活動中，在因特網開放的網絡環境下，基于瀏覽器/服務器應用方式，買賣雙方不謀面地進行各種商貿活動，實現消費者的網上購物、商戶之間的網上交易和在線電子支付以及各種商務活動、交易活動、金融活動和相關的綜合服務活動的一種新型的商業運營模式。在科學研究、計算機仿真、互聯網應用等諸多領域，尤其是Web2.0的興起與大范圍拓展，電子商務逐漸走進廣大人民的工作與生活中，同時因網上交易所產生的數據量正在以指數速度增長。為了有效地分析與處理這些大數據資源，必須依賴有效的數據分析技術，而當人們將目光轉向傳統關系數據庫時，發現傳統的關系數據管理技術(并行數據庫)經過了將近40年的發展，在擴展性方面遇到了巨大的障礙，無法勝任大數據分析的任務。而以MapReduce為代表的大數據處理技術異軍突起，以其良好的擴展性、容錯性和大規模并行處理的優勢。本專利技術在充分調研當前主流B2C電商及購物平臺的基礎之上，利用MapReduce并行處理技術并結合HDFS在分布式存儲方面的獨特優勢，提出了面向海量訂單的實時處理方法。
技術實現思路
本專利技術提出一種海量訂單實時處理方法，基于并行處理模型MapReduce框架，能夠對所有電商的海量訂單進行面向分倉庫的聚類處理，從而實現實時區域化處理。為了達到上述目的，本專利技術提出一種海量訂單實時處理方法，包括下列步驟：訂單預處理，包括對電商服務器實時生成的訂單集合進行處理，形成相應的鍵－值對的形式，并以文件塊的形式進行分布存儲；訂單到倉，對所述分布存儲的待計算文件塊編制聚類分析代碼，實現任務分配與結果聚類；快遞上車，對聚類結果形成鍵－值對的形式，并將配送需求發到相應分倉，并根據配送目的地發放給相應的快遞員。進一步的，所述對電商服務器實時生成的訂單集合進行處理包括清洗、去噪、過濾操作。進一步的，所述文件塊分布存儲在Hadoop平臺上。進一步的，所述文件塊的容量大小為小于64MB。進一步的，所述訂單預處理所形成的鍵－值對形式為<訂單編號，配送地址>式的鍵－值對。進一步的，所述任務分配為Map操作，計算地址與各分倉庫距離。進一步的，所述結果聚類為Reduce操作，匹配某個分倉。進一步的，所述快遞上車對聚類結果形成鍵－值對的形式為根據具體地址進行二次聚類，從而實現貨品與快遞站或快遞員的匹配。本專利技術提出的海量訂單實時處理方法，基于并行處理模型MapReduce框架，能夠對所有電商的海量訂單進行面向分倉庫的聚類處理，從而實現實時區域化處理。與現有技術相比，本專利技術具有以下優點：(1)面向分布式存儲系統Hadoop與分布式計算模式MapReduce，能夠以較小的代價獲得可觀的實時效率；(2)訂單處理問題層層簡化，從分倉庫到接收站或快速員，能夠加快訂單處理過程。附圖說明圖1所示為本專利技術較佳實施例的海量訂單實時處理方法流程圖。具體實施方式以下結合附圖給出本專利技術的具體實施方式，但本專利技術不限于以下的實施方式。根據下面說明和權利要求書，本專利技術的優點和特征將更清楚。需說明的是，附圖均采用非常簡化的形式且均使用非精準的比率，僅用于方便、明晰地輔助說明本專利技術實施例的目的。請參考圖1，圖1所示為本專利技術較佳實施例的海量訂單實時處理方法流程圖。本專利技術提出一種海量訂單實時處理方法，包括下列步驟：步驟S100：訂單預處理，包括對電商服務器實時生成的訂單集合進行處理，形成相應的鍵－值對的形式，并以文件塊的形式進行分布存儲；步驟S200：訂單到倉，對所述分布存儲的待計算文件塊編制聚類分析代碼，實現任務分配與結果聚類；步驟S300：快遞上車，對聚類結果形成鍵－值對的形式，并將配送需求發到相應分倉，并根據配送目的地發放給相應的快遞員。根據本專利技術較佳實施例，在訂單預處理步驟中，所述對電商服務器實時生成的訂單集合進行處理包括清洗、去噪、過濾操作，目的去除那些無效訂單，同時為了進一步的MapReduce操作進行文件切割和分布處理。對于給定的一組海量訂單(往往存儲以大文件形式存儲)，利用其中最關鍵的屬性，比如訂單編號、配送地址(地市級)，因此形成了<訂單編號，配送地址>式的鍵－值對，并以文件塊的形式進行分布存儲。進一步的，所述文件塊在Hadoop平臺上以小于64MB的文件塊分布存儲。所述訂單到倉步驟根據預處理結果，編制相應的過程函數，實現聚類。以實現問題域的結構化、到數據節點的映射、結果集的收斂與歸約等，所述任務分配為Map操作，計算地址與各分倉庫距離，所述結果聚類為Reduce操作，匹配某個分倉。訂單到倉是對多個分布式文件面向分倉庫進行分類匯總，以加速訂單處理過程，讓客戶及早收到貨品。在所述快遞上車步驟中，對聚類結果形成鍵－值對的形式為根據具體地址進行二次聚類，從而實現貨品與快遞站或快遞員的匹配。本專利技術提出的海量訂單實時處理方法，通過面向分布式存儲平臺Hadoop的整合與聚類分析，能夠對海量數據量進行實時分析處理，代價只是低廉的集群系統?；诓⑿芯幊棠Ｊ組apReduce進行聚類分析，按照“存儲優先于計算”的法則，效率得到了高度保障。雖然本專利技術已以較佳實施例揭露如上，然其并非用以限定本專利技術。本專利技術所屬
中具有通常知識者，在不脫離本專利技術的精神和范圍內，當可作各種的更動與潤飾。因此，本專利技術的保護范圍當視權利要求書所界定者為準。本文檔來自技高網...

【技術保護點】
一種海量訂單實時處理方法，其特征在于，包括下列步驟：訂單預處理，包括對電商服務器實時生成的訂單集合進行處理，形成相應的鍵－值對的形式，并以文件塊的形式進行分布存儲；訂單到倉，對所述分布存儲的待計算文件塊編制聚類分析代碼，實現任務分配與結果聚類；快遞上車，對聚類結果形成鍵－值對的形式，并將配送需求發到相應分倉，并根據配送目的地發放給相應的快遞員。

【技術特征摘要】
1.一種海量訂單實時處理方法，其特征在于，包括下列步驟：
訂單預處理，包括對電商服務器實時生成的訂單集合進行處理，形成相應
的鍵－值對的形式，并以文件塊的形式進行分布存儲；
訂單到倉，對所述分布存儲的待計算文件塊編制聚類分析代碼，實現任務
分配與結果聚類；
快遞上車，對聚類結果形成鍵－值對的形式，并將配送需求發到相應分倉，
并根據配送目的地發放給相應的快遞員。
2.根據權利要求1所述的海量訂單實時處理方法，其特征在于，所述對電
商服務器實時生成的訂單集合進行處理包括清洗、去噪、過濾操作。
3.根據權利要求1所述的海量訂單實時處理方法，其特征在于，所述文件
塊分布存儲在Hadoop平臺上。
4.根據權利要求1...

【專利技術屬性】
技術研發人員：陳靜，李建敦，龔黃兵，付鳳川，
申請(專利權)人：上海電機學院，
類型：發明
國別省市：上海;31