一種數(shù)據(jù)處理方法及裝置制造方法及圖紙

本發(fā)明專利技術(shù)公開了一種數(shù)據(jù)處理方法，所述方法包括：接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，并將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)；根據(jù)已配置完成的數(shù)據(jù)過濾策略，對所述第二數(shù)據(jù)進行過濾處理，得到包含有效數(shù)據(jù)的第三數(shù)據(jù)；根據(jù)已配置完成的數(shù)據(jù)分發(fā)策略，將獲取到的第三數(shù)據(jù)分發(fā)到不同的業(yè)務(wù)節(jié)點；對各個業(yè)務(wù)節(jié)點的所述第三數(shù)據(jù)分別進行處理。本發(fā)明專利技術(shù)還公開了一種數(shù)據(jù)處理裝置。采用本發(fā)明專利技術(shù)提供的數(shù)據(jù)處理方法及裝置，可增強系統(tǒng)的靈活性和穩(wěn)定性。

【技術(shù)實現(xiàn)步驟摘要】
一種數(shù)據(jù)處理方法及裝置
本專利技術(shù)涉及計算機
，尤其涉及一種數(shù)據(jù)處理方法及裝置。
技術(shù)介紹
隨著業(yè)務(wù)的發(fā)展需要，O2O平臺需要對接的設(shè)備種類越來越多。不同設(shè)備向到O2O平臺的APP客戶端傳輸數(shù)據(jù)時，因為這些數(shù)據(jù)的數(shù)據(jù)格式、傳輸形式、協(xié)議不同，APP客戶端接收數(shù)據(jù)時必須適應(yīng)每種設(shè)備的接口要求；另外，O2O平臺的APP服務(wù)端會因隨著用戶提出的不同業(yè)務(wù)要求而采用不同數(shù)據(jù)配置方式，多形式的業(yè)務(wù)要求對O2O平臺沖擊較大。傳統(tǒng)的數(shù)據(jù)處理流程如圖1和圖2所示，APP客戶端按照不同設(shè)備提供不同數(shù)據(jù)接口實現(xiàn)原始數(shù)據(jù)采集；APP客戶端將不同的原始數(shù)據(jù)進行相應(yīng)的數(shù)據(jù)轉(zhuǎn)換后向APP服務(wù)端發(fā)送；APP服務(wù)端接收到轉(zhuǎn)換后的數(shù)據(jù)并按設(shè)備的接口文檔說明對數(shù)據(jù)進行解析處理后，將解析后的數(shù)據(jù)根據(jù)業(yè)務(wù)要求對進行數(shù)據(jù)過濾、業(yè)務(wù)處理，最后將數(shù)據(jù)發(fā)送到APP客戶端進行展示。然而，O2O平臺需要對接的設(shè)備會增加、減少和變化，在實際的運營過程中，設(shè)備數(shù)量變化和設(shè)備類型變化會造成定制化的APP客戶端無法及時跟隨設(shè)備變化而變化；同時用戶提出的業(yè)務(wù)要求數(shù)量和業(yè)務(wù)要求自身的變化也越來越多，定制化的APP服務(wù)端同樣具有無法及時變化的弊端，影響了業(yè)務(wù)處理整體速度。另外，APP客戶端同時處理不同設(shè)備輸出的數(shù)據(jù)，會出現(xiàn)因為一部分數(shù)據(jù)異常導致整個業(yè)務(wù)的崩潰的情況，影響整個APP服務(wù)端系統(tǒng)的穩(wěn)定。
技術(shù)實現(xiàn)思路
為解決上述技術(shù)問題，本專利技術(shù)實施例提供一種數(shù)據(jù)處理方法及裝置，以增強系統(tǒng)的靈活性和穩(wěn)定性。本專利技術(shù)實施例的技術(shù)方案是這樣實現(xiàn)的：本專利技術(shù)實施例提供一種數(shù)據(jù)處理方法，包括：接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，并將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)；根據(jù)已配置完成的數(shù)據(jù)過濾策略，對所述第二數(shù)據(jù)進行過濾處理，得到包含有效數(shù)據(jù)的第三數(shù)據(jù)；根據(jù)已配置完成的數(shù)據(jù)分發(fā)策略，將獲取到的第三數(shù)據(jù)分發(fā)到不同的業(yè)務(wù)節(jié)點；對各個業(yè)務(wù)節(jié)點的所述第三數(shù)據(jù)分別進行處理。上述方案中，所述將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)，包括：將每個所述不同類型設(shè)備的對外接口協(xié)議進行適配；通過字段的映射策略將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)。上述方案中，在所述接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，并將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)后，所述方法還包括：針對不同類型設(shè)備的第二數(shù)據(jù)分別進行數(shù)據(jù)過濾策略的配置。上述方案中，在所述根據(jù)已配置完成的數(shù)據(jù)過濾策略，對所述第二數(shù)據(jù)進行過濾處理，得到包含有效數(shù)據(jù)的第三數(shù)據(jù)后，所述方法還包括：根據(jù)不同的業(yè)務(wù)應(yīng)用場景，對不同類型設(shè)備的第三數(shù)據(jù)進行數(shù)據(jù)分發(fā)策略的配置。上述方案中，所述將獲取到的第三數(shù)據(jù)分發(fā)到不同的業(yè)務(wù)節(jié)點，包括：使用觀察者模式或中間件技術(shù)將所述第三數(shù)據(jù)向?qū)?yīng)的不同業(yè)務(wù)節(jié)點分發(fā)。上述方案中，所述針對不同類型設(shè)備的第二數(shù)據(jù)分別進行數(shù)據(jù)過濾策略的配置，具體包括：針對不同類型設(shè)備的第二數(shù)據(jù)使用主備模式的redis緩存進行數(shù)據(jù)過濾策略的配置。上述方案中，所述根據(jù)不同的業(yè)務(wù)應(yīng)用場景，對不同類型設(shè)備的第三數(shù)據(jù)進行數(shù)據(jù)分發(fā)策略的配置，具體包括：根據(jù)不同的業(yè)務(wù)應(yīng)用場景，使用主備模式的redis緩存對不同類型設(shè)備的第三數(shù)據(jù)進行數(shù)據(jù)分發(fā)策略的配置。上述方案中，所述方法還包括：記錄數(shù)據(jù)處理過程中的過程數(shù)據(jù)到數(shù)據(jù)日志。上述方案中，所述第一數(shù)據(jù)的數(shù)據(jù)格式包括json格式、數(shù)組格式和xml格式，所述統(tǒng)一數(shù)據(jù)格式為json格式。上述方案中，所述設(shè)備為穿戴式運動設(shè)備，所述第一數(shù)據(jù)為運動數(shù)據(jù)。本專利技術(shù)實施例提供一種數(shù)據(jù)處理裝置，所述裝置包括：轉(zhuǎn)換單元，用于接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，并將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)；過濾單元，用于根據(jù)已配置完成的數(shù)據(jù)過濾策略，對所述第二數(shù)據(jù)進行過濾處理，得到包含有效數(shù)據(jù)的第三數(shù)據(jù)；分發(fā)單元，用于根據(jù)已配置完成的數(shù)據(jù)分發(fā)策略，將獲取到的第三數(shù)據(jù)分發(fā)到不同的業(yè)務(wù)節(jié)點；處理單元，用于對對各個業(yè)務(wù)節(jié)點的所述第三數(shù)據(jù)分別進行處理。上述方案中，所述轉(zhuǎn)換單元包括：適配子單元，用于將每個所述不同類型設(shè)備的對外接口協(xié)議進行適配；映射子單元，用于通過字段的映射策略將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)。上述方案中，所述裝置還包括：第一配置單元，用于針對不同類型設(shè)備的第二數(shù)據(jù)分別進行數(shù)據(jù)過濾策略的配置。上述方案中，所述裝置還包括：第二配置單元，用于根據(jù)不同的業(yè)務(wù)應(yīng)用場景，對不同類型設(shè)備的第三數(shù)據(jù)進行數(shù)據(jù)分發(fā)策略的配置。上述方案中，所述分發(fā)單元還用于：使用觀察者模式或中間件技術(shù)將所述第三數(shù)據(jù)向?qū)?yīng)的不同業(yè)務(wù)節(jié)點分發(fā)。上述方案中，所述第一配置單元還用于：針對不同類型設(shè)備的第二數(shù)據(jù)使用主備模式的redis緩存進行數(shù)據(jù)過濾策略的配置。上述方案中，所述第二配置單元還用于：根據(jù)不同的業(yè)務(wù)應(yīng)用場景，使用主備模式的redis緩存對不同類型設(shè)備的第三數(shù)據(jù)進行數(shù)據(jù)分發(fā)策略的配置。上述方案中，所述裝置還包括日志單元，所述日志單元用于記錄數(shù)據(jù)處理過程中的過程數(shù)據(jù)日志。上述方案中，所述第一數(shù)據(jù)的數(shù)據(jù)格式包括json格式、數(shù)組格式和xml格式，所述統(tǒng)一數(shù)據(jù)格式為json格式。上述方案中，所述設(shè)備為穿戴式運動設(shè)備，所述第一數(shù)據(jù)為運動數(shù)據(jù)。本專利技術(shù)實施例所提供的數(shù)據(jù)處理方法及裝置，通過接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，然后第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)并對第二數(shù)據(jù)按照業(yè)務(wù)策略進行配置后分發(fā)到不同節(jié)點，使APP客戶端僅進行數(shù)據(jù)采集和轉(zhuǎn)發(fā)，由APP服務(wù)端統(tǒng)一實現(xiàn)數(shù)據(jù)的轉(zhuǎn)換，并按照業(yè)務(wù)策略對數(shù)據(jù)進行業(yè)務(wù)配置，在改變輸入設(shè)備和業(yè)務(wù)要求時無需進行二次開發(fā)，相比較現(xiàn)有技術(shù)，增強了系統(tǒng)的靈活性和穩(wěn)定性。附圖說明圖1為現(xiàn)有技術(shù)中的數(shù)據(jù)處理流程示意圖；圖2為現(xiàn)有技術(shù)中的工作流程示意圖；圖3為本專利技術(shù)實施例數(shù)據(jù)處理方法的實現(xiàn)流程圖；圖4為本專利技術(shù)實施例中的數(shù)據(jù)處理流程示意圖；圖5為本專利技術(shù)實施例中工作流程示意圖；圖6為本專利技術(shù)實施例中的連接協(xié)議接口類的示意圖；圖7為本專利技術(shù)實施例中的第一設(shè)備的數(shù)據(jù)格式的示意圖；圖8為本專利技術(shù)實施例中的第二設(shè)備的數(shù)據(jù)格式的示意圖；圖9為本專利技術(shù)實施例中的統(tǒng)一的json數(shù)據(jù)格式的示意圖；圖10為本專利技術(shù)實施例數(shù)據(jù)處理裝置的組成結(jié)構(gòu)示意圖。具體實施方式為了能夠更加詳盡地了解本專利技術(shù)的特點與
技術(shù)實現(xiàn)思路
，下面結(jié)合附圖對本專利技術(shù)的實現(xiàn)進行詳細闡述，所附附圖僅供參考說明之用，并非用來限定本專利技術(shù)。圖3為本專利技術(shù)實施例數(shù)據(jù)處理方法的實現(xiàn)流程圖，如圖3所示，本專利技術(shù)實施例提供的數(shù)據(jù)處理方法包括：步驟301，接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，并將第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)；步驟302，根據(jù)已配置完成的數(shù)據(jù)過濾策略，對第二數(shù)據(jù)進行過濾處理，得到包含有效數(shù)據(jù)的第三數(shù)據(jù)；步驟303，根據(jù)已配置完成的數(shù)據(jù)分發(fā)策略，將獲取到的第三數(shù)據(jù)分發(fā)到不同的業(yè)務(wù)節(jié)點；步驟304，對各個業(yè)務(wù)節(jié)點的第三數(shù)據(jù)分別進行處理。其中，在步驟301中，將第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)的過程具體包括協(xié)議適配和字段映射，其中，協(xié)議適配是將每個不同類型設(shè)備的對外接口協(xié)議進行適配；字段映射是通過字段的映射策略將第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)。在本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，并將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)；根據(jù)已配置完成的數(shù)據(jù)過濾策略，對所述第二數(shù)據(jù)進行過濾處理，得到包含有效數(shù)據(jù)的第三數(shù)據(jù)；根據(jù)已配置完成的數(shù)據(jù)分發(fā)策略，將獲取到的第三數(shù)據(jù)分發(fā)到不同的業(yè)務(wù)節(jié)點；對各個業(yè)務(wù)節(jié)點的所述第三數(shù)據(jù)分別進行處理。

【技術(shù)特征摘要】
1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，并將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)；根據(jù)已配置完成的數(shù)據(jù)過濾策略，對所述第二數(shù)據(jù)進行過濾處理，得到包含有效數(shù)據(jù)的第三數(shù)據(jù)；根據(jù)已配置完成的數(shù)據(jù)分發(fā)策略，將獲取到的第三數(shù)據(jù)分發(fā)到不同的業(yè)務(wù)節(jié)點；對各個業(yè)務(wù)節(jié)點的所述第三數(shù)據(jù)分別進行處理。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)，包括：將每個所述不同類型設(shè)備的對外接口協(xié)議進行適配；通過字段的映射策略將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述接收APP客戶端發(fā)送的采集自不同類型設(shè)備的具有不同數(shù)據(jù)格式的第一數(shù)據(jù)，并將所述第一數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式的第二數(shù)據(jù)后，所述方法還包括：針對不同類型設(shè)備的第二數(shù)據(jù)分別進行數(shù)據(jù)過濾策略的配置。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述根據(jù)已配置完成的數(shù)據(jù)過濾策略，對所述第二數(shù)據(jù)進行過濾處理，得到包含有效數(shù)據(jù)的第三數(shù)據(jù)后，所述方法還包括：根據(jù)不同的業(yè)務(wù)應(yīng)用場景，對不同類型設(shè)備的第三數(shù)據(jù)進行數(shù)據(jù)分發(fā)策略的配置。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將獲取到的第三數(shù)據(jù)分發(fā)到不同的業(yè)務(wù)節(jié)點，包括：使用觀察者模式或中間件技術(shù)將所述第三數(shù)據(jù)向?qū)?yīng)的不同業(yè)務(wù)節(jié)點分發(fā)。6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述針對不同類型設(shè)備的第二數(shù)據(jù)分別進行數(shù)據(jù)過濾策略的配置，具體包括：針對不同類型設(shè)備的第二數(shù)據(jù)使用主備模式的redis緩存進行數(shù)據(jù)過濾策略的配置。7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)不同的業(yè)務(wù)應(yīng)用場景，對不同類型設(shè)備的第三數(shù)據(jù)進行數(shù)據(jù)分發(fā)策略的配置，具體包括：根據(jù)不同的業(yè)務(wù)應(yīng)用場景，使用主備模式的redis緩存對不同類型設(shè)備的第三數(shù)據(jù)進行數(shù)據(jù)分發(fā)策略的配置。8.根據(jù)權(quán)利要求1至7中任一項所述的方法，其特征在于，所述方法還包括：記錄數(shù)據(jù)處理過程中的過程數(shù)據(jù)到數(shù)據(jù)日志。9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一數(shù)據(jù)的數(shù)據(jù)格式包括json格式、數(shù)組格式和xml格式，所述統(tǒng)一數(shù)據(jù)格式為j...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張良海，
申請(專利權(quán))人：咪咕互動娛樂有限公司，
類型：發(fā)明
國別省市：江蘇,32