一種海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法、服務(wù)器及處理系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了一種海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法、服務(wù)器及處理系統(tǒng)，其中，所述海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法，包括接收客戶端的基于數(shù)據(jù)單向傳輸協(xié)議發(fā)送來(lái)的數(shù)據(jù)；將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，來(lái)保證數(shù)據(jù)在傳輸過(guò)程中的完整性；啟動(dòng)消費(fèi)線程組，消費(fèi)線程組中的各個(gè)消費(fèi)線程啟動(dòng)后均處于空閑等待任務(wù)狀態(tài)；從消息中間件中取出數(shù)據(jù)，并轉(zhuǎn)化成處理任務(wù)分配至消費(fèi)線程組中的各個(gè)消費(fèi)線程中進(jìn)行處理；將每個(gè)消費(fèi)線程處理任務(wù)完成后的結(jié)果數(shù)據(jù)保存至緩存隊(duì)列中；啟動(dòng)工作線程組，從緩存隊(duì)列中獲取結(jié)果數(shù)據(jù)并批量存儲(chǔ)至數(shù)據(jù)庫(kù)中。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)屬于數(shù)據(jù)處理領(lǐng)域，尤其涉及一種海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法、服務(wù)器及處理系統(tǒng)。
技術(shù)介紹
計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)及智能終端的高速發(fā)展，數(shù)據(jù)以一種不可估量的量級(jí)高速增長(zhǎng)。而如何接受并完整、快速、安全、有效地處理海量數(shù)據(jù)顯得尤為重要。目前，國(guó)內(nèi)的數(shù)據(jù)傳輸系統(tǒng)或產(chǎn)品都不能兼容完整、快速、安全、有效地處理海量數(shù)據(jù)這些特點(diǎn)。一般情況下，在保證數(shù)據(jù)完整性的前提下，數(shù)據(jù)卻不能快速、安全地傳輸并保存至數(shù)據(jù)庫(kù)中；如果兼容速度，那么又不能保障數(shù)據(jù)的完整性。因此，目前亟需一種能夠完整、快速、安全、有效地處理海量數(shù)據(jù)的海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法、服務(wù)器及處理系統(tǒng)來(lái)解決上述問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
為了解決現(xiàn)有技術(shù)的缺點(diǎn)，本專利技術(shù)提供一種海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法、服務(wù)器及處理系統(tǒng)。本專利技術(shù)通過(guò)數(shù)據(jù)單向傳輸、消息中間件、多線程及隊(duì)列機(jī)制技術(shù)，解決了目前海量數(shù)據(jù)傳輸過(guò)程中普遍存在的完整與效率無(wú)法兼得的問(wèn)題，亦保證了數(shù)據(jù)在整個(gè)傳輸過(guò)程中的安全問(wèn)題。為實(shí)現(xiàn)上述目的，本專利技術(shù)采用以下技術(shù)方案：本專利技術(shù)提供了一種海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法，該方法包括：接收客戶端的基于數(shù)據(jù)單向傳輸協(xié)議發(fā)送來(lái)的數(shù)據(jù)；將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，來(lái)保證數(shù)據(jù)在傳輸過(guò)程中的完整性；啟動(dòng)消費(fèi)線程組，消費(fèi)線程組中的各個(gè)消費(fèi)線程啟動(dòng)后均處于空閑等待任務(wù)狀態(tài)；從消息中間件中取出數(shù)據(jù)，并轉(zhuǎn)化成處理任務(wù)分配至消費(fèi)線程組中的各個(gè)消費(fèi)線程中進(jìn)行處理；將每個(gè)消費(fèi)線程處理任務(wù)完成后的結(jié)果數(shù)據(jù)保存至緩存隊(duì)列中；啟動(dòng)工作線程組，從緩存隊(duì)列中獲取結(jié)果數(shù)據(jù)并批量存儲(chǔ)至數(shù)據(jù)庫(kù)中。當(dāng)每次消費(fèi)線程組處理任務(wù)完成后，從消息中間件中取出數(shù)據(jù)，并轉(zhuǎn)化成處理任務(wù)分配至消費(fèi)線程組中的各個(gè)消費(fèi)線程中進(jìn)行處理。在本專利技術(shù)的海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法中，客戶端采用數(shù)據(jù)單向傳輸協(xié)議進(jìn)行發(fā)送數(shù)據(jù)，在數(shù)據(jù)由客戶端傳輸至內(nèi)網(wǎng)即高密級(jí)端時(shí)，內(nèi)網(wǎng)的數(shù)據(jù)不會(huì)泄露，從而保證數(shù)據(jù)的安全性。本專利技術(shù)還將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，這樣保證了高并發(fā)數(shù)據(jù)在傳輸過(guò)程中的完整性，而且不同業(yè)務(wù)數(shù)據(jù)，消息中間件還可以按照不同的名稱進(jìn)行緩存，大大地提高了數(shù)據(jù)傳輸過(guò)程中的業(yè)務(wù)處理能力。當(dāng)每次消費(fèi)線程組處理任務(wù)完成后且消息中間件中無(wú)數(shù)據(jù)時(shí)，消費(fèi)線程組處于空閑等待任務(wù)狀態(tài)。在本專利技術(shù)的海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法中，調(diào)用相應(yīng)接口將數(shù)據(jù)批量存儲(chǔ)至不同數(shù)據(jù)庫(kù)。由于數(shù)據(jù)傳輸?shù)淖罱K目的是將數(shù)據(jù)進(jìn)行存儲(chǔ)，因此，通過(guò)配置和調(diào)用不同接口，則可將數(shù)據(jù)向一種或者多種數(shù)據(jù)庫(kù)中批量寫入，提高了數(shù)據(jù)傳輸協(xié)議的開發(fā)效率。通過(guò)配置參數(shù)決定啟動(dòng)工作線程組中工作線程的數(shù)目。啟動(dòng)各工作線程，各線程在隊(duì)列上等待任務(wù)；就像一個(gè)工廠中有很多的工人，把任務(wù)放到一個(gè)隊(duì)列中，那些工人就會(huì)自動(dòng)的獲取任務(wù)，每次處理任務(wù)完成后，再次在隊(duì)列中等待新的任務(wù)。有任務(wù)時(shí)，取出任務(wù)進(jìn)行處理；無(wú)任務(wù)時(shí)，空閑等待。每個(gè)任務(wù)只能被一個(gè)線程取出并處理。隊(duì)列機(jī)制是解決多線程并行協(xié)同工作的可靠和高效的手段。本專利技術(shù)還提供了一種用于海量數(shù)據(jù)的實(shí)時(shí)傳輸處理的服務(wù)器，包括：數(shù)據(jù)接收模塊，其被配置為接收客戶端的基于數(shù)據(jù)單向傳輸協(xié)議發(fā)送來(lái)的數(shù)據(jù)；數(shù)據(jù)寫入模塊，其被配置為將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，來(lái)保證數(shù)據(jù)在傳輸過(guò)程中的完整性；消費(fèi)線程啟動(dòng)模塊，其被配置為啟動(dòng)消費(fèi)線程組，消費(fèi)線程組中的各個(gè)消費(fèi)線程啟動(dòng)后均處于空閑等待任務(wù)狀態(tài)；數(shù)據(jù)調(diào)取分配模塊，其被配置為從消息中間件中取出數(shù)據(jù)，并轉(zhuǎn)化成處理任務(wù)分配至消費(fèi)線程組中的各個(gè)消費(fèi)線程中進(jìn)行處理；數(shù)據(jù)列隊(duì)緩存模塊，其被配置為將每個(gè)消費(fèi)線程處理任務(wù)完成后的結(jié)果數(shù)據(jù)保存至緩存隊(duì)列中；工作線程啟動(dòng)模塊，其被配置為啟動(dòng)工作線程組，從緩存隊(duì)列中獲取結(jié)果數(shù)據(jù)并批量存儲(chǔ)至數(shù)據(jù)庫(kù)中。在消費(fèi)線程啟動(dòng)模塊中，當(dāng)每次消費(fèi)線程組處理任務(wù)完成后且消息中間件中無(wú)數(shù)據(jù)時(shí)，消費(fèi)線程組處于空閑等待任務(wù)狀態(tài)。所述用于海量數(shù)據(jù)的實(shí)時(shí)傳輸處理的服務(wù)器還包括接口調(diào)用模塊，其被配置為調(diào)用相應(yīng)接口將數(shù)據(jù)批量存儲(chǔ)至不同數(shù)據(jù)庫(kù)。所述工作線程啟動(dòng)模塊通過(guò)配置參數(shù)決定啟動(dòng)工作線程組中工作線程的數(shù)目。所述工作線程啟動(dòng)模塊還按照數(shù)據(jù)的規(guī)模大小以及所述服務(wù)器的處理能力進(jìn)行調(diào)整啟動(dòng)工作線程組中工作線程的數(shù)目。此外，本專利技術(shù)還提供了一種用于海量數(shù)據(jù)的實(shí)時(shí)傳輸處理系統(tǒng)，該處理系統(tǒng)包括上述用于海量數(shù)據(jù)的實(shí)時(shí)傳輸處理的服務(wù)器。本專利技術(shù)的有益效果為：(1)在本專利技術(shù)的海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法中，客戶端采用數(shù)據(jù)單向傳輸協(xié)議進(jìn)行發(fā)送數(shù)據(jù)，在數(shù)據(jù)由客戶端傳輸至內(nèi)網(wǎng)即高密級(jí)端時(shí)，內(nèi)網(wǎng)的數(shù)據(jù)不會(huì)泄露，從而保證數(shù)據(jù)的安全性；(2)本專利技術(shù)還將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，這樣保證了高并發(fā)數(shù)據(jù)在傳輸過(guò)程中的完整性，而且不同業(yè)務(wù)數(shù)據(jù)，消息中間件還可以按照不同的名稱進(jìn)行緩存，大大地提高了數(shù)據(jù)傳輸過(guò)程中的業(yè)務(wù)處理能力；(3)本專利技術(shù)還采用多線程模式，啟動(dòng)消費(fèi)線程組接收處理任務(wù)并將每個(gè)消費(fèi)線程處理任務(wù)完成后的結(jié)果數(shù)據(jù)保存至緩存隊(duì)列中，以及啟動(dòng)工作線程組，從緩存隊(duì)列中獲取結(jié)果數(shù)據(jù)并批量存儲(chǔ)至數(shù)據(jù)庫(kù)中；結(jié)合列隊(duì)機(jī)制，將數(shù)據(jù)處理后放入各任務(wù)隊(duì)列當(dāng)中和從隊(duì)列中順序讀取數(shù)據(jù)進(jìn)行批量存儲(chǔ)，隊(duì)列機(jī)制解決了多線程并行協(xié)同工作的可靠性和高效性；(4)本專利技術(shù)以多線程并行工作的方式代替?zhèn)鹘y(tǒng)的工作方式，并可通過(guò)配置文件調(diào)整最大的工作線程數(shù)限制；而且允許使用者根據(jù)實(shí)際數(shù)據(jù)的規(guī)模，調(diào)優(yōu)參數(shù)，達(dá)到實(shí)際環(huán)境的最佳性能。附圖說(shuō)明圖1是本專利技術(shù)的海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法的流程示意圖；圖2是本專利技術(shù)的用于海量數(shù)據(jù)的實(shí)時(shí)傳輸處理的服務(wù)器的結(jié)構(gòu)示意圖。具體實(shí)施方式下面將結(jié)合本專利技術(shù)實(shí)施例中的附圖，對(duì)本專利技術(shù)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本專利技術(shù)一部分實(shí)施例，而不是全部的實(shí)施例?；诒緦＠夹g(shù)
中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本專利技術(shù)保護(hù)的范圍。本專利技術(shù)實(shí)施例中提及的客戶端可以包括個(gè)人電腦、平板電腦和智能手機(jī)。本專利技術(shù)實(shí)施例中的服務(wù)器可直接通過(guò)網(wǎng)絡(luò)與客戶端相互通信。圖1是本專利技術(shù)實(shí)施例中一種海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法的流程示意圖，本實(shí)施例主要是從服務(wù)器一側(cè)來(lái)描述，如圖所示本實(shí)施例中的海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法，包括：S101，接收客戶端的基于數(shù)據(jù)單向傳輸協(xié)議發(fā)送來(lái)的數(shù)據(jù)；具體實(shí)現(xiàn)中，客戶端采用的數(shù)據(jù)單向傳輸協(xié)議(比如TFTP的單向文件傳輸、單向文件傳輸協(xié)議FLUTE傳輸)，進(jìn)行傳送數(shù)據(jù)。這樣使得數(shù)據(jù)在客戶端傳輸至內(nèi)網(wǎng)即高密級(jí)端時(shí)，內(nèi)網(wǎng)的數(shù)據(jù)不會(huì)泄露，從而保證數(shù)據(jù)的安全性。S102，將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，來(lái)保證數(shù)據(jù)在傳輸過(guò)程中的完整性；具體實(shí)現(xiàn)中，消息中間件以由LinkedIn開發(fā)的一個(gè)分布式的消息系統(tǒng)kafka為例：通過(guò)kafka，可將高并發(fā)數(shù)據(jù)進(jìn)行緩存，客戶端可逐步進(jìn)行消費(fèi)，保證了數(shù)據(jù)在傳輸過(guò)程中的完整性。不同業(yè)務(wù)數(shù)據(jù)，又可以通過(guò)kafka中不同TOPIC名稱進(jìn)行緩存，大大地提高了此數(shù)據(jù)傳輸過(guò)程中的業(yè)務(wù)處理能力。S103，啟動(dòng)消費(fèi)線程組，消費(fèi)線程組中的各個(gè)消費(fèi)線程啟動(dòng)后均處于空閑等待任務(wù)狀態(tài)；具體實(shí)現(xiàn)中，當(dāng)每次消費(fèi)線程組處理任務(wù)完成后，從消息中間件中取出數(shù)據(jù)，并轉(zhuǎn)化成處理任務(wù)分配至消費(fèi)線程組中的各個(gè)消費(fèi)線程中進(jìn)行處理。S104，從消息中間件中取出數(shù)據(jù)，并轉(zhuǎn)化成處理任務(wù)分配至消費(fèi)線程組中的各個(gè)消費(fèi)線程中進(jìn)行處理；在此過(guò)載本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法，其特征在于，包括：接收客戶端的基于數(shù)據(jù)單向傳輸協(xié)議發(fā)送來(lái)的數(shù)據(jù)；將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，來(lái)保證數(shù)據(jù)在傳輸過(guò)程中的完整性；啟動(dòng)消費(fèi)線程組，消費(fèi)線程組中的各個(gè)消費(fèi)線程啟動(dòng)后均處于空閑等待任務(wù)狀態(tài)；從消息中間件中取出數(shù)據(jù)，并轉(zhuǎn)化成處理任務(wù)分配至消費(fèi)線程組中的各個(gè)消費(fèi)線程中進(jìn)行處理；將每個(gè)消費(fèi)線程處理任務(wù)完成后的結(jié)果數(shù)據(jù)保存至緩存隊(duì)列中；啟動(dòng)工作線程組，從緩存隊(duì)列中獲取結(jié)果數(shù)據(jù)并批量存儲(chǔ)至數(shù)據(jù)庫(kù)中。

【技術(shù)特征摘要】
1.一種海量數(shù)據(jù)的實(shí)時(shí)傳輸處理方法，其特征在于，包括：接收客戶端的基于數(shù)據(jù)單向傳輸協(xié)議發(fā)送來(lái)的數(shù)據(jù)；將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，來(lái)保證數(shù)據(jù)在傳輸過(guò)程中的完整性；啟動(dòng)消費(fèi)線程組，消費(fèi)線程組中的各個(gè)消費(fèi)線程啟動(dòng)后均處于空閑等待任務(wù)狀態(tài)；從消息中間件中取出數(shù)據(jù)，并轉(zhuǎn)化成處理任務(wù)分配至消費(fèi)線程組中的各個(gè)消費(fèi)線程中進(jìn)行處理；將每個(gè)消費(fèi)線程處理任務(wù)完成后的結(jié)果數(shù)據(jù)保存至緩存隊(duì)列中；啟動(dòng)工作線程組，從緩存隊(duì)列中獲取結(jié)果數(shù)據(jù)并批量存儲(chǔ)至數(shù)據(jù)庫(kù)中。2.如權(quán)利要求1所述的一種海量數(shù)據(jù)實(shí)時(shí)傳輸方法，其特征在于，當(dāng)每次消費(fèi)線程組處理任務(wù)完成后且消息中間件中無(wú)數(shù)據(jù)時(shí)，消費(fèi)線程組處于空閑等待任務(wù)狀態(tài)。3.如權(quán)利要求1所述的一種海量數(shù)據(jù)實(shí)時(shí)傳輸方法，其特征在于，調(diào)用相應(yīng)接口將數(shù)據(jù)批量存儲(chǔ)至不同數(shù)據(jù)庫(kù)。4.如權(quán)利要求1所述的一種海量數(shù)據(jù)實(shí)時(shí)傳輸方法，其特征在于，通過(guò)配置參數(shù)決定啟動(dòng)工作線程組中工作線程的數(shù)目。5.一種用于海量數(shù)據(jù)的實(shí)時(shí)傳輸處理的服務(wù)器，其特征在于，包括：數(shù)據(jù)接收模塊，其被配置為接收客戶端的基于數(shù)據(jù)單向傳輸協(xié)議發(fā)送來(lái)的數(shù)據(jù)；數(shù)據(jù)寫入模塊，其被配置為將接收的數(shù)據(jù)寫入消息中間件中進(jìn)行緩存，來(lái)保證數(shù)據(jù)在傳輸過(guò)程中的完整性；消費(fèi)線程啟動(dòng)模塊，其被配置為啟動(dòng)消費(fèi)線程組，消費(fèi)線程組中的各個(gè)消費(fèi)線程啟動(dòng)后均處于空閑等待任務(wù)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳浩，王可鑫，段文良，高軍，王恒，
申請(qǐng)(專利權(quán))人：山東合天智匯信息技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：山東;37