一種基于調(diào)度的文件處理裝置及處理方法制造方法及圖紙

本發(fā)明專(zhuān)利技術(shù)提供一種基于調(diào)度的文件處理裝置，包括：配置中心、調(diào)度中心、多個(gè)工作節(jié)點(diǎn)以及多個(gè)日志解析器。配置中心用于建立日志文件的配置信息；調(diào)度中心用于向配置中心獲取配置信息并創(chuàng)建日志文件處理任務(wù)，以及調(diào)度工作節(jié)點(diǎn)處理任務(wù)；工作節(jié)點(diǎn)用于獲取任務(wù)中的日志文件并發(fā)送給日志解析器進(jìn)行解析及過(guò)濾。本發(fā)明專(zhuān)利技術(shù)還提供一種基于調(diào)度的文件處理方法。能夠有效提高日志文件的處理效率和可靠性。日志文件的處理效率和可靠性。日志文件的處理效率和可靠性。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于調(diào)度的文件處理裝置及處理方法


[0001]本專(zhuān)利技術(shù)涉及計(jì)算機(jī)
，尤其涉及一種基于調(diào)度的文件處理裝置及處理方法。

技術(shù)介紹

[0002]CDN(Content Delivery Network)是內(nèi)容分發(fā)網(wǎng)絡(luò)的簡(jiǎn)稱(chēng)，是在現(xiàn)有網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)一個(gè)或多個(gè)服務(wù)器互連的網(wǎng)絡(luò)，依靠部署在各地的邊緣服務(wù)器，通過(guò)中心平臺(tái)的負(fù)載均衡、內(nèi)容分發(fā)、調(diào)度等功能模塊，使用戶(hù)就近獲取所需內(nèi)容，降低網(wǎng)絡(luò)擁塞，提高用戶(hù)訪(fǎng)問(wèn)響應(yīng)速度和命中率。
[0003]當(dāng)前CDN產(chǎn)業(yè)發(fā)展迅速，伴隨著CDN系統(tǒng)規(guī)模的發(fā)展，產(chǎn)生的CDN日志數(shù)據(jù)也越來(lái)越龐大，同時(shí)，不同的業(yè)務(wù)場(chǎng)景下，CDN日志的數(shù)據(jù)分布廣泛，處理流程復(fù)雜，因此對(duì)日志文件處理的效率以及數(shù)據(jù)準(zhǔn)確性要求高。為了處理大量的日志文件，需要大量的機(jī)器資源作為支撐，同時(shí)需要有一個(gè)完善、可靠、高效的處理系統(tǒng)來(lái)同步整個(gè)處理流程。
[0004]傳統(tǒng)的日志處理是通過(guò)機(jī)器節(jié)點(diǎn)去下載CDN日志，再進(jìn)行分析。然而單臺(tái)機(jī)器下載與處理文件的能力有限，受機(jī)器軟件和硬件的性能影響大，如磁盤(pán)IO、網(wǎng)絡(luò)帶寬等屬性影響，文件處理效率低，處理能力有限，無(wú)法應(yīng)對(duì)需要同時(shí)處理大量日志文件的場(chǎng)景。當(dāng)機(jī)器出現(xiàn)故障時(shí)，會(huì)導(dǎo)致處理能力下降，甚至?xí)袛嗵幚?，可靠性低。且單機(jī)不僅受限于機(jī)器性能，通過(guò)提高機(jī)器性能來(lái)提升處理能力有限，無(wú)法做到自由伸縮擴(kuò)展，需要多臺(tái)機(jī)器同時(shí)處理日志文件時(shí)，各機(jī)器間處理的信息無(wú)法同步。

技術(shù)實(shí)現(xiàn)思路

[0005]鑒于現(xiàn)有技術(shù)的上述不足，本專(zhuān)利技術(shù)所要解決的技術(shù)問(wèn)題是：提供一種基于調(diào)度的文件處理裝置及處理方法，能夠有效提高日志文件的處理效率和可靠性。
[0006]為了解決上述技術(shù)問(wèn)題，本專(zhuān)利技術(shù)采用的技術(shù)方案為：
[0007]一種基于調(diào)度的文件處理裝置，包括：
[0008]配置中心、調(diào)度中心、多個(gè)工作節(jié)點(diǎn)以及多個(gè)日志解析器；
[0009]配置中心用于建立日志文件的配置信息；
[0010]調(diào)度中心用于定期獲取日志文件相應(yīng)的配置信息，根據(jù)所述配置信息創(chuàng)建對(duì)應(yīng)的日志文件處理任務(wù)，將所述日志文件處理任務(wù)加入任務(wù)隊(duì)列；實(shí)時(shí)監(jiān)控所述任務(wù)隊(duì)列，當(dāng)有任務(wù)需要調(diào)度且查詢(xún)到可用的工作節(jié)點(diǎn)時(shí)，將任務(wù)分配給相應(yīng)工作節(jié)點(diǎn)并傳入任務(wù)池；
[0011]工作節(jié)點(diǎn)用于監(jiān)控到被分配任務(wù)后從所述任務(wù)池中獲取相應(yīng)的任務(wù)，按照所述任務(wù)的信息獲取對(duì)應(yīng)的日志文件，將獲取的日志文件發(fā)送給對(duì)應(yīng)的日志解析器；
[0012]日志解析器用于對(duì)接收到的日志文件進(jìn)行解析及過(guò)濾。
[0013]本專(zhuān)利技術(shù)采用的另一技術(shù)方案為：
[0014]一種基于調(diào)度的文件處理方法，包括：
[0015]調(diào)度中心定期獲取日志文件相應(yīng)的配置信息，根據(jù)所述配置信息創(chuàng)建對(duì)應(yīng)的日志
文件處理任務(wù)，將所述日志文件處理任務(wù)加入任務(wù)隊(duì)列；實(shí)時(shí)監(jiān)控所述任務(wù)隊(duì)列，當(dāng)有任務(wù)需要調(diào)度且從多個(gè)工作節(jié)點(diǎn)中查詢(xún)到可用的工作節(jié)點(diǎn)時(shí)，將任務(wù)分配給相應(yīng)工作節(jié)點(diǎn)并傳入任務(wù)池；
[0016]工作節(jié)點(diǎn)監(jiān)控到被分配任務(wù)后從所述任務(wù)池中獲取相應(yīng)的任務(wù)，按照所述任務(wù)的信息獲取對(duì)應(yīng)的日志文件，將獲取的日志文件發(fā)送給對(duì)應(yīng)的日志解析器；
[0017]日志解析器對(duì)接收到的日志文件進(jìn)行解析及過(guò)濾。
[0018]本專(zhuān)利技術(shù)的有益效果在于：通過(guò)調(diào)度中心從配置中心獲取配置信息，并創(chuàng)建日志文件處理任務(wù)，根據(jù)工作節(jié)點(diǎn)的使用情況將任務(wù)實(shí)時(shí)分配給相應(yīng)的工作節(jié)點(diǎn)，工作節(jié)點(diǎn)再將任務(wù)中的日志文件發(fā)給日志解析器進(jìn)行解析及過(guò)濾。采用前述分布式的處理方式，將可用的機(jī)器資源組成資源池，按需進(jìn)行分配處理算力，達(dá)到資源利用最大化。且支持工作節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展，可以通過(guò)增加機(jī)器資源來(lái)進(jìn)一步提升整體的文件處理性能與規(guī)模。通過(guò)調(diào)度，不僅提升了日志文件處理的效率，還能保證文件處理信息一致性，來(lái)保證整個(gè)處理過(guò)程的可靠性，同時(shí)可對(duì)機(jī)器資源統(tǒng)一化管理。多機(jī)協(xié)調(diào)調(diào)度，還可以防止單機(jī)故障，提升整體的可靠性。
附圖說(shuō)明
[0019]圖1所示為本專(zhuān)利技術(shù)實(shí)施例基于調(diào)度的文件處理裝置的連接示意圖；
[0020]圖2所示為本專(zhuān)利技術(shù)實(shí)施例基于調(diào)度的文件處理方法的流程示意圖；
[0021]圖3所示為本專(zhuān)利技術(shù)實(shí)施例工作節(jié)點(diǎn)的處理流程示意圖；
[0022]圖4所示為本專(zhuān)利技術(shù)實(shí)施例日志解析的流程示意圖。
[0023]標(biāo)號(hào)說(shuō)明：
[0024]1、配置中心；2、調(diào)度中心；3、工作節(jié)點(diǎn)；4、日志解析器。
具體實(shí)施方式
[0025]為了能更清楚地理解本專(zhuān)利技術(shù)的
技術(shù)實(shí)現(xiàn)思路
、所實(shí)現(xiàn)目的及效果，以下結(jié)合具體實(shí)施方式并配合附圖對(duì)本專(zhuān)利技術(shù)進(jìn)行詳細(xì)描述。需要說(shuō)明的是，在不沖突的情況下，本專(zhuān)利技術(shù)的實(shí)施方式及實(shí)施方式中的特征可以相互組合。在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本專(zhuān)利技術(shù)，所描述的實(shí)施方式僅僅是本專(zhuān)利技術(shù)一部分實(shí)施方式，而不是全部的實(shí)施方式?；诒緦?zhuān)利技術(shù)中的實(shí)施方式，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施方式，都屬于本專(zhuān)利技術(shù)保護(hù)的范圍。
[0026]請(qǐng)參照?qǐng)D1所示，本專(zhuān)利技術(shù)提供一種基于調(diào)度的文件處理裝置，包括：
[0027]配置中心、調(diào)度中心、多個(gè)工作節(jié)點(diǎn)以及多個(gè)日志解析器；
[0028]配置中心用于建立日志文件的配置信息；
[0029]調(diào)度中心用于定期獲取日志文件相應(yīng)的配置信息，根據(jù)所述配置信息創(chuàng)建對(duì)應(yīng)的日志文件處理任務(wù)，將所述日志文件處理任務(wù)加入任務(wù)隊(duì)列；實(shí)時(shí)監(jiān)控所述任務(wù)隊(duì)列，當(dāng)有任務(wù)需要調(diào)度且查詢(xún)到可用的工作節(jié)點(diǎn)時(shí)，將任務(wù)分配給相應(yīng)工作節(jié)點(diǎn)并傳入任務(wù)池；
[0030]工作節(jié)點(diǎn)用于監(jiān)控到被分配任務(wù)后從所述任務(wù)池中獲取相應(yīng)的任務(wù)，按照所述任務(wù)的信息獲取對(duì)應(yīng)的日志文件，將獲取的日志文件發(fā)送給對(duì)應(yīng)的日志解析器；
[0031]日志解析器用于對(duì)接收到的日志文件進(jìn)行解析及過(guò)濾。
[0032]上述基于調(diào)度的文件處理裝置的有益效果在于：通過(guò)調(diào)度中心從配置中心獲取配置信息，并創(chuàng)建日志文件處理任務(wù)，根據(jù)工作節(jié)點(diǎn)的使用情況將任務(wù)實(shí)時(shí)分配給相應(yīng)的工作節(jié)點(diǎn)，工作節(jié)點(diǎn)再將任務(wù)中的日志文件發(fā)給日志解析器進(jìn)行解析及過(guò)濾。采用前述分布式的處理方式，將可用的機(jī)器資源組成資源池，按需進(jìn)行分配處理算力，達(dá)到資源利用最大化。且支持工作節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展，可以通過(guò)增加機(jī)器資源來(lái)進(jìn)一步提升整體的文件處理性能與規(guī)模。通過(guò)調(diào)度，不僅提升了日志文件處理的效率，還能保證文件處理信息一致性，來(lái)保證整個(gè)處理過(guò)程的可靠性，同時(shí)可對(duì)機(jī)器資源統(tǒng)一化管理。多機(jī)協(xié)調(diào)調(diào)度，還可以防止單機(jī)故障，提升整體的可靠性。
[0033]進(jìn)一步的，工作節(jié)點(diǎn)還根據(jù)當(dāng)前負(fù)載情況判斷是否可以執(zhí)行任務(wù)，若可以執(zhí)行任務(wù)則獲取任務(wù)，將獲取到的任務(wù)加入工作隊(duì)列，所述工作隊(duì)列支持并行處理文件；若不可以執(zhí)行任務(wù)則等待負(fù)載允許；
[0034]工作節(jié)點(diǎn)執(zhí)行完成任務(wù)后向調(diào)度中心反饋任務(wù)執(zhí)行結(jié)果。
[0035]從上述描述可知，工作節(jié)點(diǎn)不能無(wú)限接收文件處理任務(wù)，隨著同時(shí)處理數(shù)據(jù)量上升，機(jī)器性能會(huì)下降，為了讓工作節(jié)點(diǎn)處理文件效率最優(yōu)化，處理前會(huì)先根據(jù)當(dāng)前本機(jī)負(fù)載情況來(lái)判斷是否執(zhí)行任務(wù)，從而滿(mǎn)足CDN日志文件這種本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于調(diào)度的文件處理裝置，其特征在于，包括：配置中心、調(diào)度中心、多個(gè)工作節(jié)點(diǎn)以及多個(gè)日志解析器；配置中心用于建立日志文件的配置信息；調(diào)度中心用于定期獲取日志文件相應(yīng)的配置信息，根據(jù)所述配置信息創(chuàng)建對(duì)應(yīng)的日志文件處理任務(wù)，將所述日志文件處理任務(wù)加入任務(wù)隊(duì)列；實(shí)時(shí)監(jiān)控所述任務(wù)隊(duì)列，當(dāng)有任務(wù)需要調(diào)度且查詢(xún)到可用的工作節(jié)點(diǎn)時(shí)，將任務(wù)分配給相應(yīng)工作節(jié)點(diǎn)并傳入任務(wù)池；工作節(jié)點(diǎn)用于監(jiān)控到被分配任務(wù)后從所述任務(wù)池中獲取相應(yīng)的任務(wù)，按照所述任務(wù)的信息獲取對(duì)應(yīng)的日志文件，將獲取的日志文件發(fā)送給對(duì)應(yīng)的日志解析器；日志解析器用于對(duì)接收到的日志文件進(jìn)行解析及過(guò)濾。2.根據(jù)權(quán)利要求1所述的基于調(diào)度的文件處理裝置，其特征在于：工作節(jié)點(diǎn)還根據(jù)當(dāng)前負(fù)載情況判斷是否可以執(zhí)行任務(wù)，若可以執(zhí)行任務(wù)則獲取任務(wù)，將獲取到的任務(wù)加入工作隊(duì)列，所述工作隊(duì)列支持并行處理文件；若不可以執(zhí)行任務(wù)則等待負(fù)載允許；工作節(jié)點(diǎn)執(zhí)行完成任務(wù)后向調(diào)度中心反饋任務(wù)執(zhí)行結(jié)果。3.根據(jù)權(quán)利要求1所述的基于調(diào)度的文件處理裝置，其特征在于，工作節(jié)點(diǎn)發(fā)送日志文件前先按照磁盤(pán)數(shù)量對(duì)日志文件進(jìn)行分片，將各分片隨機(jī)存入各磁盤(pán)，各磁盤(pán)的分片分別發(fā)送給對(duì)應(yīng)的日志解析器；日志解析器讀取其接收的分片并解析成數(shù)據(jù)流，對(duì)所述數(shù)據(jù)流解碼還原成日志條項(xiàng)，對(duì)所述日志條項(xiàng)解析成日志字段；將解析...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：陳連波，史憬燁，王聲楚，吳劍林，吳成龍，蔡輝祥，余杰，趙晨，
申請(qǐng)(專(zhuān)利權(quán))人：廈門(mén)市安杰云網(wǎng)絡(luò)有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：