本發(fā)明專利技術(shù)涉及一種基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法，包括以下步驟：搭建動(dòng)態(tài)補(bǔ)維系統(tǒng)；根據(jù)動(dòng)態(tài)補(bǔ)維系統(tǒng)進(jìn)行補(bǔ)維，補(bǔ)維操作模塊獲取實(shí)時(shí)處理數(shù)據(jù)流內(nèi)的數(shù)據(jù)，根據(jù)獲取的數(shù)據(jù)查找補(bǔ)維數(shù)據(jù)緩存，若補(bǔ)維數(shù)據(jù)緩存命中且沒(méi)有被污染，則補(bǔ)維操作模塊根據(jù)補(bǔ)維相關(guān)數(shù)據(jù)完成補(bǔ)維操作并將結(jié)果放入實(shí)時(shí)處理數(shù)據(jù)流；若緩存沒(méi)有命中，則將數(shù)據(jù)放入待補(bǔ)維隊(duì)列，設(shè)置待補(bǔ)維處理模塊監(jiān)控所述的待補(bǔ)維隊(duì)列；若緩存命中且污染標(biāo)識(shí)模塊指示數(shù)據(jù)被污染，則查找補(bǔ)維策略，根據(jù)補(bǔ)維策略進(jìn)行補(bǔ)維處理。采用了本發(fā)明專利技術(shù)的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法、裝置、處理器及其計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，通過(guò)單獨(dú)的待補(bǔ)維隊(duì)列實(shí)時(shí)刷新緩存，提高補(bǔ)維效率，保證補(bǔ)維準(zhǔn)確度。保證補(bǔ)維準(zhǔn)確度。保證補(bǔ)維準(zhǔn)確度。
【技術(shù)實(shí)現(xiàn)步驟摘要】
基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法、裝置、處理器及其計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
[0001]本專利技術(shù)涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及動(dòng)態(tài)補(bǔ)維領(lǐng)域，具體是指一種基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法、裝置、處理器及其計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
技術(shù)介紹
[0002]實(shí)時(shí)處理是指在外部數(shù)據(jù)流入系統(tǒng)過(guò)程中，能夠快速(秒級(jí)或者毫秒級(jí))處理并輸出結(jié)果的處理模型。在實(shí)時(shí)數(shù)據(jù)處理的過(guò)程中，原始流入的數(shù)據(jù)會(huì)出現(xiàn)一些信息缺失。這些信息實(shí)際上是通過(guò)查詢外部相關(guān)的數(shù)據(jù)表格，或者外部文件可以獲取的，于是就出現(xiàn)了一個(gè)補(bǔ)維操作。這個(gè)補(bǔ)維操作就是基于原始數(shù)據(jù)提供的信息，通過(guò)查找其他數(shù)據(jù)源，得到缺失的信息，獲取完成后把這些內(nèi)容補(bǔ)充到原始數(shù)據(jù)上，并進(jìn)一步放入實(shí)時(shí)數(shù)據(jù)流，供后續(xù)的進(jìn)一步操作。
[0003]補(bǔ)維操作面臨的技術(shù)問(wèn)題就是實(shí)時(shí)處理必須在很短的時(shí)間內(nèi)完成，所以補(bǔ)維操作能夠占用的時(shí)間有限，必須在毫秒或者秒級(jí)時(shí)間內(nèi)完成。而查詢外部數(shù)據(jù)源(比如運(yùn)維CMDB)往往耗時(shí)比較長(zhǎng)，會(huì)影響這個(gè)實(shí)時(shí)處理的效率。關(guān)于提升補(bǔ)維操作效率的解決辦法，比較常用的辦法就是把這個(gè)關(guān)系緩存到一張單獨(dú)的表格中，在補(bǔ)維操作中，就查詢這個(gè)緩存的表格快速找到補(bǔ)維需要的信息。這種方案的一個(gè)缺陷就是如果這種外部數(shù)據(jù)本身就是動(dòng)態(tài)的，會(huì)發(fā)生變化，原始的緩存機(jī)制就會(huì)出現(xiàn)問(wèn)題，因?yàn)閿?shù)據(jù)本身不準(zhǔn)確了。
技術(shù)實(shí)現(xiàn)思路
[0004]本專利技術(shù)的目的是克服了上述現(xiàn)有技術(shù)的缺點(diǎn)，提供了一種滿足補(bǔ)維速度快、準(zhǔn)確度高、適用范圍較為廣泛的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法、裝置、處理器及其計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
[0005]為了實(shí)現(xiàn)上述目的，本專利技術(shù)的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法、裝置、處理器及其計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)如下：
[0006]該基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法，其主要特點(diǎn)是，所述的方法包括以下步驟：
[0007](1)搭建動(dòng)態(tài)補(bǔ)維系統(tǒng)，所述的動(dòng)態(tài)補(bǔ)維系統(tǒng)包括原始數(shù)據(jù)源、補(bǔ)維數(shù)據(jù)緩存、補(bǔ)維操作模塊和實(shí)時(shí)處理數(shù)據(jù)流，所述的補(bǔ)維數(shù)據(jù)緩存包括補(bǔ)維相關(guān)緩存數(shù)據(jù)、污染標(biāo)識(shí)模塊和污染時(shí)間；
[0008](2)根據(jù)動(dòng)態(tài)補(bǔ)維系統(tǒng)進(jìn)行補(bǔ)維，補(bǔ)維操作模塊獲取實(shí)時(shí)處理數(shù)據(jù)流內(nèi)的數(shù)據(jù)，根據(jù)獲取的數(shù)據(jù)查找補(bǔ)維數(shù)據(jù)緩存，若補(bǔ)維數(shù)據(jù)緩存命中且沒(méi)有被污染，則繼續(xù)步驟(3)；若緩存沒(méi)有命中，則繼續(xù)步驟(4)；若緩存命中且污染標(biāo)識(shí)模塊指示數(shù)據(jù)被污染，則繼續(xù)步驟(5)；
[0009](3)補(bǔ)維操作模塊根據(jù)補(bǔ)維相關(guān)數(shù)據(jù)完成補(bǔ)維操作并將結(jié)果放入實(shí)時(shí)處理數(shù)據(jù)流；
[0010](4)將數(shù)據(jù)放入待補(bǔ)維隊(duì)列，設(shè)置待補(bǔ)維處理模塊監(jiān)控所述的待補(bǔ)維隊(duì)列，若待補(bǔ)維隊(duì)列內(nèi)有數(shù)據(jù)，則待補(bǔ)維處理模塊對(duì)數(shù)據(jù)進(jìn)行處理；
[0011](5)查找補(bǔ)維策略，根據(jù)補(bǔ)維策略進(jìn)行補(bǔ)維處理。
[0012]較佳地，所述的步驟(4)的待補(bǔ)維處理模塊對(duì)數(shù)據(jù)進(jìn)行處理的步驟具體包括以下處理過(guò)程：
[0013]根據(jù)數(shù)據(jù)查詢?cè)紨?shù)據(jù)源內(nèi)的相關(guān)數(shù)據(jù)，完成補(bǔ)維并將結(jié)果放入所述實(shí)時(shí)處理數(shù)據(jù)流，若所述原始數(shù)據(jù)源內(nèi)沒(méi)有相關(guān)數(shù)據(jù)，則將該數(shù)據(jù)加入所述補(bǔ)維數(shù)據(jù)緩存中補(bǔ)維相關(guān)緩存數(shù)據(jù)內(nèi)。
[0014]較佳地，所述的步驟(5)中的補(bǔ)維策略包括速度優(yōu)先和準(zhǔn)確度優(yōu)先，如果補(bǔ)維策略為速度優(yōu)先，則使用被污染的數(shù)據(jù)進(jìn)行補(bǔ)維；如果補(bǔ)維策略為準(zhǔn)確度優(yōu)先，則繼續(xù)步驟(4)。
[0015]較佳地，所述的步驟(5)中的補(bǔ)維策略還包括判斷時(shí)間t內(nèi)的數(shù)據(jù)速度優(yōu)先的策略，若污染時(shí)間在判斷時(shí)間t內(nèi)，則使用被污染的數(shù)據(jù)進(jìn)行補(bǔ)維，否則繼續(xù)步驟(4)。
[0016]較佳地，所述的步驟(1)的污染標(biāo)識(shí)模塊內(nèi)包含污染標(biāo)識(shí)信息，根據(jù)補(bǔ)維相關(guān)緩存數(shù)據(jù)與原始數(shù)據(jù)源是否發(fā)生變化來(lái)進(jìn)行判斷，所述的污染標(biāo)識(shí)信息包括已經(jīng)污染和沒(méi)有污染。
[0017]較佳地，所述的動(dòng)態(tài)補(bǔ)維系統(tǒng)還包括監(jiān)控模塊，用于監(jiān)控原始數(shù)據(jù)源的變更。
[0018]較佳地，在原始數(shù)據(jù)源發(fā)生變化時(shí)，監(jiān)控模塊將補(bǔ)維數(shù)據(jù)緩存中對(duì)應(yīng)補(bǔ)維相關(guān)緩存數(shù)據(jù)的污染標(biāo)識(shí)模塊進(jìn)行刷新，如果污染標(biāo)識(shí)模塊內(nèi)的污染標(biāo)識(shí)信息為已經(jīng)污染，則不作操作；如果污染標(biāo)識(shí)信息為沒(méi)有污染，則改變污染標(biāo)識(shí)信息為已經(jīng)污染，并記錄改變時(shí)間形成污染時(shí)間。
[0019]該用于實(shí)現(xiàn)基于動(dòng)態(tài)優(yōu)先級(jí)的高速數(shù)據(jù)補(bǔ)維處理的裝置，其主要特點(diǎn)是，所述的裝置包括：
[0020]處理器，被配置成執(zhí)行計(jì)算機(jī)可執(zhí)行指令；
[0021]存儲(chǔ)器，存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)可執(zhí)行指令，所述的計(jì)算機(jī)可執(zhí)行指令被所述的處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法的各個(gè)步驟。
[0022]該用于實(shí)現(xiàn)基于動(dòng)態(tài)優(yōu)先級(jí)的高速數(shù)據(jù)補(bǔ)維處理的處理器，其主要特點(diǎn)是，所述的處理器被配置成執(zhí)行計(jì)算機(jī)可執(zhí)行指令，所述的計(jì)算機(jī)可執(zhí)行指令被所述的處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法的各個(gè)步驟。
[0023]該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其主要特點(diǎn)是，其上存儲(chǔ)有計(jì)算機(jī)程序，所述的計(jì)算機(jī)程序可被處理器執(zhí)行以實(shí)現(xiàn)上述的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法的各個(gè)步驟。
[0024]采用了本專利技術(shù)的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法、裝置、處理器及其計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，在保留緩存機(jī)制的前提下，能夠動(dòng)態(tài)進(jìn)行緩存刷新，對(duì)于依賴刷新后的數(shù)據(jù)的補(bǔ)維操作，通過(guò)單獨(dú)的待補(bǔ)維隊(duì)列，不阻擋后續(xù)其他數(shù)據(jù)流操作的前提下實(shí)時(shí)刷新緩存，提高補(bǔ)維效率，同時(shí)保證補(bǔ)維準(zhǔn)確度。并且，本專利技術(shù)的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)的高速數(shù)據(jù)補(bǔ)維的方法提供了一種靈活的機(jī)制，可以支持實(shí)時(shí)要求高到數(shù)據(jù)準(zhǔn)確性要求高的不同策略。
附圖說(shuō)明
[0025]圖1為本專利技術(shù)的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法的。
具體實(shí)施方式
[0026]為了能夠更清楚地描述本專利技術(shù)的
技術(shù)實(shí)現(xiàn)思路
，下面結(jié)合具體實(shí)施例來(lái)進(jìn)行進(jìn)一步的描述。
[0027]本專利技術(shù)的該基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法，其中包括以下步驟：
[0028](1)搭建動(dòng)態(tài)補(bǔ)維系統(tǒng)，所述的動(dòng)態(tài)補(bǔ)維系統(tǒng)包括原始數(shù)據(jù)源、補(bǔ)維數(shù)據(jù)緩存、補(bǔ)維操作模塊和實(shí)時(shí)處理數(shù)據(jù)流，所述的補(bǔ)維數(shù)據(jù)緩存包括補(bǔ)維相關(guān)緩存數(shù)據(jù)、污染標(biāo)識(shí)模塊和污染時(shí)間；
[0029](2)根據(jù)動(dòng)態(tài)補(bǔ)維系統(tǒng)進(jìn)行補(bǔ)維，補(bǔ)維操作模塊獲取實(shí)時(shí)處理數(shù)據(jù)流內(nèi)的數(shù)據(jù)，根據(jù)獲取的數(shù)據(jù)查找補(bǔ)維數(shù)據(jù)緩存，若補(bǔ)維數(shù)據(jù)緩存命中且沒(méi)有被污染，則繼續(xù)步驟(3)；若緩存沒(méi)有命中，則繼續(xù)步驟(4)；若緩存命中且污染標(biāo)識(shí)模塊指示數(shù)據(jù)被污染，則繼續(xù)步驟(5)；
[0030](3)補(bǔ)維操作模塊根據(jù)補(bǔ)維相關(guān)數(shù)據(jù)完成補(bǔ)維操作并將結(jié)果放入實(shí)時(shí)處理數(shù)據(jù)流；
[0031](4)將數(shù)據(jù)放入待補(bǔ)維隊(duì)列，設(shè)置待補(bǔ)維處理模塊監(jiān)控所述的待補(bǔ)維隊(duì)列，若待補(bǔ)維隊(duì)列內(nèi)有數(shù)據(jù)，則待補(bǔ)維處理模塊對(duì)數(shù)據(jù)進(jìn)行處理；
[0032](5)查找補(bǔ)維策略，根據(jù)補(bǔ)維策略進(jìn)行補(bǔ)維處理。
[0033]作為本專利技術(shù)的優(yōu)選實(shí)施方式，所述的步驟(4)的待補(bǔ)維處理模塊對(duì)數(shù)據(jù)進(jìn)行處理的步驟具體包括以下處理過(guò)程：
[0034]根據(jù)數(shù)據(jù)查詢?cè)紨?shù)據(jù)源內(nèi)的相關(guān)數(shù)據(jù)，完成補(bǔ)維并將結(jié)果放入所述實(shí)時(shí)處理數(shù)據(jù)流本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法，其特征在于，所述的方法包括以下步驟：(1)搭建動(dòng)態(tài)補(bǔ)維系統(tǒng)，所述的動(dòng)態(tài)補(bǔ)維系統(tǒng)包括原始數(shù)據(jù)源、補(bǔ)維數(shù)據(jù)緩存、補(bǔ)維操作模塊和實(shí)時(shí)處理數(shù)據(jù)流，所述的補(bǔ)維數(shù)據(jù)緩存包括補(bǔ)維相關(guān)緩存數(shù)據(jù)、污染標(biāo)識(shí)模塊和污染時(shí)間；(2)根據(jù)動(dòng)態(tài)補(bǔ)維系統(tǒng)進(jìn)行補(bǔ)維，補(bǔ)維操作模塊獲取實(shí)時(shí)處理數(shù)據(jù)流內(nèi)的數(shù)據(jù)，根據(jù)獲取的數(shù)據(jù)查找補(bǔ)維數(shù)據(jù)緩存，若補(bǔ)維數(shù)據(jù)緩存命中且沒(méi)有被污染，則繼續(xù)步驟(3)；若緩存沒(méi)有命中，則繼續(xù)步驟(4)；若緩存命中且污染標(biāo)識(shí)模塊指示數(shù)據(jù)被污染，則繼續(xù)步驟(5)；(3)補(bǔ)維操作模塊根據(jù)補(bǔ)維相關(guān)數(shù)據(jù)完成補(bǔ)維操作并將結(jié)果放入實(shí)時(shí)處理數(shù)據(jù)流；(4)將數(shù)據(jù)放入待補(bǔ)維隊(duì)列，設(shè)置待補(bǔ)維處理模塊監(jiān)控所述的待補(bǔ)維隊(duì)列，若待補(bǔ)維隊(duì)列內(nèi)有數(shù)據(jù)，則待補(bǔ)維處理模塊對(duì)數(shù)據(jù)進(jìn)行處理；(5)查找補(bǔ)維策略，根據(jù)補(bǔ)維策略進(jìn)行補(bǔ)維處理。2.根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法，其特征在于，所述的步驟(4)的待補(bǔ)維處理模塊對(duì)數(shù)據(jù)進(jìn)行處理的步驟具體包括以下處理過(guò)程：根據(jù)數(shù)據(jù)查詢?cè)紨?shù)據(jù)源內(nèi)的相關(guān)數(shù)據(jù)，完成補(bǔ)維并將結(jié)果放入所述實(shí)時(shí)處理數(shù)據(jù)流，若所述原始數(shù)據(jù)源內(nèi)沒(méi)有相關(guān)數(shù)據(jù)，則將該數(shù)據(jù)加入所述補(bǔ)維數(shù)據(jù)緩存中補(bǔ)維相關(guān)緩存數(shù)據(jù)內(nèi)。3.根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法，其特征在于，所述的步驟(5)中的補(bǔ)維策略包括速度優(yōu)先和準(zhǔn)確度優(yōu)先，如果補(bǔ)維策略為速度優(yōu)先，則使用被污染的數(shù)據(jù)進(jìn)行補(bǔ)維；如果補(bǔ)維策略為準(zhǔn)確度優(yōu)先，則繼續(xù)步驟(4)。4.根據(jù)權(quán)利要求3所述的基于動(dòng)態(tài)優(yōu)先級(jí)實(shí)現(xiàn)高速數(shù)據(jù)補(bǔ)維處理的方法，其特征在于，所述的步驟(5)中的補(bǔ)維策略還包括判斷時(shí)間t內(nèi)的數(shù)據(jù)速度優(yōu)先的策略，若污染時(shí)間在判斷時(shí)間t內(nèi)，則使...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：俞楓，曾宏祥，毛夢(mèng)非，王廈，馮一欣，吳康，葉璞鈺，朱曉云，
申請(qǐng)(專利權(quán))人：國(guó)泰君安證券股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。