一種基于時序數(shù)據(jù)的快速檢索方法及裝置制造方法及圖紙

本發(fā)明專利技術公開了一種基于時序數(shù)據(jù)的快速檢索方法及裝置，所述快速檢索方法至少包括：S1：在數(shù)據(jù)存儲時，構造快速索引和全文索引，其中，快速索引被配置為能夠快速定位到全文索引的位置，全文索引被配置為定位到統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包；S2：在數(shù)據(jù)檢索時，先判斷快速索引中是否有索引，如果有索引，則找到對應的全文索引，接著根據(jù)全文索引中記錄的位置去讀取統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包。本發(fā)明專利技術方法先過濾掉無效的時間數(shù)據(jù)，減少無效數(shù)據(jù)的讀取；然后，根據(jù)記錄的全文索引，快速精確的讀取數(shù)據(jù)，避免讀取磁盤IO浪費；進而提高讀取數(shù)據(jù)的有效利用率。

【技術實現(xiàn)步驟摘要】
一種基于時序數(shù)據(jù)的快速檢索方法及裝置
本專利技術屬于數(shù)據(jù)存儲、檢索及網(wǎng)絡統(tǒng)計
，尤其涉及一種基于時序數(shù)據(jù)的快速檢索方法及裝置。
技術介紹
在網(wǎng)絡統(tǒng)計的工程中，會生成很多統(tǒng)計表，在對統(tǒng)計表查詢的過程中，分為全量的數(shù)據(jù)查詢和檢索數(shù)據(jù)。前者是查詢這個時間點統(tǒng)計表的所有數(shù)據(jù)，后者是檢索這個時間點統(tǒng)計表滿足一定條件的數(shù)據(jù)。比如，需要在某個時間點從IP會話表中檢索某個IP地址。當前通用的技術手段為：先遍歷時間，找到需要檢索的時間，接著從磁盤讀出對應時間的數(shù)據(jù)，然后根據(jù)檢索條件，過濾想要的數(shù)據(jù)。當前的方案中，也會有一些索引的構建。比如時間投影索引，通過時間投影索引，過濾掉無效的時間點，進而提升檢索性能。然而，現(xiàn)有技術存在一個非常致命的缺點，當數(shù)據(jù)量非常大時，數(shù)據(jù)檢索、讀取耗時嚴重，極大的影響工作效率。主要原因是數(shù)據(jù)量非常大時，遍歷數(shù)據(jù)耗時長且讀取到的數(shù)據(jù)往往不是想要檢索的數(shù)據(jù)，導致數(shù)據(jù)的有效利用率特別低。即使有了時間投影索引，也只能從時間級別過濾，而不能在一個時間點內(nèi)部進一步做到根據(jù)過濾器去讀取相關性強的數(shù)據(jù)。因此，亟需一種基于時序數(shù)據(jù)的快速檢索方法及裝置。
技術實現(xiàn)思路
本專利技術的目的在于，為克服現(xiàn)有技術缺陷，提供了一種基于時序數(shù)據(jù)的快速檢索方法及裝置，本專利技術方法先過濾掉無效的時間數(shù)據(jù)，減少無效數(shù)據(jù)的讀取；然后，根據(jù)記錄的全文索引，快速精確的讀取數(shù)據(jù)，避免讀取磁盤IO浪費；進而提高讀取數(shù)據(jù)的有效利用率。一方面，本專利技術公開了：一種基于時序數(shù)據(jù)的快速檢索方法，所述快速檢索方法至少包括：S1：在數(shù)據(jù)存儲時，構造快速索引和全文索引，其中，快速索引被配置為能夠快速定位到全文索引的位置，全文索引被配置為定位到統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包；S2：在數(shù)據(jù)檢索時，先判斷快速索引中是否有索引，如果有索引，則找到對應的全文索引，接著根據(jù)全文索引中記錄的位置去讀取統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包。根據(jù)一個優(yōu)選的實施方式，所述步驟S1中構造快速索引和全文索引的方法為：將存儲的數(shù)據(jù)按照離散的模式進行分組；將分組中數(shù)據(jù)的位置信息保存在對應的全文索引中；全文索引按照時間特征和/或數(shù)據(jù)大小特征進行聚合；存儲全文索引，將存儲位置更新到對應的快速索引。根據(jù)一個優(yōu)選的實施方式，所述快速索引為內(nèi)存數(shù)據(jù)。根據(jù)一個優(yōu)選的實施方式，所述全文索引為磁盤數(shù)據(jù)。根據(jù)一個優(yōu)選的實施方式，存儲的數(shù)據(jù)、快速索引和全文索引是基于時序數(shù)據(jù)設置。根據(jù)一個優(yōu)選的實施方式，所述全文索引包含鍵值對應的若干個時間的數(shù)據(jù)位置信息的聚合。另一方面，本專利技術還公開了：一種基于時序數(shù)據(jù)的快速檢索裝置，所述快速檢索裝置包括數(shù)據(jù)處理單元，所述數(shù)據(jù)處理單元被配置為按照前述快速檢索方法運行。前述本專利技術主方案及其各進一步選擇方案可以自由組合以形成多個方案，均為本專利技術可采用并要求保護的方案。本領域技術人員在了解本專利技術方案后根據(jù)現(xiàn)有技術和公知常識可明了有多種組合，均為本專利技術所要保護的技術方案，在此不做窮舉。本專利技術的有益效果：本專利技術技術方案比現(xiàn)有的技術的讀取的有效數(shù)據(jù)的利用率更高，可以非常精確地讀取想要的數(shù)據(jù)，而不是盲目的遍歷讀取所有或者大量的數(shù)據(jù)。并且，現(xiàn)有技術需要讀取所有的時間范圍，以及一個時間范圍內(nèi)的全量數(shù)據(jù)；而本專利技術只需讀取檢索條件存在的時間點，并且該時間點中滿足檢索條件的數(shù)據(jù)。附圖說明圖1是本專利技術快速檢索方法的原理圖。具體實施方式以下通過特定的具體實例說明本專利技術的實施方式，本領域技術人員可由本說明書所揭露的內(nèi)容輕易地了解本專利技術的其他優(yōu)點與功效。本專利技術還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節(jié)也可以基于不同觀點與應用，在沒有背離本專利技術的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。需要說明的是，為使本專利技術實施例的目的、技術方案和優(yōu)點更加清楚，下面對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。因此，以下對本專利技術的實施例的詳細描述并非旨在限制要求保護的本專利技術的范圍，而是僅僅表示本專利技術的選定實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。實施例1：參考圖1所示，本專利技術公開了一種基于時序數(shù)據(jù)的快速檢索方法，所述快速檢索方法至少包括如下步驟。步驟S1：在數(shù)據(jù)存儲時，構造快速索引和全文索引，其中，快速索引被配置為能夠快速定位到全文索引的位置，全文索引被配置為定位到統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包。步驟S2：在數(shù)據(jù)檢索時，先判斷快速索引中是否有索引，如果有索引，則找到對應的全文索引，接著根據(jù)全文索引中記錄的位置去讀取統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包。全文索引：IP會話表中包含大量以IP對為鍵值的IP會話數(shù)據(jù)，全文索引就是構建每個IP地址和這個IP地址關聯(lián)的所有IP會話位置的關系。快速索引：每次存一塊全文索引數(shù)據(jù)時，就會在內(nèi)存中構建一個IP分段和全文索引在磁盤中存儲位置的關系。優(yōu)選地，所述步驟S1中構造快速索引和全文索引的方法為：將存儲的數(shù)據(jù)按照離散的模式進行分組；將分組中數(shù)據(jù)的位置信息保存在對應的全文索引中；全文索引按照時間特征和/或數(shù)據(jù)大小特征進行聚合；存儲全文索引，將存儲位置更新到對應的快速索引。優(yōu)選地，存儲的數(shù)據(jù)、快速索引和全文索引是基于時序數(shù)據(jù)設置。即是，索引和數(shù)據(jù)都是時間有序。優(yōu)選地，所述快速索引為內(nèi)存數(shù)據(jù)。所述全文索引為磁盤數(shù)據(jù)。優(yōu)選地，所述快速索引可以快速定位到磁盤上對應的全文索引的位置。且快速索引可以提前過濾掉這段時間不存在的鍵值信息。優(yōu)選地，所述全文索引包含鍵值對應的若干個時間的數(shù)據(jù)位置信息的聚合。且全文索引的位置可以精確定位到對應的統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包。快速索引和/或全文索引中的數(shù)據(jù)可以定位到該鍵值在該時間點是否有數(shù)據(jù)；快速索引和/或全文索引中的數(shù)據(jù)可以定位到該鍵值對應的數(shù)據(jù)的精確位置。本專利技術方法先過濾掉無效的時間數(shù)據(jù)，減少無效數(shù)據(jù)的讀取；然后，根據(jù)記錄的全文索引，快速精確的讀取數(shù)據(jù)，避免讀取磁盤IO浪費；進而提高讀取數(shù)據(jù)的有效利用率。實施例2：在實施例1的基礎上，本專利技術還公開了一種基于時序數(shù)據(jù)的快速檢索裝置，所述快速檢索裝置包括數(shù)據(jù)處理單元。所述數(shù)據(jù)處理單元被配置為按照實施例1所述的快速檢索方法運行。本專利技術技術方案比現(xiàn)有的技術的讀取的有效數(shù)據(jù)的利用率更高，可以非常精確的去讀想要的數(shù)據(jù)，而不是盲目的讀所有或者大量的數(shù)據(jù)。并且，現(xiàn)有技術需要讀取所有的時間范圍，以及一個時間范圍內(nèi)的全量數(shù)據(jù)；而本專利技術只需讀取檢索條件存在的時間點，并且該時間點中滿足檢索條件的數(shù)據(jù)。前述本專利技術基本例及其各進一步選擇例可以自由組合以形成多個實施例，均為本專利技術可采用并要求保護的實施例。本專利技術方案中，各選擇例，與其他任何基本例和選擇例都可以進行任意組合。本領域技術人員可知有眾多組合。...

【技術保護點】
1.一種基于時序數(shù)據(jù)的快速檢索方法，其特征在于，所述快速檢索方法至少包括：/nS1：在數(shù)據(jù)存儲時，構造快速索引和全文索引，其中，快速索引被配置為能夠快速定位到全文索引的位置，全文索引被配置為定位到統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包；/nS2：在數(shù)據(jù)檢索時，先判斷快速索引中是否有索引，如果有索引，則找到對應的全文索引，接著根據(jù)全文索引中記錄的位置去讀取統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包。/n

【技術特征摘要】
1.一種基于時序數(shù)據(jù)的快速檢索方法，其特征在于，所述快速檢索方法至少包括：
S1：在數(shù)據(jù)存儲時，構造快速索引和全文索引，其中，快速索引被配置為能夠快速定位到全文索引的位置，全文索引被配置為定位到統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包；
S2：在數(shù)據(jù)檢索時，先判斷快速索引中是否有索引，如果有索引，則找到對應的全文索引，接著根據(jù)全文索引中記錄的位置去讀取統(tǒng)計數(shù)據(jù)或數(shù)據(jù)包。


2.如權利要求1所述的基于時序數(shù)據(jù)的快速檢索方法，其特征在于，所述步驟S1中構造快速索引和全文索引的方法為：將存儲的數(shù)據(jù)按照離散的模式進行分組；將分組中數(shù)據(jù)的位置信息保存在對應的全文索引中；全文索引按照時間特征和/或數(shù)據(jù)大小特征進行聚合；存儲全文索引，將存儲位置更新到對應的快速索引。
...

【專利技術屬性】
技術研發(fā)人員：張力，王勇，
申請(專利權)人：成都科來網(wǎng)絡技術有限公司，
類型：發(fā)明
國別省市：四川;51