【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及計(jì)算機(jī)，特別是涉及一種基于doris的數(shù)據(jù)搜索方法、系統(tǒng)和介質(zhì)。
技術(shù)介紹
1、doris作為目前mpp架構(gòu)的高性能、實(shí)時(shí)的分析型數(shù)據(jù)庫，查詢性能高效，亞秒級別響應(yīng)時(shí)間可返回海量數(shù)據(jù)下的查詢搜索結(jié)果，可實(shí)現(xiàn)海量數(shù)據(jù)的搜索。以往對數(shù)據(jù)的搜索大多基于elasticsearch搜索引擎進(jìn)行實(shí)現(xiàn)。
2、對于elasticsearch來說，只能針對于某特定的文章或者字段進(jìn)行搜索，將搜索結(jié)果直接返回特定條數(shù)，返回結(jié)果多響應(yīng)較慢，同時(shí)無法將搜索結(jié)果和時(shí)間過濾條件等進(jìn)行綁定，對于想要實(shí)現(xiàn)搜索某種實(shí)體的結(jié)果匹配是否在某時(shí)間段內(nèi)的軌跡表中出現(xiàn)是難以實(shí)現(xiàn)的。
3、目前針對相關(guān)技術(shù)中現(xiàn)有數(shù)據(jù)庫檢索方案存在檢索效果不佳的問題，尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、本申請實(shí)施例提供了一種基于doris的數(shù)據(jù)搜索方法、系統(tǒng)和介質(zhì)，以至少解決相關(guān)技術(shù)中現(xiàn)有數(shù)據(jù)庫檢索方案存在檢索效果不佳的問題。
2、第一方面，本申請實(shí)施例提供了一種基于doris的數(shù)據(jù)搜索方法，所述方法包括：
3、對doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行搜索，得到滿足預(yù)設(shè)條件的實(shí)體id以生成第一臨時(shí)表，其中，所述預(yù)設(shè)實(shí)體包括船舶、飛機(jī)和衛(wèi)星；
4、基于所述預(yù)設(shè)實(shí)體處于活躍狀態(tài)的事件時(shí)間，對doris數(shù)據(jù)庫中所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行搜索以生成第二臨時(shí)表；
5、對所述第一臨時(shí)表和所述第二臨時(shí)表進(jìn)行inner?join關(guān)聯(lián)，得到滿足所述預(yù)設(shè)條件和指定時(shí)間段
6、在其中一些實(shí)施例中，在對doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的數(shù)據(jù)進(jìn)行搜索之前，所述方法包括：
7、對所述預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行字段拼接，得到實(shí)體字段數(shù)據(jù)和；
8、對所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行全量聚合，得到第一全量聚合數(shù)據(jù)和第二全量聚合數(shù)據(jù)；
9、將所述靜態(tài)屬性數(shù)據(jù)、所述動(dòng)態(tài)軌跡數(shù)據(jù)、所述實(shí)體字段數(shù)據(jù)、所述第一全量聚合數(shù)據(jù)和所述第二全量聚合數(shù)據(jù)，存儲(chǔ)到doris數(shù)據(jù)庫中。
10、在其中一些實(shí)施例中，對所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行全量聚合，得到第一全量聚合數(shù)據(jù)包括：
11、對所述預(yù)設(shè)實(shí)體每天所產(chǎn)生的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行每小時(shí)的全量聚合，得到第一全量聚合數(shù)據(jù)，其中，所述第一全量聚合數(shù)據(jù)包括當(dāng)天0點(diǎn)至當(dāng)前聚合時(shí)間點(diǎn)內(nèi)每個(gè)預(yù)設(shè)實(shí)體的最后一條動(dòng)態(tài)軌跡數(shù)據(jù)。
12、在其中一些實(shí)施例中，對所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行全量聚合，得到第二全量聚合數(shù)據(jù)包括：
13、對所述預(yù)設(shè)實(shí)體每年所產(chǎn)生的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行每天的全量聚合，得到第二全量聚合數(shù)據(jù)，其中，所述第二全量聚合數(shù)據(jù)包括預(yù)設(shè)年份時(shí)間點(diǎn)至當(dāng)前聚合時(shí)間點(diǎn)內(nèi)每個(gè)預(yù)設(shè)實(shí)體的最后一條動(dòng)態(tài)軌跡數(shù)據(jù)。
14、在其中一些實(shí)施例中，在基于所述預(yù)設(shè)實(shí)體處于活躍狀態(tài)的事件時(shí)間，對doris數(shù)據(jù)庫中所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行搜索，得到第二臨時(shí)表之后，所述方法包括：
15、基于所述預(yù)設(shè)實(shí)體處于活躍狀態(tài)的事件時(shí)間，對doris數(shù)據(jù)庫中所述預(yù)設(shè)實(shí)體的第一全量聚合數(shù)據(jù)進(jìn)行搜索以生成第三臨時(shí)表；
16、基于所述預(yù)設(shè)實(shí)體處于活躍狀態(tài)的事件時(shí)間，對doris數(shù)據(jù)庫中所述預(yù)設(shè)實(shí)體的第二全量聚合數(shù)據(jù)進(jìn)行搜索以生成第四臨時(shí)表。
17、在其中一些實(shí)施例中，對所述第一臨時(shí)表和所述第二臨時(shí)表進(jìn)行inner?join關(guān)聯(lián)，得到滿足所述預(yù)設(shè)條件和指定時(shí)間段內(nèi)活躍過的目標(biāo)數(shù)據(jù)包括：
18、對所述第二臨時(shí)表、所述第三臨時(shí)表和所述第四臨時(shí)表進(jìn)行full?outer?join全外關(guān)聯(lián)，以生成第五臨時(shí)表；
19、對所述第一臨時(shí)表和所述第五臨時(shí)表進(jìn)行inner?join關(guān)聯(lián)，得到滿足所述預(yù)設(shè)條件和指定時(shí)間段內(nèi)活躍過的目標(biāo)數(shù)據(jù)。
20、在其中一些實(shí)施例中，對所述預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行字段拼接，得到實(shí)體字段數(shù)據(jù)包括：
21、對所述預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行字段拼接，得到實(shí)體字段數(shù)據(jù)，并為所述實(shí)體字段數(shù)據(jù)創(chuàng)建對應(yīng)的doris倒排索引。
22、在其中一些實(shí)施例中，對doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行搜索，得到滿足預(yù)設(shè)條件的實(shí)體id以生成第一臨時(shí)表包括：
23、通過doris倒排索引函數(shù)，對doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行搜索，得到滿足預(yù)設(shè)條件的實(shí)體id以生成第一臨時(shí)表。
24、第二方面，本申請實(shí)施例提供了一種基于doris的數(shù)據(jù)搜索系統(tǒng)，所述系統(tǒng)用于執(zhí)行上述第一方面任一項(xiàng)所述的方法，所述系統(tǒng)包括靜態(tài)數(shù)據(jù)檢索模塊、動(dòng)態(tài)數(shù)據(jù)檢索模塊和匹配關(guān)聯(lián)模塊；
25、所述靜態(tài)數(shù)據(jù)檢索模塊，用于對doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行搜索，得到滿足預(yù)設(shè)條件的實(shí)體id以生成第一臨時(shí)表，其中，所述預(yù)設(shè)實(shí)體包括船舶、飛機(jī)和衛(wèi)星；
26、所述動(dòng)態(tài)數(shù)據(jù)檢索模塊，用于根據(jù)所述預(yù)設(shè)實(shí)體處于活躍狀態(tài)的事件時(shí)間，對doris數(shù)據(jù)庫中所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行搜索以生成第二臨時(shí)表；
27、所述匹配關(guān)聯(lián)模塊，用于對所述第一臨時(shí)表和所述第二臨時(shí)表進(jìn)行inner?join關(guān)聯(lián)，得到滿足所述預(yù)設(shè)條件和指定時(shí)間段內(nèi)活躍過的目標(biāo)數(shù)據(jù)。
28、第三方面，本申請實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的方法。
29、相比于相關(guān)技術(shù)，本申請實(shí)施例提供的一種基于doris的數(shù)據(jù)搜索方法、系統(tǒng)和介質(zhì)，其中，該方法通過對doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行搜索，得到滿足預(yù)設(shè)條件的實(shí)體id以生成第一臨時(shí)表，其中，預(yù)設(shè)實(shí)體包括船舶、飛機(jī)和衛(wèi)星；基于預(yù)設(shè)實(shí)體處于活躍狀態(tài)的事件時(shí)間，對doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行搜索以生成第二臨時(shí)表；對第一臨時(shí)表和第二臨時(shí)表進(jìn)行inner?join關(guān)聯(lián)，得到滿足預(yù)設(shè)條件和指定時(shí)間段內(nèi)活躍過的目標(biāo)數(shù)據(jù)，實(shí)現(xiàn)了基于doris的數(shù)據(jù)搜索，不僅能夠從船舶、飛機(jī)等實(shí)體的靜態(tài)屬性數(shù)據(jù)搜索出需要的實(shí)體id等靜態(tài)字段，而且還能從實(shí)體關(guān)聯(lián)的動(dòng)態(tài)軌跡數(shù)據(jù)中取篩選出對應(yīng)的經(jīng)緯度等動(dòng)態(tài)字段，將符合要求的數(shù)據(jù)匹配關(guān)聯(lián)后全量返回，解決了現(xiàn)有數(shù)據(jù)庫檢索方案存在檢索效果不佳的問題。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于Doris的數(shù)據(jù)搜索方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在對Doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的數(shù)據(jù)進(jìn)行搜索之前，所述方法包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行全量聚合，得到第一全量聚合數(shù)據(jù)包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行全量聚合，得到第二全量聚合數(shù)據(jù)包括：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，在基于所述預(yù)設(shè)實(shí)體處于活躍狀態(tài)的事件時(shí)間，對Doris數(shù)據(jù)庫中所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行搜索，得到第二臨時(shí)表之后，所述方法包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，對所述第一臨時(shí)表和所述第二臨時(shí)表進(jìn)行Inner?join關(guān)聯(lián)，得到滿足所述預(yù)設(shè)條件和指定時(shí)間段內(nèi)活躍過的目標(biāo)數(shù)據(jù)包括：
7.根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述預(yù)設(shè)實(shí)體的靜態(tài)屬性數(shù)據(jù)進(jìn)行字段拼接，得到實(shí)體字段數(shù)據(jù)包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，對Doris數(shù)據(jù)庫中預(yù)設(shè)
9.一種基于Doris的數(shù)據(jù)搜索系統(tǒng)，其特征在于，所述系統(tǒng)用于執(zhí)行權(quán)利要求1至8任一項(xiàng)所述的方法，所述系統(tǒng)包括靜態(tài)數(shù)據(jù)檢索模塊、動(dòng)態(tài)數(shù)據(jù)檢索模塊和匹配關(guān)聯(lián)模塊；
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種基于doris的數(shù)據(jù)搜索方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在對doris數(shù)據(jù)庫中預(yù)設(shè)實(shí)體的數(shù)據(jù)進(jìn)行搜索之前，所述方法包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行全量聚合，得到第一全量聚合數(shù)據(jù)包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行全量聚合，得到第二全量聚合數(shù)據(jù)包括：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，在基于所述預(yù)設(shè)實(shí)體處于活躍狀態(tài)的事件時(shí)間，對doris數(shù)據(jù)庫中所述預(yù)設(shè)實(shí)體的動(dòng)態(tài)軌跡數(shù)據(jù)進(jìn)行搜索，得到第二臨時(shí)表之后，所述方法包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，對所述第一臨時(shí)表...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：丁串串，朱偉，石喬木，
申請(專利權(quán))人：杭州靖安防務(wù)科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。