System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及計算機,尤其涉及一種數據檢索方法、裝置、電子設備及可讀存儲介質。
技術介紹
1、隨著人工智能應用技術的迅速發展,向量和結構化數據融合檢索得到廣泛應用,幾乎涉及城市治理、校園、交通等眾多領域。
2、然而,目前基于單向量庫實例、單mongodb數據庫實例、單clickhouse數據庫實例進行數據檢索只能解決簡單場景應用,由于單庫部署擴展性通常有限,無法滿足萬級向量庫和多租戶高并發訪問的需求,因此,為了滿足不同用戶的檢索需求,需要根據客戶的性能需求分別單獨部署多套檢索系統,但這樣的部署方式維護成本較高,且針對復雜檢索需求,需要依次在多套檢索系統進行檢索,導致數據檢索的檢索效率較差。
技術實現思路
1、為克服相關技術中存在的問題,本專利技術提供了一種數據檢索方法、裝置、電子設備及可讀存儲介質。
2、第一方面,本專利技術提供了一種數據檢索方法,所述方法包括:
3、基于待檢索數據對應的特征查詢向量以及目標特征庫標識,構建目標檢索信息;
4、基于所述目標特征庫標識,確定所述目標特征庫標識對應的目標向量庫集群以及目標存儲數據庫;所述目標向量庫集群中包含n個向量數據庫,n大于等于1;
5、通過并發調用各所述向量數據庫對應的服務,使得各服務基于所述目標檢索信息,分別從各所述向量數據庫中獲取所述特征查詢向量對應的向量檢索結果;不同向量數據庫對應不同的服務;
6、基于各所述向量數據庫對應的向量檢索結果,在所述目標存儲數據
7、可選地,所述通過并發調用各所述向量數據庫對應的服務,使得各服務基于所述目標檢索信息,分別從各所述向量數據庫中獲取所述特征查詢向量對應的向量檢索結果,包括:
8、確定各所述向量數據庫對應的目標服務;
9、針對所述n個向量數據庫中的任一向量數據庫,通過所述向量數據庫對應的目標服務,基于所述目標特征庫標識對應的向量庫信息以及所述目標檢索信息中的檢索條件,對所述向量數據庫進行檢索,得到所述向量數據庫對應的第一向量檢索結果;
10、基于各所述向量數據庫對應的第一向量檢索結果,確定所述特征查詢向量對應的向量檢索結果。
11、可選地,在所述向量數據庫的類型為第一類型的情況下,所述基于所述目標特征庫標識對應的向量庫信息以及所述目標檢索信息中的檢索條件,對所述向量數據庫進行檢索,得到所述向量數據庫對應的第一向量檢索結果,包括:
12、獲取所述目標檢索信息中的向量庫信息以及檢索條件;;
13、基于所述向量庫信息、所述檢索條件以及所述特征查詢向量,在所述向量數據庫中獲取與所述特征查詢向量匹配的特征向量數據對應的向量索引以及各所述向量索引對應的相似度得分;
14、基于所述向量索引以及各所述向量索引對應的相似度得分,確定所述向量數據庫對應的第一向量檢索結果。
15、可選地,在所述向量數據庫的類型為第二類型的情況下,所述基于所述目標特征庫標識對應的向量庫信息以及所述目標檢索信息中的檢索條件,對所述向量數據庫進行檢索,得到所述向量數據庫對應的第一向量檢索結果,包括:
16、將所述向量數據庫中存儲的特征向量數據加載至目標內存;
17、獲取所述目標檢索信息中的向量庫信息以及檢索條件;;
18、基于所述向量庫信息、所述檢索條件以及所述特征查詢向量,確定所述特征查詢向量與所述目標內存中的各特征向量數據的余弦相似度分數,并基于所述余弦相似度分數,確定所述向量數據庫對應的第一向量檢索結果。
19、可選地,所述基于各所述向量數據庫對應的向量檢索結果,在所述目標存儲數據庫中獲取所述特征查詢向量對應的目標檢索結果,,包括:
20、基于所述目標存儲數據庫對應的元數據信息,確定目標檢索對象;
21、基于所述目標檢索對象以及所述目標存儲數據庫的數據庫類型,確定目標查詢語句;
22、基于所述向量檢索結果中的向量索引,通過所述目標查詢語句在所述目標存儲數據庫中獲取所述特征查詢向量對應的目標檢索結果。
23、可選地,所述方法還包括:
24、按照目標性能需求,從預設向量數據庫類型中確定所述向量數據庫的數據庫類型,以及,從預設存儲數據庫類型中確定所述存儲數據庫的數據庫類型;所述預設向量數據庫類型包括第一類型以及第二類型,所述預設存儲數據庫類型包括mongodb數據庫類型和clickhouse數據庫類型。
25、可選地,在所述目標檢索結果中包含關聯庫信息的情況下,所述方法還包括:
26、基于所述關聯庫信息,確定與所述特征查詢向量相關聯的關聯特征庫;
27、基于所述特征查詢向量,獲取在所述關聯特征庫對應的向量數據庫中查詢得到的向量檢索結果以及在所述關聯特征庫對應的存儲數據庫中的目標檢索結果。
28、第二方面,本專利技術提供了一種數據檢索裝置,所述裝置包括:
29、第一構建模塊,用于基于待檢索數據對應的特征查詢向量以及目標特征庫標識,構建目標檢索信息;
30、第一確定模塊,用于基于所述目標特征庫標識,確定所述目標特征庫標識對應的目標向量庫集群以及目標存儲數據庫;所述目標向量庫集群中包含n個向量數據庫,n大于等于1;
31、第一獲取模塊,用于通過并發調用各所述向量數據庫對應的服務,使得各服務基于所述目標檢索信息,分別從各所述向量數據庫中獲取所述特征查詢向量對應的向量檢索結果;不同向量數據庫對應不同的服務;
32、第二獲取模塊,用于基于各所述向量數據庫對應的向量檢索結果,在所述目標存儲數據庫中獲取所述特征查詢向量對應的目標檢索結果。
33、可選地,所述第一獲取模塊,包括:
34、第一確定子模塊,用于確定各所述向量數據庫對應的目標服務;
35、第一檢索模塊,用于針對所述n個向量數據庫中的任一向量數據庫,通過所述向量數據庫對應的目標服務,基于所述目標特征庫標識對應的向量庫信息以及所述目標檢索信息中的檢索條件,對所述向量數據庫進行檢索,得到所述向量數據庫對應的第一向量檢索結果;
36、第二確定子模塊,用于基于各所述向量數據庫對應的第一向量檢索結果,確定所述特征查詢向量對應的向量檢索結果。
37、可選地,在所述向量數據庫的類型為第一類型的情況下,所述第一檢索模塊包括:
38、第一獲取子模塊,用于獲取所述目標檢索信息中的向量庫信息以及檢索條件;
39、第二獲取子模塊,用于基于所述向量庫信息、所述檢索條件以及所述特征查詢向量,在所述向量數據庫中獲取與所述特征查詢向量匹配的特征向量數據對應的向量索引以及各所述向量索引對應的相似度得分;
40、第三確定子模塊,用于基于所述向量索引以及各所述向量索引對應的相似度得分,確定所述向量數據庫對應的第一向量檢索結果。
41、可選地,在所本文檔來自技高網...
【技術保護點】
1.一種數據檢索方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,所述通過并發調用各所述向量數據庫對應的服務,使得各服務基于所述目標檢索信息,分別從各所述向量數據庫中獲取所述特征查詢向量對應的向量檢索結果,包括:
3.根據權利要求2所述的方法,其特征在于,在所述向量數據庫的類型為第一類型的情況下,所述基于所述目標特征庫標識對應的向量庫信息以及所述目標檢索信息中的檢索條件,對所述向量數據庫進行檢索,得到所述向量數據庫對應的第一向量檢索結果,包括:
4.根據權利要求2所述的方法,其特征在于,在所述向量數據庫的類型為第二類型的情況下,所述基于所述目標特征庫標識對應的向量庫信息以及所述目標檢索信息中的檢索條件,對所述向量數據庫進行檢索,得到所述向量數據庫對應的第一向量檢索結果,包括:
5.根據權利要求1所述的方法,其特征在于,所述基于各所述向量數據庫對應的向量檢索結果,在所述目標存儲數據庫中獲取所述特征查詢向量對應的目標檢索結果,包括:
6.根據權利要求3-5任一所述的方法,其特征在于,所述方法還包括:
7.根據權利要求1所述的方法,其特征在于,在所述目標檢索結果中包含關聯庫信息的情況下,所述方法還包括:
8.一種數據檢索裝置,其特征在于,所述裝置包括:
9.一種電子設備,其特征在于,包括:
10.一種可讀存儲介質,其特征在于,當所述存儲介質中的指令由電子設備的處理器執行時,使得電子設備能夠執行權利要求1-7中任一所述的數據檢索方法。
...【技術特征摘要】
1.一種數據檢索方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,所述通過并發調用各所述向量數據庫對應的服務,使得各服務基于所述目標檢索信息,分別從各所述向量數據庫中獲取所述特征查詢向量對應的向量檢索結果,包括:
3.根據權利要求2所述的方法,其特征在于,在所述向量數據庫的類型為第一類型的情況下,所述基于所述目標特征庫標識對應的向量庫信息以及所述目標檢索信息中的檢索條件,對所述向量數據庫進行檢索,得到所述向量數據庫對應的第一向量檢索結果,包括:
4.根據權利要求2所述的方法,其特征在于,在所述向量數據庫的類型為第二類型的情況下,所述基于所述目標特征庫標識對應的向量庫信息以及所述目標檢索信息中的檢索條件,對所述向量數據庫進...
【專利技術屬性】
技術研發人員:龍云祥,
申請(專利權)人:中電信人工智能科技北京有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。