【技術實現(xiàn)步驟摘要】
本申請涉及客流分析，具體而言，涉及一種基于多模態(tài)大模型的客流分析方法、系統(tǒng)及服務器。
技術介紹
1、隨著城市化的高速發(fā)展，人員聚集場所的人員流轉效率及安全問題備受關注，如何合理有效地評估人員聚集場所的客流擁擠度，對保證人員的舒適出行具有重要意義。
2、現(xiàn)有的客流計算有兩種方案，一種是使用手機偵碼設備采集手機特征碼并進行統(tǒng)計，從而生成客流熱力圖。另一種是通過采集基站和熱成像設備采集人員流量數(shù)據(jù)。
3、但是，現(xiàn)有技術中采集手機特征這種方法過分依賴手機信號，客流熱力圖的準確度無法保證。通過采集基站和熱成像設備僅能采集人員流量數(shù)據(jù)，無法對客流狀態(tài)進行分析評估，拓展性差。
技術實現(xiàn)思路
1、本申請的目的在于，針對上述現(xiàn)有技術中的不足，提供一種基于多模態(tài)大模型的客流分析方法、系統(tǒng)及服務器，以解決現(xiàn)有技術中準確度差，且拓展性差的問題。
2、為實現(xiàn)上述目的，本申請采用的技術方案如下：
3、第一方面，本申請?zhí)峁┝艘环N基于多模態(tài)大模型的客流分析方法，應用于客流分析系統(tǒng)，所述客流分析系統(tǒng)包括服務端和客戶端，所述服務端部署有：流媒體服務、預先訓練得到的多模態(tài)大模型、消息傳輸服務以及大語言模型，所述方法包括：
4、通過所述流媒體服務實時獲取待分析的目標區(qū)域的視頻數(shù)據(jù)；
5、通過所述多模態(tài)大模型對所述視頻數(shù)據(jù)進行實時分析，生成實時分析結果，所述實時分析結果包括：對象位置結果、排隊檢測結果、逆行檢測結果及跌倒檢測結果；
6、通過
7、通過所述大語言模型從所述消息池中讀取所述實時分析結果，并根據(jù)所述客戶端發(fā)送的用戶提問信息、預設的接口信息、預設的提示信息及所述實時分析結果，生成所述用戶提問信息對應的答案信息，并通過所述消息傳輸服務將所述答案信息發(fā)送給所述客戶端進行展示，所述接口信息包括所述大語言模型待調用的分析算法的參數(shù)信息，所述提示信息包括所述分析算法的數(shù)據(jù)格式。
8、可選地，對所述視頻數(shù)據(jù)進行實時分析，生成實時分析結果，包括：
9、對所述視頻數(shù)據(jù)中的對象進行識別，確定初始位置結果，將初始位置結果轉換為所述對象位置結果，所述初始位置結果為采集坐標下的結果，所述對象位置結果為場景二維圖紙下的坐標；
10、根據(jù)所述視頻數(shù)據(jù)，對所述目標區(qū)域中預設排隊區(qū)域中的人員數(shù)量進行統(tǒng)計，根據(jù)統(tǒng)計結果和排隊閾值生成所述排隊檢測結果；
11、根據(jù)所述視頻數(shù)據(jù)，對所述目標區(qū)域中預設扶梯區(qū)域中人員的朝向、行進方向及預設扶梯方向進行判斷，并根據(jù)判斷結果生成所述逆行檢測結果；
12、對所述視頻數(shù)據(jù)中人員的位姿進行識別，并根據(jù)識別結果生成所述跌倒檢測結果。
13、可選地，所述將初始位置結果轉換為對象位置結果，包括：
14、獲取多個預設位置點在所述初始位置結果中對應的初始位置；
15、獲取各所述預設位置點對應的目標位置；
16、根據(jù)各所述預設位置點對應的初始位置以及各所述預設位置點對應的目標位置，確定坐標轉換信息；
17、根據(jù)所述坐標轉換信息對所述初始位置結果進行轉換，得到所述對象位置結果。
18、
19、可選地，所述多模態(tài)大模型的訓練過程包括：
20、將第一圖像樣本輸入初始圖像模型中，并將第一文本樣本輸入初始文本模型中，對所述初始圖像模型和所述初始文本模型進行對比訓練，得到目標圖像模型、目標文本模型以及所述目標文本模型的權值；
21、基于所述目標文本模型的權值建立初始微調模型，并將第一訓練樣本輸入所述初始微調模型中進行訓練，得到目標微調模型；
22、將第二訓練樣本分別輸入所述目標圖像模型、所述目標文本模型和目標微調模型，并分別輸出第一預測結果、第二預測結果和第三預測結果，所述第二訓練樣本包括第二圖像樣本、第二文字樣本及提示詞，并將所述第一預測結果、第二預測結果和第三預測結果輸入解碼器中，得到第四預測結果，根據(jù)所述第一預測結果、所述第二預測結果、所述第三預測結果以及所述第四預測結果，對所述目標圖像模型、所述目標文本模型、所述目標微調模型以及所述解碼器進行迭代修正，得到所述多模態(tài)大模型。
23、可選地，所述對所述初始圖像模型和所述初始文本模型進行對比訓練，得到目標圖像模型和所述目標文本模型，包括：
24、根據(jù)所述初始圖像模型輸出的圖像模型實際結果和所述初始文本模型輸出的文本模型實際結果進行交叉熵損失計算，得到損失信息；
25、根據(jù)所述損失信息對所述初始圖像模型及所述初始文本模型進行迭代修正，得到目標圖像模型和所述目標文本模型。
26、可選地，所述根據(jù)所述客戶端發(fā)送的用戶提問信息、預設的接口信息、預設的提示信息及所述實時分析結果，生成所述用戶提問信息對應的答案信息，包括：
27、基于所述用戶提問信息、所述接口信息和所述提示信息選擇多個接口中的目標接口；
28、調用所述目標接口，由所述目標接口執(zhí)行所述分析算法，以根據(jù)所述實時分析結果得到中間結果；
29、根據(jù)所述用戶提問信息、所述中間結果以及所述實時分析結果，提取得到所述答案信息。
30、可選地，所述方法還包括：
31、通過所述消息傳輸服務將所述實時分析結果發(fā)送到客戶端進行展示。
32、第二方面，本申請?zhí)峁┝艘环N客流分析系統(tǒng)，所述客流分析系統(tǒng)包括服務端和客戶端，所述服務端部署有：流媒體服務、預先訓練得到的多模態(tài)大模型、消息傳輸服務以及大語言模型：
33、所述服務端用于通過所述流媒體服務實時獲取待分析的目標區(qū)域的視頻數(shù)據(jù)；
34、所述服務端用于通過所述多模態(tài)大模型對所述視頻數(shù)據(jù)進行實時分析，生成實時分析結果，所述實時分析結果包括：對象位置結果、排隊檢測結果、逆行檢測結果及跌倒檢測結果；
35、所述服務端用于通過所述消息傳輸服務將所述實時分析結果發(fā)送到所述服務端的消息池；
36、所述服務端用于通過所述大語言模型從所述消息池中讀取所述實時分析結果，并根據(jù)所述客戶端發(fā)送的用戶提問信息、預設的接口信息、預設的提示信息及所述實時分析結果，生成所述用戶提問信息對應的答案信息，并通過所述消息傳輸服務將所述答案信息發(fā)送給所述客戶端進行展示，所述接口信息包括所述大語言模型待調用的分析算法的參數(shù)信息，所述提示信息包括所述分析算法的數(shù)據(jù)格式。
37、可選地，所述服務端用于對所述視頻數(shù)據(jù)中的對象進行識別，確定初始位置結果，將初始位置結果轉換為所述對象位置結果，所述初始位置結果為采集坐標下的結果，所述對象位置結果為場景二維圖紙下的坐標；
38、根據(jù)所述視頻數(shù)據(jù)，對所述目標區(qū)域中預設排隊區(qū)域中的人員數(shù)量進行統(tǒng)計，根據(jù)統(tǒng)計結果和排隊閾值生成所述排隊檢測結果；
39、根據(jù)所述視頻數(shù)據(jù)，對所述目標區(qū)域中預設扶梯區(qū)域中人員的朝向、行進方本文檔來自技高網(wǎng)...
【技術保護點】
1.一種基于多模態(tài)大模型的客流分析方法，其特征在于，應用于客流分析系統(tǒng)，所述客流分析系統(tǒng)包括服務端和客戶端，所述服務端部署有：流媒體服務、預先訓練得到的多模態(tài)大模型、消息傳輸服務以及大語言模型，所述方法包括：
2.根據(jù)權利要求1所述的基于多模態(tài)大模型的客流分析方法，其特征在于，對所述視頻數(shù)據(jù)進行實時分析，生成實時分析結果，包括：
3.根據(jù)權利要求2所述的基于多模態(tài)大模型的客流分析方法，其特征在于，所述將初始位置結果轉換為對象位置結果，包括：
4.根據(jù)權利要求1所述的基于多模態(tài)大模型的客流分析方法，其特征在于，所述多模態(tài)大模型的訓練過程包括：
5.根據(jù)權利要求4所述的基于多模態(tài)大模型的客流分析方法，其特征在于，所述對所述初始圖像模型和所述初始文本模型進行對比訓練，得到目標圖像模型和所述目標文本模型，包括：
6.根據(jù)權利要求1所述的基于多模態(tài)大模型的客流分析方法，其特征在于，所述根據(jù)所述客戶端發(fā)送的用戶提問信息、預設的接口信息、預設的提示信息及所述實時分析結果，生成所述用戶提問信息對應的答案信息，包括：
7.根據(jù)
8.一種客流分析系統(tǒng)，其特征在于，所述客流分析系統(tǒng)包括服務端和客戶端，所述服務端部署有：流媒體服務、預先訓練得到的多模態(tài)大模型、消息傳輸服務以及大語言模型：
9.一種服務器，其特征在于，包括：處理器和存儲器，所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令，當服務器運行時，所述處理器執(zhí)行所述機器可讀指令，以執(zhí)行如權利要求1至7任一所述的基于多模態(tài)大模型的客流分析方法的步驟。
10.一種計算機可讀存儲介質，其特征在于，該計算機可讀存儲介質上存儲有計算機程序，該計算機程序被處理器運行時執(zhí)行如權利要求1至7任一所述的基于多模態(tài)大模型的客流分析方法的步驟。
...【技術特征摘要】
1.一種基于多模態(tài)大模型的客流分析方法，其特征在于，應用于客流分析系統(tǒng)，所述客流分析系統(tǒng)包括服務端和客戶端，所述服務端部署有：流媒體服務、預先訓練得到的多模態(tài)大模型、消息傳輸服務以及大語言模型，所述方法包括：
2.根據(jù)權利要求1所述的基于多模態(tài)大模型的客流分析方法，其特征在于，對所述視頻數(shù)據(jù)進行實時分析，生成實時分析結果，包括：
3.根據(jù)權利要求2所述的基于多模態(tài)大模型的客流分析方法，其特征在于，所述將初始位置結果轉換為對象位置結果，包括：
4.根據(jù)權利要求1所述的基于多模態(tài)大模型的客流分析方法，其特征在于，所述多模態(tài)大模型的訓練過程包括：
5.根據(jù)權利要求4所述的基于多模態(tài)大模型的客流分析方法，其特征在于，所述對所述初始圖像模型和所述初始文本模型進行對比訓練，得到目標圖像模型和所述目標文本模型，包括：
6.根據(jù)權利要求1所述的基于多模態(tài)大模型的客流分析方法，...
【專利技術屬性】
技術研發(fā)人員：姜雪明，鐘超文，虞錦明，
申請(專利權)人：浙江中控信息產(chǎn)業(yè)股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。