【技術實現步驟摘要】
本申請屬于圖像處理，尤其涉及一種多模態眼動數據映射方法、裝置、邊緣計算設備及介質。
技術介紹
1、在多模態圖像處理領域，紅外圖像和可見光圖像的融合技術因其在獲取物體熱特性和顏色紋理細節方面的獨特優勢而備受關注。在眼動追蹤技術中，如何將眼動點從紅外圖像映射到可見光圖像，使得基于不同模態的數據能夠進行有效交互和應用，已成為研究的熱點。
2、相關技術中，多模態圖像融合技術主要集中在特征級別或像素級別的圖像融合，但尚缺乏一個有效的方法來將眼動數據從一個模態的圖像準確映射到另一個模態上，從而實現基于不同模態數據的有效互動。
技術實現思路
1、本申請旨在至少解決現有技術中存在的技術問題之一。為此，本申請提出一種多模態眼動數據映射方法、裝置、邊緣計算設備及介質，以降低不同模態圖像間的映射誤差，提高眼動數據映射的準確性。
2、第一方面，本申請提供了一種多模態眼動數據映射方法，包括：
3、獲取通過紅外攝像頭采集的紅外眼動圖像和通過可見光攝像頭采集的rgb目標圖像；所述紅外眼動圖像包括紅外圖像和眼動數據；
4、確定所述紅外眼動圖像中包括有眼動數據的第一紅外圖像分塊；
5、響應于所述第一紅外圖像分塊中的匹配點滿足預設條件，根據所述第一紅外圖像分塊計算所述紅外眼動圖像與所述rgb目標圖像的坐標映射關系；所述匹配點表示所述紅外眼動圖像與所述rgb目標圖像中具有相似特征的點；
6、根據所述坐標映射關系將所述眼動數據映射至所述rgb目標圖像
7、根據本申請的多模態眼動數據映射方法，通過獲取通過紅外攝像頭采集的紅外眼動圖像和通過可見光攝像頭采集的rgb目標圖像；所述紅外眼動圖像包括紅外圖像和眼動數據；確定所述紅外眼動圖像中包括有眼動數據的第一紅外圖像分塊；響應于所述第一紅外圖像分塊中的匹配點滿足預設條件，根據所述第一紅外圖像分塊計算所述紅外眼動圖像與所述rgb目標圖像的坐標映射關系；所述匹配點表示所述紅外眼動圖像與所述rgb目標圖像中具有相似特征的點；根據所述坐標映射關系將所述眼動數據映射至所述rgb目標圖像。本申請實施例通過獲取不同模態的紅外眼動圖像和rgb目標圖像，在包含眼動數據的紅外圖像分塊滿足預設的條件時計算紅外眼動圖像與rgb目標圖像之間的坐標映射關系，使得計算過程更加關注于圖像中與眼動數據相關的區域，而非整個紅外眼動圖像，減少了不同模態圖像之間的偏移，從而降低不同模態圖像間的映射誤差，提高眼動數據映射的準確性。
8、根據本申請的一個實施例，在獲取紅外眼動圖像中包括有眼動數據的第一紅外圖像分塊之前，包括：
9、將所述紅外眼動圖像和所述rgb目標圖像輸入至預設的多模態模型中，以便于所述多模態模型提取所述紅外眼動圖像和所述rgb目標圖像的特征點，并根據提取的特征點進行匹配；或者，對所述紅外眼動圖像和所述rgb目標圖像進行預處理，所述預處理包括去除所述紅外眼動圖像邊界的預設范圍內特征點，以及去除所述rgb目標圖像邊界的預設范圍內特征點，將預處理后的所述紅外眼動圖像和所述rgb目標圖像輸入至預設的多模態模型中，以便于所述多模態模型提取預處理后的所述紅外眼動圖像和所述rgb目標圖像的特征點，并根據提取的特征點進行匹配；
10、將匹配成功的特征點確定為匹配點。
11、在該實施例中，由于多模態模型能夠處理和分析來自不同模態的數據，通過多模態模型可以提取紅外眼動圖像和rgb目標圖像的跨模態共享特征，從而能夠在特征點匹配時提供更加準確的對應關系，提高跨模態特征點匹配的準確性。
12、在該實施例中，通過去除圖像邊界的預設范圍內特征點，可以減少由于圖像邊界區域可能存在的噪聲或不完整性對匹配精度的負面影響，使得更加專注于圖像中更穩定和信息豐富的區域，從而提高匹配的準確性。
13、根據本申請的一個實施例，所述多模態模型包括自注意力單元、交叉注意力單元和分類器；所述交叉注意力單元的輸入維度包括灰度通道維度；所述自注意力單元和交叉注意力單元用于提取所述紅外眼動圖像和所述rgb目標圖像的特征點，并計算所述紅外眼動圖像的特征點和所述rgb目標圖像的特征點的為匹配點的置信度，所述分類器用于在所述特征點為匹配點的置信度大于預設閾值的情況下，將所述特征點作為匹配點輸出。
14、在該實施例中，通過將交叉注意力單元的輸入維度設置為包括灰度通道維度，使得模型在特征提取過程中更多的關注圖像在溫度分布的特征而非色彩特征，從而提高紅外紅外眼動圖像的特征提取的準確性；通過自注意力機制計算特征點作為匹配點的置信度，當置信度超過預設閾值時，分類器可以控制模型停止推理，這些特征點被分類器識別并輸出為匹配點，不僅提高了匹配點識別的準確性，可以避免不必要的計算，減少計算資源的消耗。
15、根據本申請的一個實施例，所述紅外眼動圖像為目標視頻流中的視頻幀，所述方法還包括：
16、響應于所述紅外眼動圖像和所述rgb目標圖像匹配失敗，從所述目標視頻流中重新選擇視頻幀替換所述紅外眼動圖像和所述rgb目標圖像進行特征點匹配。
17、在該實施例中，通過當特征點匹配未能成功建立紅外眼動圖像與rgb目標圖像之間的準確對應關系時，能夠靈活地從連續的視頻流中選取新的視頻幀作為紅外眼動圖像，減少了因單次匹配失敗而導致的整個眼動追蹤過程的中斷風險，提高了系統的連續性。
18、根據本申請的一個實施例，從所述目標視頻流中重新選擇視頻幀替換所述紅外眼動圖像和所述rgb目標圖像進行特征點匹配，包括：
19、將所述目標視頻流中與所述紅外眼動圖像對應的視頻幀相鄰視頻幀或所述目標視頻流的其他視頻幀確定為重新選擇的視頻幀。
20、在該實施例中，通過在紅外眼動圖像與rgb目標圖像的特征點匹配失敗時，從目標視頻流中選擇與當前紅外眼動圖像相鄰的視頻幀作為替代，以此來重新進行特征點匹配，使得重新選擇的視頻幀還保持了時間上的連續性，或者選擇其他視頻幀作為替代，提高了眼動追蹤過程的穩定性和準確性。
21、根據本申請的一個實施例，所述方法還包括：
22、存儲所述多模態模型提取的所述rgb目標圖像的特征點；
23、從目標視頻流中重新選擇視頻幀替換所述紅外眼動圖像和所述rgb目標圖像進行特征點匹配，包括：
24、將經過替換的紅外眼動圖像輸入至預設的多模態模型中，以便于所述多模態模型提取所述紅外眼動圖像的特征點，并根據所述紅外眼動圖像的特征點和存儲的所述rgb目標圖像的特征點進行匹配。
25、在該實施例中，通過多模態模型提取rgb目標圖像的特征并進行存儲，其他視頻幀圖像再和該rgb目標圖像進行匹配時，可以調用該rgb目標圖像的特征點進行特征匹配，無需再重復提取rgb目標圖像的特征，提高了處理效率。
26、根據本申請的一個實施例，所述確定所述紅外眼動圖像中包括有眼動數據的第一紅外圖像分塊，包括：
27、確定所述眼動數據在所述紅外眼動圖像本文檔來自技高網...
【技術保護點】
1.一種多模態眼動數據映射方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，在確定所述紅外眼動圖像中包括有眼動數據的第一紅外圖像分塊之前，包括：
3.根據權利要求2所述的方法，其特征在于，所述多模態模型包括自注意力單元、交叉注意力單元和分類器；所述交叉注意力單元的輸入維度包括灰度通道維度；所述自注意力單元和交叉注意力單元用于提取所述紅外眼動圖像和所述RGB目標圖像的特征點，并計算所述紅外眼動圖像的特征點和所述RGB目標圖像的特征點的為匹配點的置信度，所述分類器用于在所述特征點為匹配點的置信度大于預設閾值的情況下，將所述特征點作為匹配點輸出。
4.根據權利要求2所述的方法，其特征在于，所述紅外眼動圖像為目標視頻流中的視頻幀，所述方法還包括：
5.根據權利要求4所述的方法，其特征在于，從所述目標視頻流中重新選擇視頻幀替換所述紅外眼動圖像和所述RGB目標圖像進行特征點匹配，包括：
6.根據權利要求4所述的方法，其特征在于，所述方法還包括：
7.根據權利要求1所述的方法，其特征在于，所述確定所述紅外
8.根據權利要求7所述的方法，其特征在于，所述根據所述眼動數據在所述紅外眼動圖像中的位置確定所述第一紅外圖像分塊，包括：
9.根據權利要求1所述的方法，其特征在于，
10.根據權利要求9所述的方法，其特征在于，所述獲取所述紅外眼動圖像中包括有所述眼動數據的第二紅外圖像分塊，包括：
11.根據權利要求1所述的方法，其特征在于，所述根據所述第一紅外圖像分塊計算所述紅外眼動圖像與所述RGB目標圖像的坐標映射關系，包括：
12.根據權利要求1所述的方法，其特征在于，所述方法還包括：
13.一種多模態眼動數據映射裝置，其特征在于，包括：
14.一種邊緣計算設備，其特征在于，包括處理器和存儲器，所述存儲器存儲可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如權利要求1至12任一項所述的多模態眼動數據映射方法。
15.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執行時實現如權利要求1至12任一項所述的多模態眼動數據映射方法。
...【技術特征摘要】
1.一種多模態眼動數據映射方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，在確定所述紅外眼動圖像中包括有眼動數據的第一紅外圖像分塊之前，包括：
3.根據權利要求2所述的方法，其特征在于，所述多模態模型包括自注意力單元、交叉注意力單元和分類器；所述交叉注意力單元的輸入維度包括灰度通道維度；所述自注意力單元和交叉注意力單元用于提取所述紅外眼動圖像和所述rgb目標圖像的特征點，并計算所述紅外眼動圖像的特征點和所述rgb目標圖像的特征點的為匹配點的置信度，所述分類器用于在所述特征點為匹配點的置信度大于預設閾值的情況下，將所述特征點作為匹配點輸出。
4.根據權利要求2所述的方法，其特征在于，所述紅外眼動圖像為目標視頻流中的視頻幀，所述方法還包括：
5.根據權利要求4所述的方法，其特征在于，從所述目標視頻流中重新選擇視頻幀替換所述紅外眼動圖像和所述rgb目標圖像進行特征點匹配，包括：
6.根據權利要求4所述的方法，其特征在于，所述方法還包括：
7.根據權利要求1所述的方法，其特征在于，所述確定所述紅外眼動圖像中包括有眼動數據的...
【專利技術屬性】
技術研發人員：請求不公布姓名，請求不公布姓名，請求不公布姓名，請求不公布姓名，
申請(專利權)人：北京津發科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。