【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及vr顯示控制，尤其涉及l(fā)be增強型多模態(tài)感知交互vr顯示控制方法及系統(tǒng)。
技術(shù)介紹
1、在基于位置娛樂（lbe）的大空間場景中，vr交互為用戶提供了沉浸式體驗。然而，當前的技術(shù)發(fā)展仍面臨多模態(tài)數(shù)據(jù)融合困難、虛擬與物理空間映射不精準、交互響應(yīng)靈敏度不足以及活動范圍管理靜態(tài)化等挑戰(zhàn)。首先，vr交互需要采集用戶的多模態(tài)數(shù)據(jù)，包括位置數(shù)據(jù)、動作數(shù)據(jù)、語音數(shù)據(jù)和觸覺反饋數(shù)據(jù)，但由于不同模態(tài)數(shù)據(jù)的時間軸、格式和特征維度不一致，導致多模態(tài)融合復雜且實時性較差。其次，在大空間場景中，現(xiàn)有技術(shù)難以基于用戶的實時運動軌跡動態(tài)調(diào)整虛擬環(huán)境的活動范圍，虛擬空間與物理空間的不匹配可能帶來交互不流暢及用戶安全風險。此外，設(shè)備的響應(yīng)靈敏度通常固定，缺乏基于用戶行為、情緒和生理反饋的動態(tài)適配機制，用戶在緊張或疲勞狀態(tài)下可能體驗不佳。最后，傳統(tǒng)的活動范圍管理方式基于靜態(tài)邊界模型，難以適應(yīng)用戶行為的實時變化，限制了交互自由度和精準性。因此，迫切需要一種能夠融合多模態(tài)數(shù)據(jù)、實現(xiàn)虛擬與物理空間精準映射、并優(yōu)化設(shè)備動態(tài)響應(yīng)的vr交互控制方法，以解決現(xiàn)有技術(shù)中的痛點，提升用戶體驗和交互效率。
2、例如授權(quán)公告號為cn109874003b的中國專利公開了vr顯示控制方法、vr顯示控制裝置和顯示裝置，該vr顯示控制方法包括：獲取用戶的動作信息；根據(jù)所述動作信息對圖像數(shù)據(jù)進行渲染，其中，從獲取用戶的動作信息的起始時刻到根據(jù)所述動作信息對圖像進行渲染的起始時刻的時長為預設(shè)時長；根據(jù)渲染后的圖像數(shù)據(jù)進行顯示；其中，當距離顯示下一幀圖像的時長為所述預設(shè)時長時
3、以上現(xiàn)有技術(shù)存在本
技術(shù)介紹
提出的問題：難以滿足大空間場景下vr交互對精準性、靈活性和沉浸感的要求，為解決以上問題，本申請?zhí)峁┝薼be增強型多模態(tài)感知交互vr顯示控制方法及系統(tǒng)。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供了lbe增強型多模態(tài)感知交互vr顯示控制方法及系統(tǒng)，通過vr頭顯設(shè)備和手部控制器采集用戶的多模態(tài)感知數(shù)據(jù)，采用卡爾曼濾波算法對位置數(shù)據(jù)與動作數(shù)據(jù)進行融合，計算用戶的連續(xù)運動軌跡，并基于連續(xù)運動軌跡動態(tài)調(diào)整活動范圍，生成方向性動態(tài)范圍。對多模態(tài)數(shù)據(jù)進行同步、特征提取和加權(quán)融合處理，生成交互狀態(tài)向量。根據(jù)交互狀態(tài)向量分析用戶的實時行為、動作意圖和生理反饋，判斷用戶的操作靈敏度和情緒狀態(tài)，動態(tài)調(diào)整vr設(shè)備的響應(yīng)參數(shù)。
2、為實現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：
3、lbe增強型多模態(tài)感知交互vr顯示控制方法，應(yīng)用于大空間場景下的vr交互設(shè)備，所述vr交互設(shè)備包括一實時顯示的vr頭顯設(shè)備和配套于所述vr頭顯設(shè)備的手部控制器，所述vr頭顯設(shè)備配置有空間定位傳感器、語音設(shè)備和視覺傳感器，所述手部控制器配置有動作捕捉傳感器和觸覺反饋設(shè)備，所述方法包括：
4、通過所述vr交互設(shè)備獲取用戶在大空間中的感知數(shù)據(jù)、位置數(shù)據(jù)和動作數(shù)據(jù)；
5、根據(jù)所述位置數(shù)據(jù)和動作數(shù)據(jù)進行定位，計算并調(diào)整活動范圍；
6、通過智能算法將感知數(shù)據(jù)和動作數(shù)據(jù)進行融合和同步處理，計算交互狀態(tài)向量；
7、根據(jù)所述交互狀態(tài)向量對實時行為和生理反饋進行分析，根據(jù)分析結(jié)果調(diào)整所述vr交互設(shè)備的響應(yīng)靈敏度。
8、所述根據(jù)所述位置數(shù)據(jù)和動作數(shù)據(jù)進行定位，包括：
9、通過所述vr頭顯設(shè)備上的空間定位傳感器，獲取用戶在物理空間中的位置數(shù)據(jù)，其中，所述位置數(shù)據(jù)包括當前位置坐標和相對位移信息；
10、通過所述手部控制器上的動作捕捉傳感器，獲取用戶的動作數(shù)據(jù)，其中，所述動作數(shù)據(jù)包括手部位置、方向、加速度和動作軌跡；
11、根據(jù)卡爾曼濾波算法，將所述位置數(shù)據(jù)和所述動作數(shù)據(jù)進行融合處理，計算用戶的連續(xù)運動軌跡，其中，所述連續(xù)運動軌跡包括當前位置、運動方向和運動速度。
12、所述卡爾曼濾波算法，包括：
13、初始化用戶的全局狀態(tài)參數(shù)，所述全局狀態(tài)參數(shù)包括用戶當前位置、運動速度、運動方向，以及位置數(shù)據(jù)和動作數(shù)據(jù)的噪聲協(xié)方差矩陣，其中，所述初始化依據(jù)vr頭顯設(shè)備的空間定位傳感器獲取的初始位置數(shù)據(jù)，設(shè)定全局位置基準，并以手部控制器獲取的初始動作數(shù)據(jù)設(shè)定局部運動參考；
14、根據(jù)所述全局狀態(tài)參數(shù)，構(gòu)建自適應(yīng)的狀態(tài)預測模型，所述狀態(tài)預測模型通過動態(tài)場景切換邏輯調(diào)整卡爾曼濾波的狀態(tài)轉(zhuǎn)移矩陣，所述動態(tài)場景切換邏輯包括：
15、根據(jù)所述全局狀態(tài)參數(shù)判斷用戶所處的場景，當用戶靜止時，以位置數(shù)據(jù)為參考，動作數(shù)據(jù)參與校正，當用戶移動或旋轉(zhuǎn)時，以動作數(shù)據(jù)提供方向和加速度的動態(tài)更新，位置數(shù)據(jù)參與漂移修正；
16、根據(jù)所述狀態(tài)轉(zhuǎn)移矩陣評估預測狀態(tài)與實際測量值之間的誤差，根據(jù)誤差對所述噪聲協(xié)方差矩陣進行補償，根據(jù)補償后的噪聲協(xié)方差矩陣，計算連續(xù)運動軌跡，所述連續(xù)運動軌跡的計算公式為：
17、，
18、其中，表示在k時刻對應(yīng)的用戶連續(xù)運動軌跡，表示在k-1時刻對應(yīng)的用戶連續(xù)運動軌跡，當k=1時，=0，表示基于噪聲協(xié)方差矩陣補償后的權(quán)重因子，表示根據(jù)動態(tài)場景切換邏輯調(diào)整的動作數(shù)據(jù)影響權(quán)重，表示在k時刻對應(yīng)的用戶位置向量，表示在k-1時刻對應(yīng)的用戶位置向量，其中，位置向量包括當前位置坐標、運動速度和方向，表示當前位置增量，表示加速度更新量。
19、所述計算并調(diào)整活動范圍，包括：
20、根據(jù)物理空間的實際邊界尺寸和虛擬環(huán)境中的交互需求，生成用戶活動范圍的初始邊界，其中，所述初始邊界包括動態(tài)中心點和范圍半徑；
21、根據(jù)用戶連續(xù)運動軌跡中的運動模式，調(diào)整用戶活動范圍的擴展與收縮比例；
22、以用戶連續(xù)運動軌跡中的當前位置作為新的活動范圍中心點，更新用戶活動范圍的中心位置，在中心位置上以運動方向和運動速度為基準，將用戶活動范圍邊界在第一運動方向上適當延展，并在其他運動方向上適當收縮，形成方向性動態(tài)范圍；
23、當用戶活動范圍邊界因調(diào)整而接觸到物理空間的實際邊界時，執(zhí)行沖突處理與范圍修正。
24、所述智能算法，包括：
25、對采集的感知數(shù)據(jù)和動作數(shù)據(jù)進行時間同步，對同步后的多模態(tài)數(shù)據(jù)進行噪聲過濾；
26、從視覺數(shù)據(jù)中提取用戶視線方向的角度變化和注視焦點區(qū)域，通過編碼轉(zhuǎn)化為關(guān)注區(qū)域，通過軌跡分析提取動作數(shù)據(jù)的運動速度、方向變化和動作幅度，編碼為行為特征，通過語音數(shù)據(jù)提取語音信息，并結(jié)合語音信息分析情緒特征，從觸覺反饋數(shù)據(jù)中提取反饋強度變化特征；
27、構(gòu)建特征融合網(wǎng)絡(luò)，將所述關(guān)注區(qū)域、行為特征、情緒特征和反饋強度變化特征作為所述特征融合網(wǎng)絡(luò)的輸本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.LBE增強型多模態(tài)感知交互VR顯示控制方法，應(yīng)用于空間場景下的VR交互設(shè)備，所述VR交互設(shè)備包括一實時顯示的VR頭顯設(shè)備和配套于所述VR頭顯設(shè)備的手部控制器，所述VR頭顯設(shè)備配置有空間定位傳感器、語音設(shè)備和視覺傳感器，所述手部控制器配置有動作捕捉傳感器和觸覺反饋設(shè)備，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述LBE增強型多模態(tài)感知交互VR顯示控制方法，其特征在于，所述根據(jù)所述位置數(shù)據(jù)和動作數(shù)據(jù)進行定位，包括：
3.根據(jù)權(quán)利要求2所述LBE增強型多模態(tài)感知交互VR顯示控制方法，其特征在于，所述卡爾曼濾波算法，包括：
4.根據(jù)權(quán)利要求3所述LBE增強型多模態(tài)感知交互VR顯示控制方法，其特征在于，所述計算并調(diào)整活動范圍，包括：
5.根據(jù)權(quán)利要求1所述LBE增強型多模態(tài)感知交互VR顯示控制方法，其特征在于，所述智能算法，包括：
6.根據(jù)權(quán)利要求5所述LBE增強型多模態(tài)感知交互VR顯示控制方法，其特征在于，所述通過語音數(shù)據(jù)提取語音信息，包括：
7.根據(jù)權(quán)利要求6所述LBE增強型多模態(tài)感知交互VR顯示控制方法
8.根據(jù)權(quán)利要求7所述LBE增強型多模態(tài)感知交互VR顯示控制方法，其特征在于，所述對實時行為和生理反饋進行分析，包括：
9.LBE增強型多模態(tài)感知交互VR顯示控制系統(tǒng)，用于實現(xiàn)如權(quán)利要求1-8任一項所述的LBE增強型多模態(tài)感知交互VR顯示控制方法，其特征在于，所述系統(tǒng)包括數(shù)據(jù)采集模塊、范圍調(diào)整模塊、數(shù)據(jù)處理模塊和分析響應(yīng)模塊；
10.根據(jù)權(quán)利要求9所述LBE增強型多模態(tài)感知交互VR顯示控制系統(tǒng)，其特征在于，所述范圍調(diào)整模塊，包括：
...【技術(shù)特征摘要】
1.lbe增強型多模態(tài)感知交互vr顯示控制方法，應(yīng)用于空間場景下的vr交互設(shè)備，所述vr交互設(shè)備包括一實時顯示的vr頭顯設(shè)備和配套于所述vr頭顯設(shè)備的手部控制器，所述vr頭顯設(shè)備配置有空間定位傳感器、語音設(shè)備和視覺傳感器，所述手部控制器配置有動作捕捉傳感器和觸覺反饋設(shè)備，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述lbe增強型多模態(tài)感知交互vr顯示控制方法，其特征在于，所述根據(jù)所述位置數(shù)據(jù)和動作數(shù)據(jù)進行定位，包括：
3.根據(jù)權(quán)利要求2所述lbe增強型多模態(tài)感知交互vr顯示控制方法，其特征在于，所述卡爾曼濾波算法，包括：
4.根據(jù)權(quán)利要求3所述lbe增強型多模態(tài)感知交互vr顯示控制方法，其特征在于，所述計算并調(diào)整活動范圍，包括：
5.根據(jù)權(quán)利要求1所述lbe增強型多模態(tài)感知交互vr顯示控制方...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：高春軒，劉柏亨，王少雄，張子墨，徐瀾淇，蔣唯樂，石靖怡，
申請(專利權(quán))人：南京信息工程大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。