【技術實現步驟摘要】
本申請屬于人機交互領域，更具體地，涉及一種基于多模態數據的人機交互系統效能評價方法及系統。
技術介紹
1、在操作系統中，人機交互技術扮演著至關重要的角色，它直接關系到用戶與計算機系統的溝通效率和用戶體驗。
2、隨著傳感器技術、智能計算技術、云計算和大數據等新興技術的發展，人機交互技術逐漸成為信息領域的重大課題之一，并朝著以人為本、增強體感、方便用戶的方向不斷發展。傳統的鼠標、鍵盤燈交互方式已經不能滿足新型、高效、便捷的人機交互需求，人與系統的自然高效互動、用戶意圖的準確理解等都有待解決。基于多模態數據的人機交互技術的興起進一步改善了人機交互的效率和友好性，綜合用戶的語音、表情、姿態、手勢、文字和手寫等信息，實現自然語言的人機交互、短語交互、體態語言和表情交互等，且當交互中出現不明確或二義性時，系統還會要求澄清或確認。
3、目前較為成熟的交互方式有語音識別交互、手勢控制、觸覺交互、眨眼檢測及眼跟蹤技術、人臉檢測及跟蹤等。隨著信息的動態融合與不斷發展，單一模式的人機交互方式不再滿足以人為中心的自然、和諧和高效的人機交互需求，越來越多的研究學者選用多種模態融合的方式。
4、當前人機交互技術的發展重點主要在多模態數據特征提取、數據融合以及用戶意圖推測等方面，對人機交互系統的技術評價主要側重于手勢、語音或眼動等單一方面的人機交互意圖預測準確率上，無法對人機交互系統效能做出全面、精確的評價。
技術實現思路
1、針對現有技術的缺陷，本申請的目的在于提供一種基于
2、為實現上述目的，第一方面，本申請提供了一種基于多模態數據的人機交互系統效能評價方法，包括以下步驟：
3、步驟s1：對各功能維度進行功能支持度分析，結合各功能維度的相對權重值，獲取人機交互系統的功能多樣性評價；
4、同時，計算人機交互系統的各功能維度對應的響應延遲，結合各項響應延遲指標的權重系數，獲取人機交互系統的敏捷度評價；
5、同時，計算人機交互系統的各功能維度對應的準確率，結合各項準確率指標的權重系數，獲取人機交互系統的準確性評價；
6、步驟s2：基于人機交互系統的功能多樣性評價、敏捷度評價和準確性評價，結合功能多樣性、敏捷度和準確性對應的評價權重系數，對基于多模態數據的人機交互系統效能進行總體評價；
7、其中，各功能維度至少包括眼動跟蹤功能、手勢識別功能、語音識別功能、肌電采集功能以及環境感知功能。
8、進一步優選地，相對權重值、響應延遲指標的權重系數、準確率指標的權重系數的獲取方法，具體包括以下步驟：
9、確定各功能維度指標因素的數量n，將n個指標因素中的每兩個功能支持度、響應延遲以及準確率分別進行重要性比較，構建功能支持度、響應延遲以及準確率對應的權重矩陣；
10、分別對功能支持度、響應延遲以及準確率對應的權重矩陣按列進行歸一化處理，再按行相加，得到功能支持度、響應延遲以及準確率對應的相加后的權重矩陣；
11、對功能支持度、響應延遲以及準確率對應的相加后的矩陣分別進行歸一化處理，得到各功能維度的相對權重值、響應延遲指標的權重系數、準確率指標的權重系數。
12、進一步優選地，眼動追蹤功能的指標因素包括注視時間獲取能力、視線移動距離檢測能力、瞳孔變化檢測能力和滯留時間獲取能力；手勢識別功能的指標因素包括手指移動路徑獲取能力、移動速度檢測能力、手勢形狀獲取能力和持續時間獲取能力；語音識別功能的指標因素包括音色獲取能力、音調獲取能力和語音分段能力；肌電采集功能的指標因素包括肌電信號獲取能力、神經傳導速度獲取能力和肌肉動態特性獲取能力；環境感知功能的指標因素包括溫度感知能力、聲音感知能力、光線感知能力和物體識別能力。
13、進一步優選地，各功能維度的功能支持度獲取方法為：
14、判斷人機交互系統是否具備各功能維度的指標因素，若具備則對應指標因素的支持系數為1，否則為0；將各功能維度中指標因素對應的支持系數求和，獲取各功能維度的功能支持度。
15、進一步優選地，步驟s2具體包括以下步驟：
16、將功能多樣性、敏捷度和準確性每兩項評價結果進行對比獲取相對重要性指標，構建功能多樣性、敏捷度和準確性的評價權重向量weight＝(weight1,weight2,weight3)，結合人機交互系統的功能多樣性評價、敏捷度評價和準確性評價的評價結果向量f＝(f1,f2,f3)t，對人機交互系統的效能進行總體評價
17、其中，weight1為功能多樣性的評價權重系數；weight2為敏捷度的評價權重系數；weight3為準確性的評價權重系數；f1為功能多樣性的評價結果；f2為敏捷度的評價結果；f3為準確性的評價結果；sj為功能維度j對應的功能支持度，wj為功能維度j對應的相對權重值；delayj為功能維度j對應的響應延遲指標，w'j為功能維度j對應的響應延遲指標的權重系數；accuj為功能維度j對應的準確率指標，w”j為功能維度j對應的準確率指標的權重系數；n為功能維度的總數。
18、第二方面，本申請提供了一種基于多模態數據的人機交互系統效能評價系統，包括：
19、功能多樣性評價模塊，用于對各功能維度進行功能支持度分析，結合各功能維度的相對權重值，獲取人機交互系統的功能多樣性評價；
20、敏捷度評價模塊，用于計算人機交互系統的各功能維度對應的響應延遲，結合各項響應延遲指標的權重系數，獲取人機交互系統的敏捷度評價；
21、準確性評價模塊，用于計算人機交互系統的功能維度對應的準確率，結合各項準確率指標的權重系數，獲取人機交互系統的準確性評價；
22、總體評價模塊，用于基于人機交互系統的功能多樣性評價、敏捷度評價和準確性評價，結合功能多樣性、敏捷度和準確性對應的評價權重系數，對基于多模態數據的人機交互系統效能進行總體評價；
23、其中，各功能維度至少包括眼動跟蹤功能、手勢識別功能、語音識別功能、肌電采集功能以及環境感知功能。
24、進一步優選地，功能多樣性評價模塊中包括第一權重獲取單元，用于確定各功能維度指標因素的數量n，將n個指標因素中的每兩個功能支持度進行重要性比較，構建功能支持度對應的權重矩陣；分別對功能支持度對應的權重矩陣按列進行歸一化處理，再按行相加，得到功能支持度對應的相加后的權重矩陣；對功能支持度對應的相加后的矩陣分別進行歸一化處理，得到各功能維度的相對權重值；
25、敏捷度評價模塊中包括第二權重獲取單元，用于確定各功能維度指標因素的數量n，將n個指標因素中的每兩個響應延遲進行重要性比較，構建響應延遲對應的權重矩陣；分別對響應延遲對應的權重矩陣按列進行歸一化處理，再按行相加，得到響應延遲相加后的權重矩陣；對響應延遲相加后的權重矩陣進行歸一化處理，本文檔來自技高網...
【技術保護點】
1.一種基于多模態數據的人機交互系統效能評價方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的人機交互系統效能評價方法，其特征在于，相對權重值、響應延遲指標的權重系數、準確率指標的權重系數的獲取方法，具體包括以下步驟：
3.根據權利要求2所述的人機交互系統效能評價方法，其特征在于，眼動追蹤功能的指標因素包括注視時間獲取能力、實現移動距離檢測能力、瞳孔變化檢測能力和滯留時間獲取能力；手勢識別功能的指標因素包括手指移動路徑獲取能力、移動速度檢測能力、手勢形狀獲取能力和持續時間獲取能力；語音識別功能的指標因素包括音色獲取能力、音調獲取能力和語音分段能力；肌電采集功能的指標因素包括肌電信號獲取能力、神經傳導速度獲取能力和肌肉動態特性獲取能力；環境感知功能的指標因素包括溫度感知能力、聲音感知能力、光線感知能力和物體識別能力。
4.根據權利要求2或3所述的人機交互系統效能評價方法，其特征在于，各功能維度的功能支持度獲取方法為：
5.根據權利要求1所述的人機交互系統效能評價方法，其特征在于，步驟S2具體包括以下步驟：
6.一種
7.根據權利要求6所述的人機交互系統效能評價系統，其特征在于，功能多樣性評價模塊中包括第一權重獲取單元，用于確定各功能維度指標因素的數量n，將n個指標因素中的每兩個功能支持度進行重要性比較，構建功能支持度對應的權重矩陣；分別對功能支持度對應的權重矩陣按列進行歸一化處理，再按行相加，得到功能支持度對應的相加后的權重矩陣；對功能支持度對應的相加后的矩陣分別進行歸一化處理，得到各功能維度的相對權重值；
8.根據權利要求7所述的人機交互系統效能評價系統，其特征在于，眼動追蹤功能的指標因素包括注視時間獲取能力、視線移動距離檢測能力、瞳孔變化檢測能力和滯留時間獲取能力；手勢識別功能的指標因素包括手指移動路徑獲取能力、移動速度檢測能力、手勢形狀獲取能力和持續時間獲取能力；語音識別功能的指標因素包括音色獲取能力、音調獲取能力和語音分段能力；肌電采集功能的指標因素包括肌電信號獲取能力、神經傳導速度獲取能力和肌肉動態特性獲取能力；環境感知功能的指標因素包括溫度感知能力、聲音感知能力、光線感知能力和物體識別能力。
9.根據權利要求8所述的人機交互系統效能評價系統，其特征在于，第一權重獲取單元中各功能維度的功能支持度獲取方法為：判斷人機交互系統是否具備各功能維度的指標因素，若具備則對應指標因素的支持系數為1，否則為0；將各功能維度中指標因素對應的支持系數求和，獲取各功能維度的功能支持度。
10.根據權利要求6所述的人機交互系統效能評價系統，其特征在于，總體評價模塊中對人機交互系統效能的總體評價函數為：
...【技術特征摘要】
1.一種基于多模態數據的人機交互系統效能評價方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的人機交互系統效能評價方法，其特征在于，相對權重值、響應延遲指標的權重系數、準確率指標的權重系數的獲取方法，具體包括以下步驟：
3.根據權利要求2所述的人機交互系統效能評價方法，其特征在于，眼動追蹤功能的指標因素包括注視時間獲取能力、實現移動距離檢測能力、瞳孔變化檢測能力和滯留時間獲取能力；手勢識別功能的指標因素包括手指移動路徑獲取能力、移動速度檢測能力、手勢形狀獲取能力和持續時間獲取能力；語音識別功能的指標因素包括音色獲取能力、音調獲取能力和語音分段能力；肌電采集功能的指標因素包括肌電信號獲取能力、神經傳導速度獲取能力和肌肉動態特性獲取能力；環境感知功能的指標因素包括溫度感知能力、聲音感知能力、光線感知能力和物體識別能力。
4.根據權利要求2或3所述的人機交互系統效能評價方法，其特征在于，各功能維度的功能支持度獲取方法為：
5.根據權利要求1所述的人機交互系統效能評價方法，其特征在于，步驟s2具體包括以下步驟：
6.一種基于多模態數據的人機交互系統效能評價系統，其特征在于，包括：
7.根據權利要求6所述的人機交互系統效能評價系統，其特征在于，功能多樣性評價模塊中包括第一權重獲取單元，用于確定各功能維度指標因素的數...
【專利技術屬性】
技術研發人員：龔珊珊，夏靜，何龍，
申請(專利權)人：中國船舶集團有限公司第七〇九研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。