【技術實現步驟摘要】
本專利技術涉及人機交互領域，具體涉及一種基于知識圖譜的駕駛艙人機交互方法、系統及電子設備。
技術介紹
1、在直升機駕駛領域，飛行環境下的人機交互系統構成了安全飛行的核心框架。飛行員作為該系統中的關鍵主體，其狀態會直接影響飛行任務實施過程中的安全性和高效性。特別是在面對復雜多變的飛行環境時，如惡劣天氣條件下的低能見度飛行、緊急救援行動等任務時，飛行員面臨的不僅是生理上的挑戰，更有巨大的心理壓力和認知負荷。在這種情況下，如何提供高效、穩定的人機交互系統是亟需解決的問題。
2、飛行員的腦力工作超負荷是飛行安全領域長期關注的問題。在高壓力環境下，飛行員需要迅速處理大量信息，包括但不限于氣象數據、地形信息、飛行儀表指示、無線電通信以及緊急情況的應對策略等。這種對飛行員的高強度認知需求容易導致信息處理失誤，進而引發決策錯誤，是眾多飛行事故的直接誘因。尤其是在起飛、進近和著陸這些被公認為飛行過程中較為危險的環節，飛行員需要在短時間內做出精確判斷和操作，任何微小的失誤都可能導致嚴重后果。
3、因此，亟需一種先進的直升機駕駛艙人機協作技術，在實現對飛行員的負荷評估和意圖預測的同時，滿足飛行員的交互要求。
技術實現思路
1、本專利技術實施例的目的在于提供基于知識圖譜的駕駛艙人機交互方法、系統及電子設備，用以解決現有技術中無法及時對飛行員進行負荷評估和意圖預測，導致飛行穩定性和安全性較低的問題。
2、為實現上述目的，第一方面，本專利技術提供基于知識圖譜的駕駛艙人機交互
3、獲取駕駛艙人機交互的典型任務場景，以及所述典型任務場景下的知識圖譜和任務計劃；
4、分析所述典型任務場景并解析任務計劃，根據分析結果和解析結果建立任務模型；
5、結合所述知識圖譜，通過所述任務模型將任務計劃分解成任務網絡；
6、獲取飛行員的行動信息和環境態勢信息；
7、根據所述飛行員的行動信息和環境態勢信息的變化，將所述任務網絡轉換為任務清單；
8、監測所述飛行員的負荷數據；
9、根據所述負荷數據和任務清單，生成負荷評估結果和意圖預測結果。
10、在上述技術方案的基礎上，本專利技術還可以做如下改進：
11、進一步地，在一種實現方式中，所述分析典型任務場景并解析任務計劃，根據分析結果和解析結果建立任務模型，包括：
12、分析所述典型任務場景得到基本任務集合；
13、將所述基本任務集合中的多模態數據進行統一的知識表示；
14、將所述任務計劃中的文本內容進行解析和結構化處理；
15、根據所述統一的知識表示后的多模態數據，以及解析和結構化處理后的文本內容，構建所述任務模型。
16、進一步地，在一種實現方式中，所述結合知識圖譜，通過所述任務模型將任務計劃分解成任務網絡，包括：
17、對所述任務計劃進行知識抽取，獲得知識抽取結果，所述知識抽取包括：對所述任務計劃進行實體抽取、關系抽取和事件抽取；
18、其中，所述實體抽取包括對關鍵實體的抽取，所述關系抽取包括對關鍵實體之間關系的抽取，所述事件抽取包括對元事件的抽取，獲得事件抽取結果；
19、對所述任務計劃進行知識匹配，獲得知識匹配結果，所述知識匹配包括：將所述知識抽取結果與知識圖譜進行匹配；
20、對所述任務計劃進行知識解析，獲得知識解析結果，所述知識解析包括：對所述任務計劃中的文本內容進行解析和結構化處理；
21、將所述知識抽取結果、知識匹配結果和知識解析結果進行關聯，生成所述任務計劃對應的任務網絡。
22、進一步地，在一種實現方式中，所述根據飛行員的行動信息和環境態勢信息的變化，將所述任務網絡轉換為任務清單，包括：
23、根據分解所述任務計劃為任務網絡的過程中獲得的事件抽取結果，確定所述任務計劃中各項子任務的時間節點；
24、根據所述飛行員的行動信息和環境態勢信息的變化與各項子任務的時間節點之間的關系，將所述任務網絡轉換為包含時間節點的任務清單，并實時更新所述任務清單，所述任務清單包括已完成任務清單、當前任務清單和預期任務清單。
25、進一步地，在一種實現方式中，所述根據飛行員的行動信息和環境態勢信息的變化，將所述任務網絡轉換為任務清單，包括：
26、若根據分解所述任務計劃為任務網絡的過程中獲得的事件抽取結果，所述任務計劃中存在沒有時間節點的子任務，將所述子任務標記為無順序關系的任務；
27、將所述無順序關系的任務整理至任務清單中，區分于包含時間節點的任務清單，設置為并行任務清單。
28、進一步地，在一種實現方式中，所述監測飛行員的負荷數據，包括：
29、通過監測設備獲取飛行員的負荷數據，所述負荷數據包括生理負荷數據和心理負荷數據；
30、所述監測設備包括不同模態的特征提取器，用于接收不同模態的負荷數據。
31、進一步地，在一種實現方式中，所述根據負荷數據和任務清單，生成負荷評估結果和意圖預測結果，包括：
32、根據所述不同模態的負荷數據，通過預設的自動化心理負荷評估方法，生成心理負荷評估結果；
33、同時，根據所述不同模態的負荷數據，結合所述任務網絡中的知識對負荷數據進行特征計算，生成多通道的負荷特征融合結果；
34、按照所述任務清單中的當前任務清單，將所述心理負荷評估結果和多通道的負荷特征融合結果整合為與當前任務清單對應的負荷評估結果。
35、進一步地，在一種實現方式中，所述根據負荷數據和任務清單，生成負荷評估結果和意圖預測結果，包括：
36、結合所述任務清單的任務變化與負荷評估結果，根據多維度的意圖識別算法生成所述意圖預測結果；
37、所述多維度的意圖識別算法包括：基于卷積神經網絡的意圖識別方法、基于長短期記憶神經網絡的意圖識別方法、基于語義特征的意圖識別方法以及基于融合策略的意圖識別方法。
38、第二方面，本專利技術提供基于知識圖譜的駕駛艙人機交互系統，所述系統包括：獲取模塊、任務模型建立模塊、任務網絡獲取模塊、飛行員信息獲取模塊、任務清單獲取模塊、負荷數據監測模塊、負荷評估及意圖識別模塊；
39、所述獲取模塊，用于獲取駕駛艙人機交互的典型任務場景，以及所述典型任務場景下的知識圖譜和任務計劃；
40、所述任務模型建立模塊，用于分析所述典型任務場景并解析任務計劃，根據分析結果和解析結果建立任務模型；
41、所述任務網絡生成模塊，用于結合所述知識圖譜，通過所述任務模型將任務計劃分解成任務網絡；
42、所述飛行員信息獲取模塊，用于獲取飛行員的行動信息和環境態勢信息；
43、所述任務清單生成模塊，用于根據所述飛行員的行動信息和環境態勢信息的變化，將所述任務網絡轉換為任務清單；
44、所述負荷本文檔來自技高網...
【技術保護點】
1.基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述分析典型任務場景并解析任務計劃，根據分析結果和解析結果建立任務模型，包括：
3.根據權利要求1所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述結合知識圖譜，通過所述任務模型將任務計劃分解成任務網絡，包括：
4.根據權利要求3所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述根據飛行員的行動信息和環境態勢信息的變化，將所述任務網絡轉換為任務清單，包括：
5.根據權利要求4所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述根據飛行員的行動信息和環境態勢信息的變化，將所述任務網絡轉換為任務清單，包括：
6.根據權利要求1所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述監測飛行員的負荷數據，包括：
7.根據權利要求6所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述根據負荷數據和任務清單，生成負荷評估結果和意圖預測結果，包括：
8.根
9.一種基于知識圖譜的駕駛艙人機交互系統，其特征在于，所述系統用于執行如權利要求1-8任一項所述方法，所述系統包括：獲取模塊、任務模型建立模塊、任務網絡獲取模塊、飛行員信息獲取模塊、任務清單獲取模塊、負荷數據監測模塊、負荷評估及意圖識別模塊；
10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至8中的任一項所述方法的步驟。
...【技術特征摘要】
1.基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述分析典型任務場景并解析任務計劃，根據分析結果和解析結果建立任務模型，包括：
3.根據權利要求1所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述結合知識圖譜，通過所述任務模型將任務計劃分解成任務網絡，包括：
4.根據權利要求3所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述根據飛行員的行動信息和環境態勢信息的變化，將所述任務網絡轉換為任務清單，包括：
5.根據權利要求4所述的基于知識圖譜的駕駛艙人機交互方法，其特征在于，所述根據飛行員的行動信息和環境態勢信息的變化，將所述任務網絡轉換為任務清單，包括：
6.根據權利要求1所述的基于知識圖譜的駕駛艙人機交互方法，其特...
【專利技術屬性】
技術研發人員：胡芳槐，丁軍，
申請(專利權)人：海乂知信息科技南京有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。