【技術實現步驟摘要】
本專利技術涉及人機交互領域，具體涉及一種面向駕駛艙人機交互的分層知識圖譜構建方法和系統。
技術介紹
1、在直升機駕駛這一高度專業且復雜的領域，“人—機—環境”系統構成了安全飛行的核心框架。在直升機駕駛過程中，知識類型眾多且結構復雜，例如與直升機駕駛環境相關的圖像、文本、視頻、音頻等信息，尤其在駕駛艙人機交互的場景中，涉及了與直升機駕駛任務相關的時間信息、空間信息以及任務流程信息，同時還需要處理如飛行員畫像、航電系統構成、任務流程分解等知識，此類復雜、多變的多模態知識來自不同維度，且具有不同的特征和結構，導致現有技術中數據分析處理過程效率較低，且準確性較差。
2、因此，亟需一種先進的面向駕駛艙人機交互的分層知識圖譜構建技術，對多模態知識進行高效、準確的處理，實現大規模知識圖譜的機載部署。
技術實現思路
1、本專利技術實施例的目的在于提供一種面向駕駛艙人機交互的分層知識圖譜構建方法和系統，用以解決現有技術中無法及時對多模態知識進行高效、準確的處理，導致飛行穩定性和安全性較低的問題。
2、為實現上述目的，第一方面，本專利技術提供一種面向駕駛艙人機交互的分層知識圖譜構建方法，所述方法包括：
3、確定駕駛艙人機交互場景中獲取的知識類型，所述知識類型包括：基礎靜態知識、時空動態知識以及多模態知識；
4、若確定所述知識類型為基礎靜態知識，將所述基礎靜態知識進行三元組知識建模，構建基礎靜態知識圖譜；
5、若確定所述知識類型為時空動態知識，
6、若確定所述知識類型為多模態知識，將所述多模態知識進行多模態知識建模，構建多模態知識圖譜；
7、根據所述駕駛艙人機交互場景，將所述基礎靜態知識圖譜、時空動態知識圖譜和多模態知識圖譜進行裁剪和融合，生成機載知識圖譜。
8、在上述技術方案的基礎上，本專利技術還可以做如下改進：
9、進一步地，在一種實現方式中，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
10、根據所述駕駛艙人機交互場景，建立時空編碼規則；
11、所述時空編碼規則在全球網格模型的基礎上，根據時間對所述駕駛艙人機交互場景涉及的地理位置進行劃分；
12、根據所述時空編碼規則，將所述時空動態知識轉化為信息索引。
13、進一步地，在一種實現方式中，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
14、若所述時空動態知識為非結構化時空信息，對所述非結構化時空信息進行信息抽取，獲得關鍵時空信息，所述關鍵時空信息包括位置信息和時間信息；
15、根據信息抽取獲得的所述關鍵時空信息，結合所述時空編碼規則，將所述非結構化時空信息轉化為所述信息索引。
16、進一步地，在一種實現方式中，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
17、結合所述信息索引，對所述時空動態知識進行表示建模，獲得所述時空動態知識圖譜，包括：
18、確定所述時空動態知識的類別，所述時空動態知識的類別包括時間概念、空間概念和時空概念；
19、確定所述時空動態知識中的時間概念、空間概念以及時空概念之間的關系；
20、所述時間概念包括時間點、時間段和時間序列；
21、所述空間概念包括興趣點、感興趣區域和路徑；
22、所述時空概念包括時空序列。
23、進一步地，在一種實現方式中，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
24、確定所述駕駛艙人機交互場景的類型，所述駕駛艙人機交互場景的類型包括：時間主題模型、空間主題模型和時空主題模型；
25、若所述駕駛艙人機交互場景的類型為所述時間主題模型，使用循環神經網絡作為模型結構，結合所述時空動態知識對應的信息索引以及時空動態知識的類別，生成時間主題時空動態知識圖譜；
26、若所述駕駛艙人機交互場景的類型為所述空間主題模型，使用卷積神經網絡作為模型結構，結合所述時空動態知識對應的信息索引以及時空動態知識的類別，生成空間主題時空動態知識圖譜；
27、若所述駕駛艙人機交互場景的類型為所述時空主題模型，組合卷積神經網絡與循環神經網絡作為模型結構，結合所述時空動態知識對應的信息索引以及時空動態知識的類別，生成時空主題時空動態知識圖譜。
28、進一步地，在一種實現方式中，所述若確定所述知識類型為多模態知識，將所述多模態知識進行多模態知識建模，構建多模態知識圖譜，包括：
29、通過多模態知識表征學習方法，將所述多模態知識表示為實體，并得到所述多模態知識之間的關聯關系；
30、即通過所述多模態知識表征學習方法，將所述多模態知識中所有模態的信息映射到統一的語言導向嵌入空間，對齊所述多模態知識的語義。
31、進一步地，在一種實現方式中，所述若確定所述知識類型為多模態知識，將所述多模態知識進行多模態知識建模，構建多模態知識圖譜，包括：
32、根據多模態知識圖譜的邏輯架構，結合所述多模態知識表征學習后的多模態知識，構建所述多模態知識圖譜；
33、所述多模態知識圖譜的邏輯架構包括：本體元素、實體類、事件類、多模態類、標簽類和規則類。
34、進一步地，在一種實現方式中，所述若確定所述知識類型為多模態知識，將所述多模態知識進行多模態知識建模，構建多模態知識圖譜，包括：
35、所述實體類與多模態類之間的關系通過對所述多模態知識的抽取獲得；
36、所述多模態類之間的關系通過對所述多模態知識的處理和對齊獲得；
37、所述多模態類與標簽類之間的關系通過對所述多模態知識的抽取和語義融合，得到所述多模態知識的業務特征后獲得。
38、進一步地，在一種實現方式中，所述根據所述駕駛艙人機交互場景，將所述基礎靜態知識圖譜、時空動態知識圖譜和多模態知識圖譜進行裁剪和融合，生成機載知識圖譜，包括：
39、在得到所述基礎靜態知識圖譜、時空動態知識圖譜和多模態知識圖譜后，獲取所述駕駛艙人機交互場景中對所述機載知識圖譜的展示需求；
40、根據所述展示需求，通過所述基礎靜態知識圖譜、時空動態知識圖譜和多模態知識圖譜的模式引用，對所述基礎靜態知識圖譜、時空動態知識圖譜和多模態知識圖譜進行裁剪和融合，得到所述機載知識圖譜。
41、第二方面，本專利技術提供一種面向駕駛艙人機交互的分層知識圖譜構建系統，所述系統用于實現如第一方面任一項所述面向駕駛艙人機交互的分層知識圖譜構建方法，所述系統包括：
42、知識類型確定模塊，用于確定駕本文檔來自技高網...
【技術保護點】
1.一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
3.根據權利要求2所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
4.根據權利要求3所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
5.根據權利要求4所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
6.根據權利要求1所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述
7.根據權利要求6所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為多模態知識，將所述多模態知識進行多模態知識建模，構建多模態知識圖譜，包括：
8.根據權利要求7所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為多模態知識，將所述多模態知識進行多模態知識建模，構建多模態知識圖譜，包括：
9.根據權利要求1所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述根據所述駕駛艙人機交互場景，將所述基礎靜態知識圖譜、時空動態知識圖譜和多模態知識圖譜進行裁剪和融合，生成機載知識圖譜，包括：
10.一種面向駕駛艙人機交互的分層知識圖譜構建系統，其特征在于，所述系統用于實現如權利要求1-9任一項所述一種面向駕駛艙人機交互的分層知識圖譜構建方法，所述系統包括：
...【技術特征摘要】
1.一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
3.根據權利要求2所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
4.根據權利要求3所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
5.根據權利要求4所述的一種面向駕駛艙人機交互的分層知識圖譜構建方法，其特征在于，所述若確定所述知識類型為時空動態知識，將所述時空動態知識進行時空動態知識建模，構建時空動態知識圖譜，包括：
6.根據權利要求1所述的一種面向駕駛艙...
【專利技術屬性】
技術研發人員：胡芳槐，丁軍，
申請(專利權)人：海乂知信息科技南京有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。