【技術實現步驟摘要】
本專利技術涉及智能設備，尤其涉及一種基于多模態融合的無障礙智能服務方法和裝置、電子設備。
技術介紹
1、隨著城市公共服務的智能化發展，在大型公共場景如交通樞紐客運站廳，已經逐步配備了電子顯示屏等服務終端。這些服務終端雖然能夠滿足大部分用戶的需求，但對于特殊人群如盲人、聾人、老年人等，仍存在較大的局限。例如，盲人無法依賴視覺感知信息，聾人無法使用聽覺交互，而老年人由于聽力和視力的衰退，也常常在使用服務終端于其進行交互時遇到困難。
2、因此，目前亟待本領域技術人員提供的一種無障礙智能服務終端，為特殊人群在站廳候車時提供更加智能和全面的無障礙服務體驗。
技術實現思路
1、本專利技術實施例的目的是提供一種基于多模態融合的無障礙智能服務方法和裝置、電子設備，能夠解決現有技術中存在的服務終端無法無障礙為特殊人群提供服務的問題。
2、為解決上述技術問題，本專利技術提供如下技術方案：
3、本專利技術實施例提供了一種基于多模態融合的無障礙智能服務方法，其中，所述方法包括：
4、依據用戶第一輸入確定用戶所選定服務類型，并切換至對應的服務界面；其中，所述服務類型包括：信息查詢服務、站內導航服務；
5、依據用戶的第二輸入，確定用戶在所述服務界面中選定的目標服務請求；
6、依據所述目標服務請求在后臺數據庫中查找目標信息；
7、依據所述目標信息生成語音播報的第一文本信息和第一盲文點陣；
8、調用視覺顯示模塊可視化顯
9、可選地，在所述服務類型為信息查詢服務的情況下，依據所述目標信息生成語音播報的第一文本信息和第一盲文點陣的步驟，包括：
10、在所述服務類型為信息查詢服務的情況下，依據所述目標信息生成第一文本信息和第二文本信息，其中，所述第一文本信息中包含所述目標信息的詳細內容，所述第二文本信息中包含所述目標信息的概述內容；
11、將所述第二文本信息轉化為第一盲文點陣。
12、可選地，在所述服務類型為站內導航服務的情況下，依據所述目標信息生成語音播報的第一文本信息和第一盲文點陣的步驟，包括：
13、在所述服務類型為站內導航服務的情況下，采用預設的多模態比對學習模型從預設文本描述模版中查找與所述目標信息匹配度最高的目標文本描述模版，其中，所述目標信息為圖像信息；
14、通過實時環境感知信息確定所述目標文本描述模版的動態填充信息；
15、將所述動態填充信息填充至所述目標文本描述模版中，生成第一文本信息；
16、將所述第一文本信息轉化成第一盲文點陣。
17、可選地，在所述服務類型為站內導航服務的情況下，采用預設的多模態比對學習模型從預設文本描述模版中查找與所述目標信息匹配度最高的目標文本描述模版的步驟，包括：
18、在所述服務類型為站內導航服務的情況下，針對每個預設文本描述模版，通過所述預設的多模態比對學習模型中包含的圖像編碼器對所述目標信息進行解析，得到第一解析結果；
19、通過所述預設的多模態比對學習模型中包含的文本編碼器對所述預設文本描述模版進行解析，得到第二解析結果；
20、計算所述第一解析結果與所述第二解析結果的相似度；
21、將最高相似度對應的預設文本描述模版，確定為與所述目標信息匹配度最高的目標文本描述模版。
22、可選地，依據用戶第一輸入確定用戶所選定服務類型，并切換至對應的服務界面的步驟，包括：
23、采用預設組合方式向用戶輸出服務類型，其中，所述預設組合方式包括以下至少兩種的組合：可視化顯示服務類型選擇控件、語音播報服務類型選擇控件、通過觸覺顯示模塊顯示服務類型選擇控件對應的第二盲文點陣；
24、接收用戶的第一輸入，其中，所述第一輸入包括以下至少之一：對可視化顯示服務類型選擇控件的觸控操作、語音輸入所選擇的服務類型以及通過盲文鍵盤輸入服務類型選擇盲文的操作；
25、依據用戶第一輸入確定用戶所選定服務類型，并切換至對應的服務界面。
26、本專利技術實施例還提供了一種基于多模態融合的無障礙智能服務裝置，其中，所述裝置包括：
27、第一確定模塊，用于依據用戶第一輸入確定用戶所選定服務類型，并切換至對應的服務界面；其中，所述服務類型包括：信息查詢服務、站內導航服務；
28、第二確定模塊，用于依據用戶的第二輸入，確定用戶在所述服務界面中選定的目標服務請求；
29、查找模塊，用于依據所述目標服務請求在后臺數據庫中查找目標信息；
30、生成模塊，用于依據所述目標信息生成語音播報的第一文本信息和第一盲文點陣；
31、輸出模塊，用于調用視覺顯示模塊可視化顯示所述目標信息、調用語音播報模塊語音播報所述第一文本信息以及在觸覺顯示模塊顯示所述第一盲文點陣。
32、可選地，所述生成模塊包括：
33、第一子模塊，用于在所述服務類型為信息查詢服務的情況下，依據所述目標信息生成第一文本信息和第二文本信息，其中，所述第一文本信息中包含所述目標信息的詳細內容，所述第二文本信息中包含所述目標信息的概述內容；
34、第二子模塊，用于將所述第二文本信息轉化為第一盲文點陣。
35、可選地，所述生成模塊包括：
36、第三子模塊，用于在所述服務類型為站內導航服務的情況下，采用預設的多模態比對學習模型從預設文本描述模版中查找與所述目標信息匹配度最高的目標文本描述模版，其中，所述目標信息為圖像信息；
37、第四子模塊，用于通過實時環境感知信息確定所述目標文本描述模版的動態填充信息；
38、第五子模塊，用于將所述動態填充信息填充至所述目標文本描述模版中，生成第一文本信息；
39、第六子模塊，用于將所述第一文本信息轉化成第一盲文點陣。
40、可選地，所述第三子模塊包括：
41、第一單元，用于在所述服務類型為站內導航服務的情況下，針對每個預設文本描述模版，通過所述預設的多模態比對學習模型中包含的圖像編碼器對所述目標信息進行解析，得到第一解析結果；
42、第二單元，用于通過所述預設的多模態比對學習模型中包含的文本編碼器對所述預設文本描述模版進行解析，得到第二解析結果；
43、第三單元，用于計算所述第一解析結果與所述第二解析結果的相似度；
44、第四單元，用于將最高相似度對應的預設文本描述模版，確定為與所述目標信息匹配度最高的目標文本描述模版。
45、可選地，所述第一確定模塊包括：
46、第七子模塊，用于采用預設組合方式向用戶輸出服務類型，其中，所述預設組合方式包括以下至少兩種的組合：可視化顯示服務類型選擇控件、語音播報服務類型選擇控件、通過觸覺顯示模塊顯示服務類型選擇本文檔來自技高網...
【技術保護點】
1.一種基于多模態融合的無障礙智能服務方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，在所述服務類型為信息查詢服務的情況下，依據所述目標信息生成語音播報的第一文本信息和第一盲文點陣的步驟，包括：
3.根據權利要求1所述的方法，其特征在于，在所述服務類型為站內導航服務的情況下，依據所述目標信息生成語音播報的第一文本信息和第一盲文點陣的步驟，包括：
4.根據權利要求3所述的方法，其特征在于，在所述服務類型為站內導航服務的情況下，采用預設的多模態比對學習模型從預設文本描述模版中查找與所述目標信息匹配度最高的目標文本描述模版的步驟，包括：
5.根據權利要求1所述的方法，其特征在于，依據用戶第一輸入確定用戶所選定服務類型，并切換至對應的服務界面的步驟，包括：
6.一種基于多模態融合的無障礙智能服務裝置，其特征在于，所述裝置包括：
7.根據權利要求6所述的裝置，其特征在于，所述生成模塊包括：
8.根據權利要求6所述的裝置，其特征在于，所述生成模塊包括：
9.根據權利要求
10.一種電子設備，其特征在于，所述電子設備包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行所述權利要求1-5中任意一種基于多模態融合的無障礙智能服務方法的步驟。
...【技術特征摘要】
1.一種基于多模態融合的無障礙智能服務方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，在所述服務類型為信息查詢服務的情況下，依據所述目標信息生成語音播報的第一文本信息和第一盲文點陣的步驟，包括：
3.根據權利要求1所述的方法，其特征在于，在所述服務類型為站內導航服務的情況下，依據所述目標信息生成語音播報的第一文本信息和第一盲文點陣的步驟，包括：
4.根據權利要求3所述的方法，其特征在于，在所述服務類型為站內導航服務的情況下，采用預設的多模態比對學習模型從預設文本描述模版中查找與所述目標信息匹配度最高的目標文本描述模版的步驟，包括：
5.根據權利要求1所述...
【專利技術屬性】
技術研發人員：蔣勇智，李永偉，霍向，吳新開，
申請(專利權)人：北京航空航天大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。