漢語手語雙向翻譯系統、方法和裝置制造方法及圖紙

本發明專利技術公開了一種漢語手語雙向翻譯系統、方法和裝置。該漢語手語正向翻譯系統包括手語模型庫模塊、圖像識別模塊、手語模型匹配模塊和正向輸出模塊，所述手語模型庫模塊用于存儲標準漢語手語的數學模型，各手語的數學模型分別對應一識別信息；所述圖像識別模塊用于識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成一手勢模型；所述手語模型匹配模塊用于獲取匹配度高于一預設值的數學模型對應的識別信息；所述正向輸出模塊用于根據所述識別信息輸出對應的正向輸出信息。本發明專利技術通過識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成一手勢模型，利用數據融合技術，提高手勢的識別準確度。

【技術實現步驟摘要】

本專利技術涉及一種手語翻譯系統和方法，具體地說，涉及一種漢語手語雙向翻譯系統、方法和裝置。
技術介紹
通常聾啞人都是通過手語來進行溝通表達，這需要溝通表達的雙方都要懂得手語，而健全人學習手語需要耗費大量的精力與時間。由于健全人通常不會特意去學習，使得聾啞人與健全人的交流渠道不暢通，導致了社會上兩者極少打交道。盡管現有技術中存在一些手語翻譯系統，嘗試通過獲取手語動作并轉換為文字信息來顯示，但其主要缺陷在于識別精度較差和輸出不夠逼真易懂。
技術實現思路
本專利技術要解決的技術問題在于提供一種漢語手語雙向翻譯系統、方法和裝置，實現聾啞人與健全人的無障礙交流。為了解決上述問題，本專利技術提供了一種漢語手語正向翻譯系統，包括手語模型庫模塊、圖像識別模塊、手語模型匹配模塊和正向輸出模塊，其中，所述手語模型庫模塊用于存儲標準漢語手語的數學模型，各手語的數學模型分別對應一識別信息；所述圖像識別模塊用于識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成一手勢模型；所述手語模型匹配模塊分別與所述手語模型庫模塊和圖像識別模塊連接，用于將獲取的手勢模型與所述手語模型庫模塊中的數學模型進行比對，獲取匹配度高于一預設值的數學模型對應的識別信息；所述正向輸出模塊用于根據所述識別信息輸出對應的正向輸出信息。優選地，所述正向輸出模塊包括文字輸出模塊，所述識別信息為文字信息，所述正向輸出信息為文字信息。優選地，所述正向輸出模塊包括語音輸出模塊，所述識別信息為文字信息，所述語音輸出模塊用于將所述文字信息轉換為語音信息，所述正向輸出信息為語音信息；所述圖像識別模塊包括多個用于識別手部運動和人體其他部位的體感識別設備。優選地，所述手語模型庫模塊中存儲的數學模型包括若干特征值，所述特征值與所述人體部位及其動作信息對應，并且按照預設順序排列。一種漢語手語正向翻譯方法，應用于一電子設備上，所述電子設備具有一存儲器，所述存儲器中存儲有標準漢語手語的數學模型，各手語的數學模型分別對應一識別信息，該手語正向翻譯方法包括以下步驟：識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成出一手勢模型；根據所述手勢模型與所述存儲器存儲的數學模型進行比對，獲取匹配度高于一預設值的數學模型對應的識別信息；根據所述識別信息輸出對應的正向輸出信息。一種漢語手語正向翻譯裝置，包括：正向識別模塊，用于識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成出一手勢模型；正向獲取模塊，用于根據所述手勢模型與所述存儲器存儲的數學模型進行比對，獲取匹配度高于一預設值的數學模型對應的識別信息；正向輸出模塊，用于根據所述識別信息輸出對應的正向輸出信息。一種漢語手語雙向翻譯系統，具有上述的手語正向翻譯系統和手語反向翻譯系統；所述手語反向翻譯系統，包括語音識別模塊、手語三維動畫數據庫模塊、手語數據庫匹配模塊和反向輸出模塊；所述語音識別模塊用于識別輸入的語音信息并輸出與所述語音信息對應的文字信息；所述手語三維動畫數據庫模塊用于存儲標準漢語手語的三維動畫信息，所述三維動畫信息與文字信息對應；所述三維動畫信息為三維全息動畫信息，所述反向輸出模塊輸出三維全息動畫信息；所述手語數據庫匹配模塊分別連接所述語音識別模塊和手語三維動畫數據庫模塊，用于在所述手語三維動畫數據庫模塊中將從所述語音識別模塊接收的文字信息檢索與所述三維動畫信息的文字信息進行比對，獲取匹配度高于一預設值的文字信息對應的三維全息動畫信息；所述反向輸出模塊與所述手語數據庫匹配模塊連接，用于接收所述三維動畫信息并通過三維全息顯示。優選地，還包括一啟動模塊及一設定模塊；所述啟動模塊分別與所述手語正向翻譯系統和所述手語反向翻譯系統連接，用于啟動所述手語正向翻譯系統或所述手語反向翻譯系統；所述設定模塊與所述啟動模塊連接，用于設定當前目標的類型，所述啟動模塊根據所述類型啟動所述手語正向翻譯系統或所述手語反向翻譯系統。一種漢語手語雙向翻譯方法，應用于電子設備上，包括：設定當前目標的類型；根據當前目標的類型選擇如上述的手語正向翻譯方法或者如手語反向翻譯方法進行翻譯；所述手語反向翻譯方法，應用于一電子設備上，所述電子設備具有一存儲器，所述存儲器中存儲有標準漢語手語的三維動畫信息，所述三維動畫信息與文字信息對應，該手語正向翻譯方法包括以下步驟：識別輸入的語音信息并輸出與所述語音信息對應的文字信息；在所述存儲器中將從所述語音識別模塊接收的文字信息檢索與所述三維動畫信息的文字信息進行比對，獲取匹配度高于一預設值的文字信息對應的三維動畫信息；所述三維動畫信息為三維全息動畫信息，接收所述三維全息動畫信息，并輸出該三維全息動畫信息。一種漢語手語雙向翻譯裝置，包括：設定單元，用于設定當前目標的類型；選擇單元，用于根據當前目標的類型選擇如上述的手語正向翻譯裝置或者手語反向翻譯裝置進行翻譯；所述手語反向翻譯裝置包括：反向識別模塊，用于識別輸入的語音信息并輸出與所述語音信息對應的文字信息；反向獲取模塊，用于在所述存儲器中將從所述語音識別模塊接收的文字信息檢索與所述三維動畫信息的文字信息進行比對，獲取匹配度高于一預設值的文字信息對應的三維全息動畫信息；反向輸出模塊，用于接收所述三維動畫信息并通過三維全息顯示。本專利技術的有益效果是：本專利技術提供的手語正向和雙向翻譯系統和方法通過識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成一手勢模型，利用數據融合技術，提高手勢的識別準確度。此外，本專利技術實施例還通過采用全息顯示三維動畫來顯示語音識別后的手語動畫，非常逼真易懂。附圖說明下面結合附圖對本專利技術的具體實施方式作進一步詳細的說明，其中：圖1是本專利技術提供的一種手語正向翻譯系統一實施方式的結構示意圖；圖2是本專利技術提供的一種手語正向翻譯方法一實施方式的流程圖；圖3是本專利技術提供的一種手語正向翻譯裝置一實施方式的示意圖；圖4是本專利技術提供的一種手語反向翻譯系統一實施方式的結構示意圖；圖5是本專利技術提供的一種手語反向翻譯方法一實施方式的流程圖；圖6是本專利技術提供的一種手語反向翻譯裝置一實施方式的示意圖；圖7是本專利技術提供的一種漢語手語雙向翻譯系統一實施方式的示意圖；圖8是本專利技術提供的一種漢語手語雙向翻譯系統一實施方式的流程圖；圖9是本專利技術提供的一種漢語手語雙向翻譯方法一實施方式的流程圖；圖10是本專利技術提供的一種漢語手語雙向翻譯裝置一實施方式的示意圖。100：手語正向翻譯系統110：手語模型庫模塊120：手語模型匹配模塊130：正向輸出模塊131：文字輸出模塊132：語音輸出模塊140：圖像識別模塊200：手語反向翻譯系統210：手語三維動畫數據庫模塊220：手語數據庫匹配模塊230：反向輸出模塊240：語音識別模塊250：反向識別模塊260：反向獲取模塊270：反向獲取模塊300：啟動模塊400：設定模塊500：設定單元600：選擇單元具體實施方式請參閱圖1所示，圖1是本專利技術提供的一種手語正向翻譯系統一實施方式的結構示意圖。在圖1示出的實施方式中，該手語正向翻譯系統100包括手語模型庫模塊110、圖像識別模塊140、手語模型匹配模塊120和正向輸出模塊130。其中，手語模型庫模塊110用于存儲標準漢語手語的數學模本文檔來自技高網...

【技術保護點】
一種漢語手語正向翻譯系統，其特征在于，包括手語模型庫模塊、圖像識別模塊、手語模型匹配模塊和正向輸出模塊，其中，所述手語模型庫模塊用于存儲標準漢語手語的數學模型，各手語的數學模型分別對應一識別信息；所述圖像識別模塊用于識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成一手勢模型；所述手語模型匹配模塊分別與所述手語模型庫模塊和圖像識別模塊連接，用于將獲取的手勢模型與所述手語模型庫模塊中的數學模型進行比對，獲取匹配度高于一預設值的數學模型對應的識別信息；所述正向輸出模塊用于根據所述識別信息輸出對應的正向輸出信息。

【技術特征摘要】
1.一種漢語手語正向翻譯系統，其特征在于，包括手語模型庫模塊、圖像識別模塊、手語模型匹配模塊和正向輸出模塊，其中，所述手語模型庫模塊用于存儲標準漢語手語的數學模型，各手語的數學模型分別對應一識別信息；所述圖像識別模塊用于識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成一手勢模型；所述手語模型匹配模塊分別與所述手語模型庫模塊和圖像識別模塊連接，用于將獲取的手勢模型與所述手語模型庫模塊中的數學模型進行比對，獲取匹配度高于一預設值的數學模型對應的識別信息；所述正向輸出模塊用于根據所述識別信息輸出對應的正向輸出信息。2.如權利要求1所述的漢語手語正向翻譯系統，其特征在于，所述正向輸出模塊包括文字輸出模塊，所述識別信息為文字信息，所述正向輸出信息為文字信息。3.如權利要求1所述的漢語手語正向翻譯系統，其特征在于，所述正向輸出模塊包括語音輸出模塊，所述識別信息為文字信息，所述語音輸出模塊用于將所述文字信息轉換為語音信息，所述正向輸出信息為語音信息；所述圖像識別模塊包括多個用于識別手部運動和人體其他部位的體感識別設備。4.如權利要求1所述的漢語手語正向翻譯系統，其特征在于，所述手語模型庫模塊中存儲的數學模型包括若干特征值，所述特征值與所述人體部位及其動作信息對應，并且按照預設順序排列。5.一種漢語手語正向翻譯方法，應用于一電子設備上，其特征在于，所述電子設備具有一存儲器，所述存儲器中存儲有標準漢語手語的數學模型，各手語的數學模型分別對應一識別信息，該手語正向翻譯方法包括以下步驟：識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成出一手勢模型；根據所述手勢模型與所述存儲器存儲的數學模型進行比對，獲取匹配度高于一預設值的數學模型對應的識別信息；根據所述識別信息輸出對應的正向輸出信息。6.一種漢語手語正向翻譯裝置，其特征在于，包括：正向識別模塊，用于識別人體部位和所述人體部位的動作信息，根據所述人體部位及其對應的動作信息形成出一手勢模型；正向獲取模塊，用于根據所述手勢模型與所述存儲器存儲的數學模型進行比對，獲取匹配度高于一預設值的數學模型對應的識別信息；正向輸出模塊，用于根據所述識別信息輸出對應的正向輸出信息。7.一種漢語手語雙向翻譯系統，其特征在于，具有如權利要求1-4任一項所述的漢語手語正向翻譯系統和漢語手語反向翻譯系統；所述手語反向翻譯系統，包括語音識別模塊、手語三維動畫數據庫模塊、手語...

【專利技術屬性】
技術研發人員：戴軍，張鋒美，何影記，陳泳竹，林景成，藍曉彬，
申請(專利權)人：廣東技術師范學院，
類型：發明
國別省市：廣東;44