一種手語識別系統技術方案

本發明專利技術提供一種手語識別系統，屬于醫療系統技術領域，包括以下步驟：1)：系統初始化；2)：基于智能喚醒模塊，判斷是否有人問診，若判斷結果為是，則進入下一步驟；3)：進入手語識別，通過圖像采集模塊和顯示模塊的相互配合，顯示病患的訴求，并通過智能語音模塊告知醫生；4)：醫生基于智能語音模塊、圖像采集模塊和顯示模塊對患者進行交流和診斷；5)：完成診斷。通過本發明專利技術，醫生僅需將手語識別系統對準就診的聾啞人患者，系統自動捕獲手語動作并翻譯手語語義進行播報。當醫生下達診斷結果或詢問患者時，系統會展示對應的手語視頻和字幕，滿足醫患間雙向交流的需要。雙向交流的需要。雙向交流的需要。

【技術實現步驟摘要】
一種手語識別系統


[0001]本專利技術屬于醫療系統
，尤其涉及一種手語識別系統。

技術介紹

[0002]聾啞人士就醫難是一種目前客觀存在的現實狀況。作為殘障人群中較為特殊的一類群體，聾啞人因其在語言信息接收和表達能力方面的感官障礙，難以進行正常的人際交往。同時，由于手語翻譯人力資源的匱乏，目前我國大部分醫院并未配有手語翻譯工作者，聾啞患者的正常就醫困難重重。
[0003]同時，在當今病毒在全球范圍內大流行的時代背景下，醫院內的智能設備在保證實用性的同時，還需要考慮到防疫的需求。

技術實現思路

[0004]本專利技術的目的在于提供一種手語識別系統，其特征在于，包括以下步驟：
[0005]S1：系統初始化；
[0006]S2：基于智能喚醒模塊，判斷是否有人問診，若判斷結果為是，則進入S3；
[0007]S3：進入手語識別，通過圖像采集模塊和顯示模塊的相互配合，顯示病患的訴求，并通過智能語音模塊告知醫生；
[0008]S4：醫生基于智能語音模塊、圖像采集模塊和顯示模塊對患者進行交流和診斷；
[0009]S5：完成診斷。
[0010]進一步地，S2具體包括如下步驟：
[0011]S21：手語識別系統默認運行低功耗模式；
[0012]S22：通過微波雷達檢測人體活動情況；
[0013]S23：根據檢測結果判斷是否有人問診；
[0014]S24：若判斷結果為是，則持續步驟S22
?
S23，并將檢測的信息發送至微處理器，系統進入高功耗模式，喚醒圖像采集模塊的攝像頭并加載顯示模塊的顯示屏，進入S3；若判斷結果為否，則回到S2，并重復S21
?
S24。
[0015]進一步地，S3中，圖像采集模塊工作原理如下：通過標準攝像機采集患者手部視頻，并對視頻信息進行圖像預處理，最后將圖像進行檢測與分割、特征提取和目標檢測，系統得到患者手語的檢測結果并完成手語至語音的轉化，通過智能語音模塊播報給醫生。
[0016]進一步地，對視頻信息的預處理具體為降噪和抽幀處理。
[0017]進一步地，S4中，智能語音模塊接收醫生的語音并實時地檢測關鍵詞，關鍵詞對應有數據庫中相應的手語視頻或字幕，手語視頻或字幕通過顯示模塊的顯示屏進行播放，實現醫生與患者的交流。
[0018]進一步地，S4中，智能語音模塊對關鍵詞的檢測具體包括如下步驟：
[0019]S41：獲取醫生的音頻；
[0020]S42：將醫生的音頻導入聲學模型，得到詞網格；
[0021]S43：判斷詞網格是否為關鍵詞；若否，則回到S1；若是，則前往S44；
[0022]S44：播放關鍵詞的相關手語視頻或字幕。
[0023]進一步地，手語識別系統的系統界面包括待機界面和手語識別界面，當微波雷達感應檢測到無人體活動時，微波雷達的感應模塊輸出低電平，手語識別系統處于待機狀態，并于顯示屏界面顯示待機界面；
[0024]當微波雷達檢測到人體活動時，微波雷達的感應模塊輸出高電頻，手語識別系統處于正常狀態，顯示屏顯示手語識別界面，同時手語識別系統檢測各畫面中的手語，并自動語音播報手語內容。
[0025]與現有技術相比，本專利技術的有益效果主要體現在：
[0026]1、醫生僅需將手語識別系統對準就診的聾啞人患者，系統自動捕獲手語動作并翻譯手語語義進行播報。當醫生下達診斷結果或詢問患者時，系統會展示對應的手語視頻和字幕，滿足醫患間雙向交流的需要。
[0027]2、本專利技術在醫生診斷患者的過程中，無需摘下口罩，且本專利技術無接觸地使用模式符合防疫需求。
附圖說明
[0028]圖1為本專利技術一種手語識別系統的流程示意圖。
[0029]圖2為本專利技術智能喚醒模塊流程示意圖。
[0030]圖3為本專利技術語音模塊中關鍵詞檢測流程示意圖。
[0031]圖4為本專利技術應用的手語識別設備結構示意圖。
具體實施方式
[0032]下面將結合示意圖對本專利技術一種手語識別系統進行更詳細的描述，其中表示了本專利技術的優選實施例，應該理解本領域技術人員可以修改在此描述的本專利技術，而仍然實現本專利技術的有利效果，因此，下列描述應當被理解為對于本領域技術人員的廣泛知道，而并不作為對本專利技術的限制。
[0033]本專利技術一種手語識別系統是以神經網絡為基本算法的手勢識別系統，用于手語識別設備，為聾啞人就醫提供了嶄新的解決思路，解決了醫患之間溝通難的問題。
[0034]手語識別設備包括上殼蓋和下殼身，上殼蓋和下殼身之間形成有放置空間，放置空間放置集成電路板，集成電路板集成有主控板、語音模塊、智能喚醒模塊、顯示模塊和充電模塊，主控板設有圖像采集模塊。
[0035]集成電路板為雙面電路板，使用立創EDA軟件繪制，增加I/O串口，并進行PCB布線，以合理分布各模塊。控制板采用MaixBit開發板屬于SIPEED公司，是基于嘉楠堪智科技的邊緣智能計算芯片K210設計的一款人工智能與物聯網開發板。K210的中央處理器采用RISC
?
V架構雙核64位CPU，搭載神經網絡加速器和麥克風，支持機器視覺與機器聽覺多模態識別。K210配置400MHz的主頻支持網絡運算，同時，在K210上，這個專門的硬件叫做KPU(Kendryte Proccess Unit)，在MaixPy里面，已經集成了推導模型的代碼，同時使用了KPU進行計算加速，使用時無需編寫很多代碼，只需要調用幾個函數即可快速運行模型。同時，K210功耗僅為0.3W，總算力最高可達1TOPS，芯片自帶SRAM和離線數據庫，可在本地完成數據的處理和
存儲。MaixBit作為整個系統控制的核心，用于實現對平臺資源的調度和運行深度學習模型，實現單目標檢測、非接觸喚醒的功能。
[0036]圖像采集模塊：包括攝像頭，攝像頭選用型號0V7740，體積小并具有200W像素。
[0037]語音模塊：采用SNR9813，并選用BY8001為主控芯片，支持MP3、WAV格式雙解碼。模塊支持USART異步串口控制，對播放內容進行控制。模塊內置TF卡座，可插卡更換語音內容，并配置3W功放，可直接驅動3W喇叭。
[0038]智能喚醒模塊：即微波感應模塊，該模塊選用HLK
?
LD012
?
5G傳感器，一旦人進入探測區域內，即發出2.2v高電平信號。該模塊工作電流僅為68μA，功耗較低，可以用作設備喚醒。且相較于傳統紅外熱釋電感應模塊，具有一定的穿透能力，在設計外殼結構時可以不開孔，支持暗裝。
[0039]顯示模塊：包括顯示屏，顯示屏選用2.4寸，支持分辨率320*240。
[0040]充電模塊：選用3.7V鋰電池對系統進行供電，可以通過Type
?
C接口對鋰電池進行反復充電，從而實現對鋰電池的循環使用。充電芯片選用的是TP4056，該芯片是一款單節鋰離子電池恒流/恒壓線性充電本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種用手語識別系統，其特征在于，包括以下步驟：S1：系統初始化；S2：基于智能喚醒模塊，判斷是否有人問診，若判斷結果為是，則進入S3；S3：進入手語識別，通過圖像采集模塊和顯示模塊的相互配合，顯示病患的訴求，并通過智能語音模塊告知醫生；S4：醫生基于智能語音模塊、圖像采集模塊和顯示模塊對患者進行交流和診斷；S5：完成診斷。2.根據權利要求1所述的手語識別系統，其特征在于，所述S2具體包括如下步驟：S21：所述手語識別系統默認運行低功耗模式；S22：通過微波雷達檢測人體活動情況；S23：根據檢測結果判斷是否有人問診；S24：若判斷結果為是，則持續步驟S22
?
S23，并將檢測的信息發送至微處理器，系統進入高功耗模式，喚醒圖像采集模塊的攝像頭并加載顯示模塊的顯示屏，進入S3；若判斷結果為否，則回到S2，并重復S21
?
S24。3.根據權利要求1所述的手語識別系統，其特征在于，所述S3中，所述圖像采集模塊工作原理如下：通過標準攝像機采集患者手部視頻，并對視頻信息進行圖像預處理，最后將圖像進行檢測與分割、特征提取和目標檢測，系統得到患者手語的檢測結果并完成手語至語音的轉化，通...

【專利技術屬性】
技術研發人員：王欣捷，董占彬，夏嘉璟，裴兢奕，岳霖杰，夏鯤，
申請(專利權)人：上海理工大學，
類型：發明
國別省市：