【技術實現(xiàn)步驟摘要】
用于手語交流的人工智能云平臺系統(tǒng)及智能藥盒
本專利技術涉及互聯(lián)網(wǎng)醫(yī)療
，具體涉及一種用于手語交流的人工智能云平臺系統(tǒng)及智能藥盒。
技術介紹
慢病患者，例如哮喘病患者，能否全程、規(guī)律地服藥是治療成功的關鍵，也是避免產(chǎn)生耐藥的重要措施。現(xiàn)有技術中提供了一些設備，以試圖幫助患者服藥依從性，但是這些設備大多僅包括具有聲音提示功能的模塊，通過設置定時提醒控制發(fā)出提示音等以提醒患者服藥，但對聽力有缺陷的人卻無能為力。所以利用手勢識別能夠很好的解決上述問題，但是目前尚沒有一種能夠通過手語實現(xiàn)對患者自動服藥提醒的系統(tǒng)。手勢識別一般是通過圖像的方式識別出手部、上軀部等姿勢，從而對手勢進行分類，但是由于手指之間相似性較高，且比較靈活容易相互遮擋；而且在手勢追蹤過程中噪聲較大，所以導致識別精度較低。
技術實現(xiàn)思路
因此，為了克服上述缺陷，本專利技術實施例提供一種用于手語交流的人工智能云平臺系統(tǒng)及智能藥盒，可以根據(jù)患者手語出具處方，分配藥品，并通過手語視頻提醒患者服藥。為此，本專利技術實施例的一種用于手語交流的人工智能云平臺系統(tǒng)，包括通過網(wǎng)絡連接的患者終端、衛(wèi)生管理部門用終端和智能醫(yī)盒；所述患者終端包括視頻獲取模塊和視頻發(fā)送模塊；視頻獲取模塊用于獲取包含預設人物關節(jié)的手語視頻并輸出；視頻發(fā)送模塊用于獲取所述手語視頻并發(fā)送給所述衛(wèi)生管理部門用終端；所述衛(wèi)生管理部門用終端包括圖像識別模塊和控制模塊；圖像識別模塊包括：視頻接收單元，用于獲取所述手語視頻；關節(jié)...
【技術保護點】
1.一種用于手語交流的人工智能云平臺系統(tǒng)，其特征在于，包括通過網(wǎng)絡連接的患者終端、衛(wèi)生管理部門用終端和智能醫(yī)盒；/n所述患者終端包括視頻獲取模塊和視頻發(fā)送模塊；/n視頻獲取模塊用于獲取包含預設人物關節(jié)的手語視頻并輸出；/n視頻發(fā)送模塊用于獲取所述手語視頻并發(fā)送給所述衛(wèi)生管理部門用終端；/n所述衛(wèi)生管理部門用終端包括圖像識別模塊和控制模塊；/n圖像識別模塊包括：/n視頻接收單元，用于獲取所述手語視頻；/n關節(jié)分割單元，用于將手語視頻中的每幀圖像進行關節(jié)分割處理，獲得每幀關節(jié)分割圖像；/n語義分割單元，用于對所有幀關節(jié)分割圖像進行語義分割，獲得各組語義幀圖像集；/n語義合并單元，用于將每組語義幀圖像集中的所有幀圖像進行合并，獲得語義圖像；/n文本轉換單元，用于將所有語義圖像輸入訓練好的卷積神經(jīng)網(wǎng)絡模型中，獲得相應的文本信息并輸出；/n控制模塊用于獲取所述文本信息；根據(jù)文本信息查詢處方數(shù)據(jù)庫，獲得相應的處方信息并輸出，所述處方信息包括服藥藥品名稱及其對應的服藥數(shù)量和服藥時間；/n所述智能醫(yī)盒用于獲取所述處方信息并據(jù)此在服藥時間調取并播放預設手語視頻，以提醒患者服藥。/n
【技術特征摘要】
1.一種用于手語交流的人工智能云平臺系統(tǒng)，其特征在于，包括通過網(wǎng)絡連接的患者終端、衛(wèi)生管理部門用終端和智能醫(yī)盒；
所述患者終端包括視頻獲取模塊和視頻發(fā)送模塊；
視頻獲取模塊用于獲取包含預設人物關節(jié)的手語視頻并輸出；
視頻發(fā)送模塊用于獲取所述手語視頻并發(fā)送給所述衛(wèi)生管理部門用終端；
所述衛(wèi)生管理部門用終端包括圖像識別模塊和控制模塊；
圖像識別模塊包括：
視頻接收單元，用于獲取所述手語視頻；
關節(jié)分割單元，用于將手語視頻中的每幀圖像進行關節(jié)分割處理，獲得每幀關節(jié)分割圖像；
語義分割單元，用于對所有幀關節(jié)分割圖像進行語義分割，獲得各組語義幀圖像集；
語義合并單元，用于將每組語義幀圖像集中的所有幀圖像進行合并，獲得語義圖像；
文本轉換單元，用于將所有語義圖像輸入訓練好的卷積神經(jīng)網(wǎng)絡模型中，獲得相應的文本信息并輸出；
控制模塊用于獲取所述文本信息；根據(jù)文本信息查詢處方數(shù)據(jù)庫，獲得相應的處方信息并輸出，所述處方信息包括服藥藥品名稱及其對應的服藥數(shù)量和服藥時間；
所述智能醫(yī)盒用于獲取所述處方信息并據(jù)此在服藥時間調取并播放預設手語視頻，以提醒患者服藥。
2.根據(jù)權利要求1所述的系統(tǒng)，其特征在于，所述關節(jié)分割單元用于將手語視頻中的每幀圖像進行高斯平滑濾波處理，獲得處理后的第一圖像；
計算第一圖像中每個像素點(x，y)的梯度特征Q(x，y)，計算公式為：
其中，為x方向上相鄰像素點的像素梯度均值，其計算公式為[|s(x，y)-s(x-1，y)|+|s(x+1，y)-s(x，y)|]/2，s(x，y)為像素點(x，y)的像素值；為y方向上相鄰像素點的像素梯度均值，其計算公式為[|s(x，y)-s(x，y-1)|+|s(x，y+1)-s(x，y)|]/2；
判斷像素點(x，y)的梯度特征Q(x，y)是否為其8領域內(nèi)的最大值；
當像素點(x，y)的梯度特征Q(x，y)是其8領域內(nèi)的最大值時，將該像素點作為邊緣像素點，獲得所有邊緣像素點，將所有邊緣像素點連接，獲得第一圖像中包含預設人物關節(jié)的輪廓，獲得每幀關...
【專利技術屬性】
技術研發(fā)人員：張宏偉，劉明，盧璐，
申請(專利權)人：劉明，北京福樂云數(shù)據(jù)科技有限公司，
類型：發(fā)明
國別省市：北京;11
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。