一種利用視覺進(jìn)行非接觸式人機(jī)交互的系統(tǒng)，屬于人機(jī)交互領(lǐng)域。通過一種信息在視覺通道上流通的方式實(shí)現(xiàn)人與機(jī)器人之間的非接觸式交互。該系統(tǒng)包括：機(jī)器視覺單元，用于獲取特定光照條件下的使用者面部圖像；信息處理分析單元，用于處理面部圖像并計(jì)算使用者的視線方向，分析使用者眼動狀態(tài)提取出蘊(yùn)含使用者意圖的信息，識別意圖信息決策機(jī)器人應(yīng)反饋的交互信息；交互信息顯示單元，用于以能給人產(chǎn)生視覺刺激的方式為使用者提供機(jī)器人的反饋信息，并作為機(jī)器人與使用者交互的最直接的平臺。本發(fā)明專利技術(shù)充分利用視覺通道獲取、表達(dá)信息的自然性、直接性和便捷性，使人機(jī)交互過程更簡便、迅速、易操作，且對信息通道帶寬要求較低。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種非接觸式的人機(jī)交互系統(tǒng)，屬于人機(jī)交互領(lǐng)域，尤其涉及一種利 用視覺進(jìn)行非接觸式人機(jī)交互的系統(tǒng)，用于實(shí)現(xiàn)人與機(jī)器人之間自然、和諧的交流。
技術(shù)介紹
機(jī)器人技術(shù)發(fā)展至今，正在朝著更加智能化、擬人化的方向深入，并且人們都期 望機(jī)器人能真正融入日常生活，在各個(gè)方面成為人們的生活伙伴。人機(jī)交互技術(shù)，作為人與機(jī)器(機(jī)器人)之間信息交流的接口技術(shù)，是人與機(jī)器 人之間信息溝通的橋梁；是使機(jī)器人能更好的融入人們生活的關(guān)鍵。因此，人們付出 了近半個(gè)多世紀(jì)的努力，注入了大量精力來研究開發(fā)更加自然、和諧的人機(jī)交互方式。 如今，隨著多模態(tài)人機(jī)交互的提出與深入發(fā)展，已經(jīng)進(jìn)入了第四代階段。新一代人機(jī) 交互的輸入方式不再局限于傳統(tǒng)意義上的接觸式，如鍵盤、鼠標(biāo)、觸摸屏及操縱桿等， 而更多的是一些新發(fā)展起來的與計(jì)算機(jī)無接觸的方式，如語音、手勢、腦波和視線等。 其中將視線信息作為輸入的交互技術(shù)，以其獨(dú)具的直接性、自然性和雙向性成為了最 具潛力的新一代人機(jī)接口技術(shù)。這種與人無接觸的方式使得在一些不具備接觸條件下的交互成為可能。比如在某 些場合下，由于危險(xiǎn)或不便使得使用者無法與機(jī)器進(jìn)行接觸，這樣的無接觸方式就具 有更大的優(yōu)勢。還有，對于行動不便或那些沒有機(jī)器操作經(jīng)驗(yàn)的人來說，這樣的方式 更自然、直接且容易適應(yīng)并掌握。如專利文獻(xiàn)ZL200410025125.6中公開的一種人機(jī) 交互方法就是以視覺、語音以及手動操作相結(jié)合的多通道方式實(shí)現(xiàn)人機(jī)交互的。此種 交互方法以視覺通道為主來輸入信息，使用者通過視覺過程來選擇目標(biāo)，而要激活目 標(biāo)則要通過語音或手動操作，是傳統(tǒng)交互方式的一種改進(jìn)。這里提出的利用視覺進(jìn)行交互的方式是完全依靠視覺通道，使用者只利用視覺活 動來實(shí)現(xiàn)與機(jī)器人信息交互。目前此種方式的交互技術(shù)更多的停留在人對機(jī)器的單方 向信息輸入，具體表現(xiàn)為人對機(jī)器的控制，而沒有真正體現(xiàn)人與機(jī)器之間的信息交流 與互動，因?yàn)闄C(jī)器本身缺乏對人的行為的"理解"與"思考"，只是一味地服從命令。 造成此種境況的原因主要是這種交互方式存在一個(gè)公認(rèn)的技術(shù)瓶頸"米達(dá)斯"接觸問題。這個(gè)問題最早由Jacob于1990年在他發(fā)表的名為"What You Look At Is What You Get: Eye Movement-Based Interaction Techniques," Proc. ACM CHI'90 Human Factors in Computing Systems Conference, pp. 11-18， Addison-Wesley/ACM Press"的文章中提出的。他指出將視線落點(diǎn)信息作為交互的輸入信息與傳統(tǒng)的將手動鼠標(biāo)位置 信息輸入的方式不同，眼睛不像手一樣能靠"點(diǎn)擊"來明確觸發(fā)命令和表達(dá)意圖。以 他當(dāng)時(shí)提出的方法，視線只要落在了某個(gè)按鈕上就會觸發(fā)命令，機(jī)器不能有效的區(qū)分 有意眼動命令與無意眼動命令，這使得操作者的每一次眼動都會觸發(fā)一條命令，而有 時(shí)人只想隨意瀏覽而無意觸發(fā)命令，這樣就會給操作者帶來一些困擾，阻礙此種交互 方式的廣泛應(yīng)用。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的是提供一種新的利用視覺進(jìn)行人機(jī)交互的系統(tǒng)。這種交互系統(tǒng)只利 用視覺通道，完全實(shí)現(xiàn)了交互過程中信息在視覺通道上的雙向流通，目卩，人通過視覺 注意來表達(dá)意向，機(jī)器人通過機(jī)器視覺來接收信息并通過分析"理解"人的目的；然 后機(jī)器人通過能給人產(chǎn)生視覺刺激的方式發(fā)回反饋信息，人再通過視覺系統(tǒng)接收機(jī)器 人傳達(dá)的信息進(jìn)行判斷，再繼續(xù)向機(jī)器人發(fā)出信息。這樣使交互過程融入了機(jī)器人本 身的智能，真正達(dá)到了交互的目的。同時(shí)，這樣的交互系統(tǒng)能克服"米達(dá)斯"接觸 問題，提高了這種交互方式的可操作性和可靠性，實(shí)現(xiàn)了自然、和諧的人機(jī)交互。本專利技術(shù)提供了一種利用視覺進(jìn)行非接觸式人機(jī)交互的系統(tǒng)，該系統(tǒng)包括機(jī)器視 覺單元、信息處理分析單元和交互信息顯示單元。機(jī)器視覺單元是利用發(fā)出特殊波長的主動光源均勻照射使用者面部，結(jié)合配套的 敏感相機(jī)，持續(xù)獲得此光照環(huán)境下的使用者的面部圖像。信息處理分析單元是由使用者面部圖像檢測出其視線方向，分析其眼動狀態(tài)并提 取出蘊(yùn)含意圖的信息，識別意圖信息做出相應(yīng)的反饋決策。交互信息顯示單元是以能給人產(chǎn)生視覺剌激的方式為使用者提供機(jī)器人的反饋 信息，并作為機(jī)器人與使用者交互最直接的平臺，成為二者之間信息互通的結(jié)合部。機(jī)器視覺單元將獲取的使用者面部圖像持續(xù)傳送至信息處理分析單元，信息處理 分析單元又將反饋決策以命令形式發(fā)送至交互信息顯示單元。所述機(jī)器視覺單元包括兩個(gè)發(fā)出特定波長的近紅外光的主動光源，用于均勻地照射使用者的面部。配套相機(jī)，用于持續(xù)接收使用者面部反射回的由所述光源發(fā)出的光線，形成在此 光照條件下使用者面部的圖像。兩個(gè)近紅外光源對稱地分置于相機(jī)兩側(cè)，且兩光源各自的俯仰角度和和轉(zhuǎn)動角度 均分別可調(diào)，用于更大范圍地均勻照射使用者面部，同時(shí)與配套相機(jī)位于同一活動的 平臺上形成一個(gè)整體， 一起移動和轉(zhuǎn)動。所述信息處理分析單元包括視線檢測模塊、狀態(tài)分析及意圖提取模塊、決策模 塊、交互信息產(chǎn)生模塊和記憶模塊。視線檢測模塊檢測出使用者當(dāng)前的視線信息，同時(shí)將視線信息輸送至狀態(tài)分析及 意圖提取模塊和記憶模塊。狀態(tài)分析及意圖提取模塊同時(shí)連接至視線檢測模塊和記憶模塊，根據(jù)視線檢測模 塊傳入的使用者當(dāng)前視線信息和記憶模塊傳入的歷史視線信息，從中提取出使用者當(dāng) 前的意圖信息同時(shí)輸送至決策模塊和記憶模塊。決策模塊同時(shí)連接至狀態(tài)分析及意圖提取模塊和記憶模塊，接收狀態(tài)分析及意圖 提取模塊傳入的使用者當(dāng)前的意圖信息，并同時(shí)接收記憶模塊傳入的歷史意圖信息和 任務(wù)管理參量，從中分析出使用者的真正意圖做出相應(yīng)的反饋決策向所述交互信息產(chǎn) 生模塊發(fā)出指令、更新任務(wù)管理參量輸送至記憶模塊。任務(wù)管理參量是以數(shù)字形式表示當(dāng)前任務(wù)執(zhí)行狀態(tài)的用于為決策提供參考的變量。交互信息產(chǎn)生模塊連接至決策模塊，執(zhí)行決策模塊傳入的指令并控制交互信息顯 示單元的行動。記憶模塊同時(shí)連接至視線檢測模塊、狀態(tài)分析及意圖提取模塊和決策模塊，存儲 歷史視線方向信息、眼動狀態(tài)信息、歷史意圖信息和任務(wù)管理參量。視線檢測模塊是根據(jù)機(jī)器視覺單元提供的使用者面部圖像，利用圖像處理方法提 取出表征視線方向的參量，利用一個(gè)參數(shù)可自調(diào)整的映射模型將視線方向參量映射成 實(shí)際視線方向，并利用相應(yīng)的空間幾何模型計(jì)算出相應(yīng)的視線落點(diǎn)位置，將視線方向 和落點(diǎn)位置一起作為視線信息同時(shí)輸送至狀態(tài)分析及意圖提取模塊和記憶模塊。參數(shù)可自調(diào)整的映射模型的參數(shù)可根據(jù)使用者頭部相對于相機(jī)的不同位置進(jìn)行 有規(guī)律地自調(diào)整，以適應(yīng)使用者在一定范圍內(nèi)的自然頭動。狀態(tài)分析及意圖提取模塊是計(jì)算視線檢測模塊傳入的當(dāng)前視線方向與記憶模塊7輸入的歷史視線方向的差作為眼動速率用于識別當(dāng)前眼動狀態(tài)，濾除無意圖信息的眼 跳狀態(tài)，再根據(jù)歷史視線落點(diǎn)位置分布情況進(jìn)一步進(jìn)行鑒別，對確定為注視的狀態(tài)， 計(jì)算注視狀態(tài)時(shí)段內(nèi)所有的視線落點(diǎn)位置均值和方差、還有所有眼動速率的均值和方 差及持續(xù)注視狀態(tài)的具體時(shí)長，其中視線落點(diǎn)位置均值又稱為注視位置，將上述這五 個(gè)數(shù)據(jù)共同作為蘊(yùn)含使用者意圖的信息分別輸送至決策模塊和記憶模塊。決策模塊是根據(jù)狀態(tài)分析及意圖提取模塊傳入的當(dāng)前意圖信息中包含的注視位 置進(jìn)行有效性判別，判別為無效本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種利用視覺進(jìn)行非接觸式人機(jī)交互的系統(tǒng)，其特征在于，該系統(tǒng)包括：機(jī)器視覺單元、信息處理分析單元和交互信息顯示單元，其中機(jī)器視覺單元是利用特殊波長的主動光源均勻照射使用者面部，結(jié)合配套的敏感相機(jī)，持續(xù)獲得此光照環(huán)境下的使用者的面部圖像；信息處理分析單元是由使用者面部圖像檢測出其視線方向，分析其眼動狀態(tài)并提取出蘊(yùn)含意圖的信息，識別意圖信息做出相應(yīng)的反饋決策；交互信息顯示單元是以能給人產(chǎn)生視覺刺激的方式為使用者提供機(jī)器人的反饋信息；機(jī)器視覺單元將獲取的使用者面部圖像持續(xù)傳送至信息處理分析單元，信息處理分析單元又將反饋決策以命令形式發(fā)送至交互信息顯示單元。
【技術(shù)特征摘要】
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃瑩，王志良，
申請(專利權(quán))人：北京科技大學(xué)，
類型：發(fā)明
國別省市：11[中國|北京]
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。