本發明專利技術公開了一種基于體感的遠程虛擬歌劇指揮系統，在該項發明專利技術的體感模塊采用骨骼追蹤技術大大提高了動作數據捕捉的有效性和穩定性，指揮家可以更加簡單快捷的與計算機進行交互，增強了體感感受；本發明專利技術基于三維仿真引擎的場景復現模塊保證了虛擬模型的動作流暢度與準確度，其對動作數據解析的系統性和便利性有效地補償了因網絡傳輸過程帶來的時間延遲問題，充分保證了該系統各模塊動作的一致性；本發明專利技術與現有技術相比，在交互方式和交互水平上都提高到了一個新的層次，該方法及系統在未來的教育、醫療、展覽等行業具有廣泛的應用前景。
【技術實現步驟摘要】
本專利技術涉及動作捕捉和人機交互領域，尤其涉及一種基于體感的遠程虛擬歌劇指揮系統。
技術介紹
如今，體感裝置在人們生活中逐漸普及開來，并且已經融入到了傳統的人機交互領域，給傳統的人機交互方式帶來的全新的發展思路和想象空間。隨著諸如Kinect等一大批新型動作捕捉設備的出現，人們能夠更加方便、快捷的與虛擬空間產生交互行為。然而，現有的歌劇指揮仍然延續了指揮家現場指揮演出的傳統方式，這已經不能夠滿足當指揮家在客觀因素制約下不能進行現場指揮的情境需求，這將大大影響歌劇的演出效果和觀眾的藝術體驗。
技術實現思路
有鑒于此，本專利技術提供了一種基于體感的遠程虛擬歌劇指揮系統，該遠程虛擬歌劇指揮方法及系統通過RGBD動作捕捉設備對指揮家的指揮動作進行捕捉，并通過網絡通信技術將指揮動作數據傳輸到歌劇演出現場，以達到指揮家異地實時指揮歌劇演出的功能。為了解決上述技術問題，本專利技術是這樣實現的:本專利技術的一種基于體感的遠程虛擬歌劇指揮系統，包括體感模塊、數據傳輸模塊和場景復現模塊；所述體感模塊采用RGBD動作捕捉設備對指揮家身體上預先設定的骨骼節點的三維坐標按照設定的時間間隔分別進行捕捉，并將獲取的各幀三維坐標數據送入數據傳輸模塊；所述數據傳輸模塊采用Socket通信系統接收各骨骼節點的各幀三維坐標數據，并判斷各骨骼節點的當前位置數據是否發生丟失或者畸形:如果否，將各骨骼節點三維坐標數據發送至所述場景復現模塊;如果是，對該骨骼節點當前位置坐標進行糾正，并更新該骨骼節點的三維坐標后，將各骨骼節點三維坐標數據發送至所述場景復現模塊；所述場景復現模塊構建三維仿真場景以及指揮家模型，并根據從數據傳輸模塊接收的各骨骼節點三維坐標數據控制所述指揮家模型對應的骨骼節點移動到相應的位置，實現指揮動作的復現。較佳的，所述RGBD動作捕捉設備可以為Kinect動作捕捉設備、Kinect2.0動作捕捉設備、Asus Xt1n動作捕捉設備或者Intel RealSense動作捕捉設備。較佳的，所述確定的骨骼節點分布在頭部、肩部、手部和四肢，所述骨骼節點的個數為20個。較佳的，所述數據傳輸模塊接收到體感模塊的三維坐標數據后，首先將該三維坐標數據從所述指揮家所在的坐標系轉換為指揮家模型所在的三維仿真場景坐標系下，再傳輸給所述場景復現模塊。較佳的，所述指揮家模型與所述指揮家的比例為1:1.較佳的，所述三維仿真場景和指揮家模型采用LED屏幕或3D投影方式進行顯示。較佳的，所述數據傳輸模塊根據骨骼節點三維坐標的數據傳輸率與所述數據捕捉的時間間隔之間的關系，判定是否出現數據丟失。較佳的，所述數據傳輸模塊根據接收各骨骼節點的各幀三維坐標數據形成各個骨骼節點的相互位置關系，然后基于該位置關系判斷各骨骼節點的位置是否發生畸形。較佳的，在骨骼節點坐標出現丟失或者畸形的情況下，數據傳輸模塊對所述前、后兩幀數據進行平滑并擬合，以實現對骨骼節點位置坐標的糾正。較佳的，所述三維仿真場景和指揮家模型采用三維仿真引擎構建。本專利技術具有如下有益效果:(I)本專利技術提供了一種基于體感的遠程虛擬歌劇指揮系統，在該項專利技術的體感模塊采用骨骼追蹤技術大大提高了動作數據捕捉的有效性和穩定性，指揮家可以更加簡單快捷的與計算機進行交互，增強了體感感受;本專利技術基于三維仿真引擎的場景復現模塊保證了虛擬模型的動作流暢度與準確度，其對動作數據解析的系統性和便利性有效地補償了因網絡傳輸過程帶來的時間延遲問題，充分保證了該系統各模塊動作的一致性;本專利技術與現有技術相比，在交互方式和交互水平上都提高到了一個新的層次，該方法及系統在未來的教育、醫療、展覽等行業具有廣泛的應用前景。【附圖說明】圖1為本專利技術的一種基于體感的遠程虛擬歌劇指揮系統的原理框圖。圖2為為Kinect設備可識別的人體骨骼捕捉節點示意圖。【具體實施方式】下面結合附圖并舉實施例，對本專利技術進行詳細描述。本專利技術提供了一種基于體感的遠程虛擬歌劇指揮方法和系統，該系統的主要目的就是使指揮家能夠異地實時指揮歌劇演出。如圖1所示，包括:體感模塊、數據傳輸模塊和場景復現模塊。所述體感模塊主要包括一個動作捕捉設備，捕捉并實時記錄指揮家的指揮動作；所述數據傳輸模塊是一個Socket通信系統，Socket通信系統將捕捉到的動作數據通過網絡傳輸協議發送到歌劇演出現場的虛擬場景中；所述場景復現模塊包括通信節點并構建三維仿真場景和虛擬的指揮家模型，指揮家本人與虛擬指揮家模型比例為I: I。通信節點接收動作數據并驅動虛擬場景中的指揮家模型，從而實現異地實時指揮演出的功能。本專利技術基于RGBD動作捕捉設備完成體感交互，RGBD動作捕捉設備除了可以記錄常規的RGB值，還可以記錄深度數據的值，為一種深度攝像機設備。其中，動作捕捉設備可以為Kinect動作捕捉設備、Kinect2.0動作捕捉設備、Asus Xt1n動作捕捉設備或者IntelRealSense動作捕捉設備。動作捕捉設備完全摒棄了傳統鍵盤鼠標的交互方式，可識別20個人體骨骼捕捉節點，利用骨骼追蹤技術來建立人體各個關節的坐標，確定人體的頭、手和四肢的位置，每個關節都會用相應的標識例如頭部(Head)、肩部(Shoulder)等，并且使用三維空間坐標(X，Y，Z)來記錄每個關節的空間位置。骨骼追蹤技術為一套完整的骨骼建立骨骼追蹤ID，當指揮家在動作捕捉過程中做出位移較大的動作時，骨骼追蹤ID便會發揮重要作用，使動作連貫完整，從而避免丟失骨骼捕捉節點的位置信息，便于更加穩定地對指揮家的動作進行捕捉、分析和計算并將動作數據信息傳輸給計算機進行體感交互。本專利技術在數據傳輸模塊采用Socket通信系統，Socket通信系統將RGBD動作捕捉設備記錄的骨骼動作數據傳輸給預先設計好的虛擬場景。Socket通信系統接收各骨骼節點的各幀三維坐標數據，并判斷各骨骼節點的當前位置數據是否發生丟失或者畸形:如果否，將各骨骼節點三維坐標數據發送至所述場景復現模塊;如果是，對該骨骼節點當前位置坐標進行糾正，并更新該骨骼節點的三維坐標后，將各骨骼節點三維坐標數據發送至所述場景復現模塊;其中，數據傳輸模塊根據骨骼節點三維坐標的數據傳輸率與所述數據捕捉的時間間隔之間的關系，當該關系出現突變，則可以判定出現數據丟失。數據傳輸模塊根據接收各骨骼節點的各幀三維坐標數據形成各個骨骼節點的相互位置關系，由于骨骼節點的相互位置關系依賴于人體結構特征，如果不符合該特征，則可判斷骨骼節點的位置發生畸形。本專利技術在場景復現模塊以三維仿真引擎為基礎，在三位仿真引擎中編寫通信節點，對Socket傳輸的動作數據進行解析并發布指令給虛擬指揮家模型，從而實現在虛擬場景中的指揮家動作復現。RGBD動作捕捉設備不僅僅當前第1頁1 2 本文檔來自技高網...
【技術保護點】
一種基于體感的遠程虛擬歌劇指揮系統，其特征在于，包括體感模塊、數據傳輸模塊和場景復現模塊；所述體感模塊采用RGBD動作捕捉設備對指揮家身體上預先設定的骨骼節點的三維坐標按照設定的時間間隔分別進行捕捉，并將獲取的各幀三維坐標數據送入數據傳輸模塊；所述數據傳輸模塊采用Socket通信系統接收各骨骼節點的各幀三維坐標數據，并判斷各骨骼節點的當前位置數據是否發生丟失或者畸形：如果否，將各骨骼節點三維坐標數據發送至所述場景復現模塊；如果是，對該骨骼節點當前位置坐標進行糾正，并更新該骨骼節點的三維坐標后，將各骨骼節點三維坐標數據發送至所述場景復現模塊；所述場景復現模塊構建三維仿真場景以及指揮家模型，并根據從數據傳輸模塊接收的各骨骼節點三維坐標數據控制所述指揮家模型對應的骨骼節點移動到相應的位置，實現指揮動作的復現。
【技術特征摘要】
【專利技術屬性】
技術研發人員：李立杰，張龍飛，吳玉峰，丁剛毅，俞峰，杜錦，李鵬，陳洋，
申請(專利權)人：北京理工大學，
類型：發明
國別省市：北京;11
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。