全景視頻控制方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)提供了全景視頻控制方法及系統(tǒng)，該全景視頻控制方法通過實(shí)時獲得控制權(quán)用戶的面部特征，并匹配控制權(quán)用戶的面部特征與預(yù)先訓(xùn)練的不同全景視頻角度下的樣本面部特征，確定當(dāng)前具有控制權(quán)的用戶的位角數(shù)據(jù)，從而使全景視頻的角度能夠隨控制權(quán)的用戶的面部特征的改變而改變，這樣，全景視頻的角度能夠跟隨面部的視角而隨時改變，操作簡單，無需學(xué)習(xí)，且靈活性高。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及全景視頻
，特別涉及一種全景視頻控制方法、系統(tǒng)。
技術(shù)介紹
全景視頻是在720°或360°拍攝的技術(shù)至上發(fā)展延伸而來的，采用動態(tài)的視頻圖像包含拍攝角度左右上下360°的任意觀看角度的信息，讓用戶有一種真正意義上身臨其境的感覺。在觀看過程中，用戶需要一套相應(yīng)的控制系統(tǒng)來實(shí)時反饋用戶需要觀看的角度。現(xiàn)有技術(shù)中的采用人機(jī)交互的方式控制調(diào)整全景視頻圖像的觀察角度，這是進(jìn)行全景視屏角度切換的主要方式，在人機(jī)交互中主要通過以下方法實(shí)現(xiàn)：第一種，全景視屏系統(tǒng)提供全景視頻的控制界面，用戶在控制界面上輸入相應(yīng)的指令后，系統(tǒng)進(jìn)行處理分析控制全景畫面。此種方法在視場角度的不斷變化時，靈活性差，調(diào)節(jié)繁瑣。第二種，觀看用戶通過特定的人體指示動作與全景視頻系統(tǒng)進(jìn)行交互，也就是說，全景視頻系統(tǒng)通過識別人體特定的動作完成相應(yīng)的指令。此種方法對用戶的學(xué)習(xí)能力要求高，必須要求用戶能夠準(zhǔn)確的學(xué)習(xí)各種特定的人體指示動作，從而被系統(tǒng)識別，才能夠?qū)崿F(xiàn)全景視頻的角度調(diào)整。第三種，用戶通過第三方設(shè)備與全景視頻系統(tǒng)連接，雖然能夠適合很多用戶的操作，但是，成本較高。有鑒于此，亟待對全景視頻系統(tǒng)進(jìn)行優(yōu)化改進(jìn)，在無需第三方設(shè)備的前提下，使全景視頻系統(tǒng)的操作便利、靈活，用戶的適用范圍廣。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)提供了一種全景視頻控制方法及系統(tǒng)，該全景視頻控制方法通過實(shí)時獲得控制權(quán)用戶的面部特征，并匹配控制權(quán)用戶的面部特征與預(yù)先訓(xùn)練的不同全景視頻角度下的樣本面部特征，確定當(dāng)前具有控制權(quán)的用戶的位角數(shù)據(jù)，從而使全景視頻的角度能夠隨控制權(quán)的用戶的面部特征的改變而改變，這樣，全景視頻的角度能夠跟隨面部的視角而隨時改變，操作簡單，無需學(xué)習(xí)，且靈活性高。本專利技術(shù)提供的全景視頻控制方法，包括：a、從攝像裝置采集的全景視頻場景內(nèi)的所有用戶的圖像數(shù)據(jù)中分割出每個用戶的體態(tài)特征和面部特征；b、根據(jù)每個用戶的體態(tài)特征與預(yù)先訓(xùn)練的用于搶占控制權(quán)的第一體態(tài)樣本特征的匹配結(jié)果，從所有用戶中識別出當(dāng)前具有控制權(quán)的用戶；c、根據(jù)當(dāng)前具有控制權(quán)的用戶的面部特征與預(yù)先訓(xùn)練的不同全景視頻角度下的樣本面部特征的匹配結(jié)果，確定當(dāng)前具有控制權(quán)的用戶的面部特征所對應(yīng)的位角數(shù)據(jù)；d、根據(jù)確定的位角數(shù)據(jù)，生成對應(yīng)的位角調(diào)節(jié)指令，以調(diào)節(jié)全景視頻的視場角。可選地，所述步驟b之后步驟c之前，該方法進(jìn)一步包括：e、當(dāng)從所有用戶識別出當(dāng)前具有控制權(quán)的用戶時，將面部追蹤框調(diào)取于屏幕上，以輸出包圍當(dāng)前具有控制權(quán)的用戶的面部特征，實(shí)時獲取當(dāng)前具有控制權(quán)的用戶的面部特征。可選地，所述步驟b之后，該方法進(jìn)一步包括：f、在當(dāng)前用戶的體態(tài)特征匹配用于觸發(fā)控制操作的第二體態(tài)樣本特征時，產(chǎn)生對應(yīng)的控制命令。可選地，所述步驟f包括：f1、從所有用戶中識別出體態(tài)特征與第二體態(tài)樣本特征匹配的候選用戶；f2、將每個候選用戶的面部特征與具有控制權(quán)的用戶的面部特征進(jìn)行匹配；f3、將所有候選用戶中匹配度最高的一個用戶確定為具有控制權(quán)的用戶，并依據(jù)該用戶匹配第二體態(tài)樣本特征的體態(tài)特征產(chǎn)生對應(yīng)的控制命令。可選地，進(jìn)一步包括：g、在當(dāng)前用戶發(fā)出的語音命令與觸發(fā)控制操作的語音樣本特征匹配時，產(chǎn)生對應(yīng)的控制命令。一種全景視頻系統(tǒng)，包括：圖像處理模塊，用于從收攝像裝置采集觀看全景視頻場景內(nèi)的所有用戶的圖像數(shù)據(jù)中分割出每個用戶的體態(tài)特征和面部特征；分析模塊，用于根據(jù)每個用戶的體態(tài)特征與預(yù)先訓(xùn)練的用于搶占控制權(quán)的第一體態(tài)樣本特征的匹配結(jié)果，從所有用戶中識別出當(dāng)前具有控制權(quán)的用戶；以及，根據(jù)當(dāng)前具有控制權(quán)的用戶的面部特征與預(yù)先訓(xùn)練的不同全景視頻角度下的樣本面部特征的匹配結(jié)果，確定當(dāng)前具有控制權(quán)的用戶的面部特征數(shù)據(jù)所對應(yīng)的位角數(shù)據(jù)；業(yè)務(wù)控制模塊，用于根據(jù)分析模塊確定的位角數(shù)據(jù)，生成對應(yīng)的位角指令，以調(diào)節(jié)全景視頻的視場角。可選地，所述全景視頻系統(tǒng)進(jìn)一步包括：面部追蹤模塊，用于在屏幕輸出包圍當(dāng)前具有控制權(quán)的用戶的面部特征的面部追蹤框，使所述分析模塊根據(jù)所述面部追蹤框的位置實(shí)時獲取當(dāng)前具有控制權(quán)的用戶的面部特征。可選地，面部特征包括：頭部輪廓特征、鼻部輪廓特征、眼球特征、特定輪廓的弧度特征。可選地，所述全景視頻系統(tǒng)進(jìn)一步包括視頻模塊，接收所述業(yè)務(wù)控制模塊的位角指令，并通過所述位角指令調(diào)節(jié)全景視頻的視場角。可選地，所述全景視頻系統(tǒng)進(jìn)一步包括語音識別模塊，用于獲得用戶的語音命令，并將該語音命令與語音樣本特征匹配，以產(chǎn)生對應(yīng)的控制命令。附圖說明圖1為本專利技術(shù)具體實(shí)施例中的全景視頻控制方法的示意圖；圖2為本專利技術(shù)具體實(shí)施例中全景視頻控制方法的基本操作流程示意圖；圖3為本專利技術(shù)具體實(shí)施例中具有控制權(quán)用戶的面部特征追蹤流程示意圖；圖4為本專利技術(shù)具體實(shí)施例中具有控制權(quán)的用戶的設(shè)置流程；圖5為本專利技術(shù)具體實(shí)施例中全景視頻系統(tǒng)的結(jié)構(gòu)示意圖。具體實(shí)施方式為了使本專利技術(shù)的目的、技術(shù)方案以及優(yōu)點(diǎn)更加清楚明白，以下參照附圖并舉實(shí)施例，對本專利技術(shù)進(jìn)一步詳細(xì)說明。本專利技術(shù)以智能電視的全景視頻角度的調(diào)節(jié)為例。現(xiàn)有技術(shù)中，通過人機(jī)交互的對全景視頻的角度進(jìn)行調(diào)節(jié)，但是，存在全景視頻角度調(diào)節(jié)的準(zhǔn)確性差、調(diào)節(jié)方式的靈敏性低且操作繁瑣的問題。為了解決上述問題，本專利技術(shù)提供了一種全景視頻控制方法，通過實(shí)時獲得控制權(quán)用戶的面部特征，并匹配控制權(quán)用戶的面部特征與預(yù)先訓(xùn)練的不同全景視頻角度下的樣本面部特征，確定當(dāng)前具有控制權(quán)的用戶的位角數(shù)據(jù)，從而使全景視頻的角度能夠隨控制權(quán)的用戶的面部特征的改變而改變，這樣，全景視頻的角度能夠跟隨面部的視角而隨時改變，操作簡單，無需學(xué)習(xí)，且靈活性高。在具體實(shí)施例中，結(jié)合圖1和圖2所示，本專利技術(shù)提供的一種全景視頻控制方法包括；步驟a、從攝像裝置采集的全景視屏場景內(nèi)的所有用戶的圖像數(shù)據(jù)中分割出每個用戶的體態(tài)特征和面部特征。智能電視安裝有攝像頭，采集在觀看全景視頻場景內(nèi)的所有用戶的圖像數(shù)據(jù)，通過圖像預(yù)處理技術(shù)將圖像數(shù)據(jù)中的每個用戶進(jìn)行分割，再將分割的每個用戶的圖像進(jìn)行處理，針對特殊區(qū)域進(jìn)行分割，具體是分割得到在全景視頻觀看中起到作用的體態(tài)特征和面部特征。在剛啟動智能電視的全景視頻后，現(xiàn)將全部用戶的面部特征存儲在用戶數(shù)據(jù)庫中，以用于以后確認(rèn)切換具有控制權(quán)的用戶時進(jìn)行識別確定。步驟b、根據(jù)每個用戶的體態(tài)特征與預(yù)先訓(xùn)練的用于搶占控制權(quán)的第一體態(tài)樣本特征的匹配結(jié)果，從所有用戶中識別出當(dāng)前具有控制權(quán)的用戶。在剛開啟智能電視的全景視頻時，會將分割得到的每個用戶的體態(tài)特征，或者只有一個用戶做出了要求具有控制權(quán)的體態(tài)特征時，調(diào)取出存儲在樣本體態(tài)庫中的用于搶占控制權(quán)的第一體態(tài)樣本以確定有效的要求控制權(quán)的體態(tài)特征。當(dāng)確定后，該用戶將具有控制全景視頻角度的控制權(quán)，從而將根據(jù)該用戶的面部特征來調(diào)節(jié)全景視頻的角度和位置。該步驟在整個全景視頻觀看中是循環(huán)進(jìn)行的，也就是說，每次執(zhí)行流程識別出的當(dāng)前具有控制權(quán)的用戶可以與前一次相同，也可以不同于前一次的。即在觀看全景視頻過程中，結(jié)合圖3和圖4，圖中的具體實(shí)施例以手勢特征作為體態(tài)特征。雖然只根據(jù)具有控制權(quán)的用戶的面部特征進(jìn)行視角的調(diào)整，但是，還是會對所有用戶的體態(tài)特征進(jìn)行識別分析，實(shí)時判斷是否有其他的用戶做出了搶占控制權(quán)的體態(tài)特征，也就是說需要判斷該體態(tài)特征是否具有控制權(quán)，當(dāng)識別的體態(tài)特征不是當(dāng)前具有控制權(quán)的用戶的，停止對當(dāng)前具有控制權(quán)用戶的面部特征的識別，即終止感知控制；識本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種全景視頻控制方法，其特征在于，包括：a、從攝像裝置采集的觀看全景視頻場景內(nèi)的所有用戶的圖像數(shù)據(jù)中分割出每個用戶的體態(tài)特征和面部特征；b、根據(jù)每個用戶的體態(tài)特征與預(yù)先訓(xùn)練的用于搶占控制權(quán)的第一體態(tài)樣本特征的匹配結(jié)果，從所有用戶中識別出當(dāng)前具有控制權(quán)的用戶；c、根據(jù)當(dāng)前具有控制權(quán)的用戶的面部特征與預(yù)先訓(xùn)練的不同全景視頻角度下的樣本面部特征的匹配結(jié)果，確定當(dāng)前具有控制權(quán)的用戶的面部特征所對應(yīng)的位角數(shù)據(jù)；d、根據(jù)確定的位角數(shù)據(jù)，生成對應(yīng)的位角調(diào)節(jié)指令，以調(diào)節(jié)全景視頻的視場角。

【技術(shù)特征摘要】
1.一種全景視頻控制方法，其特征在于，包括：a、從攝像裝置采集的觀看全景視頻場景內(nèi)的所有用戶的圖像數(shù)據(jù)中分割出每個用戶的體態(tài)特征和面部特征；b、根據(jù)每個用戶的體態(tài)特征與預(yù)先訓(xùn)練的用于搶占控制權(quán)的第一體態(tài)樣本特征的匹配結(jié)果，從所有用戶中識別出當(dāng)前具有控制權(quán)的用戶；c、根據(jù)當(dāng)前具有控制權(quán)的用戶的面部特征與預(yù)先訓(xùn)練的不同全景視頻角度下的樣本面部特征的匹配結(jié)果，確定當(dāng)前具有控制權(quán)的用戶的面部特征所對應(yīng)的位角數(shù)據(jù)；d、根據(jù)確定的位角數(shù)據(jù)，生成對應(yīng)的位角調(diào)節(jié)指令，以調(diào)節(jié)全景視頻的視場角。2.根據(jù)權(quán)利要求1所述的全景視頻控制方法，其特征在于，所述步驟b之后步驟c之前，該方法進(jìn)一步包括：e、當(dāng)從所有用戶識別出當(dāng)前具有控制權(quán)的用戶時，將面部追蹤框調(diào)取于屏幕上，以輸出包圍當(dāng)前具有控制權(quán)的用戶的面部特征，實(shí)時獲取當(dāng)前具有控制權(quán)的用戶的面部特征。3.根據(jù)權(quán)利要求1所述的全景視頻控制方法，其特征在于，所述步驟b之后，該方法進(jìn)一步包括：f、在當(dāng)前用戶的體態(tài)特征匹配用于觸發(fā)控制操作的第二體態(tài)樣本特征時，產(chǎn)生對應(yīng)的控制命令。4.根據(jù)權(quán)利要求2所述的全景視頻控制方法，其特征在于，所述步驟f包括：f1、從所有用戶中識別出體態(tài)特征與第二體態(tài)樣本特征匹配的候選用戶；f2、將每個候選用戶的面部特征與具有控制權(quán)的用戶的面部特征進(jìn)行匹配；f3、將所有候選用戶中匹配度最高的一個用戶確定為具有控制權(quán)的用戶，并依據(jù)該用戶匹配第二體態(tài)樣本特征的體態(tài)特征產(chǎn)生對應(yīng)的控制命令。5.根據(jù)權(quán)利要求1所述的全景視頻控制方法，其特征在于，進(jìn)一步包...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：舒操，劉明，王秋峰，
申請(專利權(quán))人：三星電子中國研發(fā)中心，三星電子株式會社，
類型：發(fā)明
國別省市：江蘇;32