【技術(shù)實現(xiàn)步驟摘要】
本申請涉及車輛，特別涉及一種基于語音識別的車輛控制方法，裝置，設(shè)備及車輛。
技術(shù)介紹
1、隨著智能駕駛技術(shù)的發(fā)展，車載語音控制系統(tǒng)作為現(xiàn)代汽車的重要組成部分，已經(jīng)得到了廣泛的應(yīng)用，特別是在車輛控制系統(tǒng)中，語音識別技術(shù)已成為人機交互的重要方式。
2、相關(guān)技術(shù)中的車載語音識別控制技術(shù)主要是通過識別駕駛員的語音信息實現(xiàn)控制的，這種方式在車輛高速行駛、有噪聲干擾或用戶語音不清晰時，語音識別的準(zhǔn)確性較低，從而導(dǎo)致無法對車輛進行有效控制，進一步對行車安全造成了一定的影響。
技術(shù)實現(xiàn)思路
1、本申請實施例的主要目的在于提供一種基于語音識別的車輛控制方法，裝置，設(shè)備及車輛，旨在提高語音識別的準(zhǔn)確性以實現(xiàn)對車輛的有效控制。
2、為實現(xiàn)上述目的，本申請實施例的一方面提出了一種基于語音識別的車輛控制方法，包括以下步驟：
3、獲取車輛中駕駛員的語音信息和唇部視頻圖像信息；
4、基于所述語音信息和所述唇部視頻圖像信息進行信息融合，得到融合結(jié)果，所述融合結(jié)果包括特征級融合結(jié)果和決策級融合結(jié)果；
5、通過所述特征級融合結(jié)果和所述決策級融合結(jié)果確定駕駛員意圖；
6、根據(jù)所述駕駛員意圖控制車輛執(zhí)行對應(yīng)的操作。
7、在一些實施例中，所述信息融合包括特征級融合，所述基于所述語音信息和所述唇部視頻圖像信息進行信息融合，得到融合結(jié)果，包括：
8、通過所述語音信息提取語音特征；
9、通過所述唇部視頻圖像信息提取唇語特征
10、將所述語音特征與所述唇語特征進行特征融合，得到所述特征級融合結(jié)果。
11、在一些實施例中，所述通過所述語音信息提取語音特征，包括：
12、提取所述語音信息中的聲學(xué)特征，得到所述語音特征。
13、在一些實施例中，所述通過所述唇部視頻圖像信息提取唇語特征，包括：
14、提取所述唇部視頻圖像信息中的唇部運動的視覺特征，得到所述唇語特征。
15、在一些實施例中，所述信息融合包括決策級融合，所述基于所述語音信息和所述唇部視頻圖像信息進行信息融合，得到融合結(jié)果，包括：
16、對所述語音信息進行處理和分析，得到語音文本指令；
17、將所述唇部視頻圖像信息輸入唇語識別模型，得到唇語文本指令，所述唇語識別模型通過訓(xùn)練得到；
18、對所述語音文本指令和所述唇語文本指令進行決策級融合，得到?jīng)Q策級融合結(jié)果。
19、在一些實施例中，所述對所述語音文本指令和所述唇語文本指令進行決策級融合，得到?jīng)Q策級融合結(jié)果，包括：
20、根據(jù)所述語音文本指令、所述語音文本指令所對應(yīng)的置信度、所述唇語文本指令和所述唇語文本指令所對應(yīng)的置信度通過加權(quán)投票或貝葉斯融合進行決策級融合，得到?jīng)Q策級融合結(jié)果。
21、在一些實施例中，所述通過所述特征級融合結(jié)果和所述決策級融合結(jié)果確定駕駛員意圖，包括：
22、通過投票機制或者加權(quán)平均對所述特征級融合結(jié)果和所述決策級融合結(jié)果進行決策，以確定駕駛員意圖。
23、為實現(xiàn)上述目的，本申請實施例的另一方面提出了一種基于語音識別的車輛控制裝置，所述基于語音識別的車輛控制裝置包括：
24、獲取模塊，用于獲取車輛中駕駛員的語音信息和唇部視頻圖像信息；
25、信息融合模塊，用于基于所述語音信息和所述唇部視頻圖像信息進行信息融合，得到融合結(jié)果，所述融合結(jié)果包括特征級融合結(jié)果和決策級融合結(jié)果；
26、確定模塊，用于通過所述特征級融合結(jié)果和所述決策級融合結(jié)果確定駕駛員意圖；
27、控制模塊，用于根據(jù)所述駕駛員意圖控制車輛執(zhí)行對應(yīng)的操作。
28、為實現(xiàn)上述目的，本申請實施例的又一方面提出了一種電子設(shè)備，所述電子設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述實施例的基于語音識別的車輛控制方法。
29、為實現(xiàn)上述目的，本申請實施例的又一方面提出了一種車輛，所述車輛包括上述實施例的一種基于語音識別的車輛控制裝置或上述實施例的電子設(shè)備。
30、本申請實施例至少包括以下有益效果：
31、本申請?zhí)峁┮环N基于語音識別的車輛控制方法，裝置，設(shè)備及車輛，在本申請實施例中，首先，獲取車輛中駕駛員的語音信息和唇部視頻圖像信息；之后，基于語音信息和唇部視頻圖像信息進行信息融合，得到融合結(jié)果，融合結(jié)果包括特征級融合結(jié)果和決策級融合結(jié)果；然后，通過特征級融合結(jié)果和決策級融合結(jié)果確定駕駛員意圖；最后，根據(jù)駕駛員意圖控制車輛執(zhí)行對應(yīng)的操作。本申請實施例提供的基于語音識別的車輛控制方法中對車輛的控制是基于語音信息和唇部視頻圖像信息進行信息融合，并進一步根據(jù)特征級融合結(jié)果和決策級融合結(jié)果確定駕駛員意圖，之后，根據(jù)駕駛員意圖實現(xiàn)對車輛的控制的，因此，相較于相關(guān)技術(shù)中的只是通過識別駕駛員的語音信息實現(xiàn)對車輛的控制，本申請實施例能夠提高語音識別的準(zhǔn)確性，進而實現(xiàn)對車輛的有效控制。
32、本申請的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐了解到。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種基于語音識別的車輛控制方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于語音識別的車輛控制方法，其特征在于，所述信息融合包括特征級融合，所述基于所述語音信息和所述唇部視頻圖像信息進行信息融合，得到融合結(jié)果，包括：
3.根據(jù)權(quán)利要求2所述的基于語音識別的車輛控制方法，其特征在于，所述通過所述語音信息提取語音特征，包括：
4.根據(jù)權(quán)利要求2所述的基于語音識別的車輛控制方法，其特征在于，所述通過所述唇部視頻圖像信息提取唇語特征，包括：
5.根據(jù)權(quán)利要求1所述的基于語音識別的車輛控制方法，其特征在于，所述信息融合包括決策級融合，所述基于所述語音信息和所述唇部視頻圖像信息進行信息融合，得到融合結(jié)果，包括：
6.根據(jù)權(quán)利要求5所述的基于語音識別的車輛控制方法，其特征在于，所述對所述語音文本指令和所述唇語文本指令進行決策級融合，得到?jīng)Q策級融合結(jié)果，包括：
7.根據(jù)權(quán)利要求1所述的基于語音識別的車輛控制方法，其特征在于，所述通過所述特征級融合結(jié)果和所述決策級融合結(jié)果確定駕駛員意圖，包括：
8.
9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至7任一項所述的基于語音識別的車輛控制方法。
10.一種車輛，其特征在于，所述車輛包括如權(quán)利要求8所述的基于語音識別的車輛控制裝置或如權(quán)利要求9所述的電子設(shè)備。
...【技術(shù)特征摘要】
1.一種基于語音識別的車輛控制方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于語音識別的車輛控制方法，其特征在于，所述信息融合包括特征級融合，所述基于所述語音信息和所述唇部視頻圖像信息進行信息融合，得到融合結(jié)果，包括：
3.根據(jù)權(quán)利要求2所述的基于語音識別的車輛控制方法，其特征在于，所述通過所述語音信息提取語音特征，包括：
4.根據(jù)權(quán)利要求2所述的基于語音識別的車輛控制方法，其特征在于，所述通過所述唇部視頻圖像信息提取唇語特征，包括：
5.根據(jù)權(quán)利要求1所述的基于語音識別的車輛控制方法，其特征在于，所述信息融合包括決策級融合，所述基于所述語音信息和所述唇部視頻圖像信息進行信息融合，得到融合結(jié)果，包括：
6....
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：田井權(quán)，關(guān)宇韜，李海霞，楊雪珠，張澤鈺，
申請(專利權(quán))人：中國第一汽車股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。