【技術實現步驟摘要】
本專利技術涉及船載錄音設備，具體涉及一種船用小型化網絡艙室人聲錄取方法與裝置。
技術介紹
1、在航海領域，目前船舶操作模擬訓練過程中，往往需要復盤訓練過程，其中通過回放訓練過程中的錄音對于調查取證來說非常重要，尤其是對于船員的人聲和語音的錄制回放，是不可缺少的一環。傳統上船內的錄音設備都是通過一顆麥克風用于對用戶的聲音進行拾音，這種方式的最大缺點是受限于單通道信號增強算法的性能，無法有效屏蔽船上的環境噪聲(發動機、風聲、海浪聲等)，從而會影響回放調查取證的有效性。
2、現有的缺點：目前船載的錄音設備僅使用單顆麥克風，只能錄制現場的聲音，卻無法有效去除船上環境中各類惡劣的噪聲，如發動機聲、風聲、海浪聲等，更無法智能拾取特定人(如指揮員等)的語音指令，以備復盤查證。
技術實現思路
1、有鑒于此，本專利技術提供了一種船用小型化網絡艙室人聲錄取方法與裝置，通過使用基于麥克風陣列的分布式拾音終端，再配合陣列信號處理算法，通過聲源定向(doa)和波束成形，實現強指向拾音的功能，并有效消除環境噪聲，增強人聲，并通過聲紋識別，智能判斷需要提取的特定人(如指揮員)的語音指令，從而保證回放訓練時的用戶體驗。
2、為達到上述目的，本專利技術的技術方案為一種船用小型化網絡艙室人聲錄取方法，包括如下步驟：
3、步驟(1)通過麥克風陣列拾取原始的聲音信號
4、步驟(2)對原始的聲音信號進行聲音片段截取，順次選取聲音片段進行處理，通過人聲識別算法判斷當前處理的聲音
5、步驟(3)識別是否出現了預設的特定人，如果出現了特定人，則執行步驟(4)，若未出現特定人，則執行步驟(5)使用常規的波束成形算法，通過波束成形算法向特定方向進行聲音增強。
6、步驟(4)通過多聲源定向算法計算出聲源方向，然后對各聲源方向進行波束成形得到定向增強后的聲音信號，然后用各增強后的聲音信號分別進行聲紋識別，根據聲紋識別的打分，對于預定的特定人的打分最高的方向作為目標方向，對目標方向的增強后輸出信號作為特定人的話音信號；執行步驟(6)
7、步驟(5)先使用波達方向估計doa算法獲取聲源方向，然后以聲源方向為麥克風陣列指向使用波束成形算法對麥克風陣列拾取的原始的聲音信號進行增強，得到增強后的聲音信號；執行步驟(6)。
8、步驟(6)將麥克風陣列拾取的多路聲音信號中選取一路作為第一通道，將步驟(5)獲得的增強后的聲音信號或者步驟(4)獲得的特定人的話音作為第二通道，組成一個兩通道的聲音信號，再按照udp協議進行封包，組成udp數據包。
9、步驟(7)通過網絡將數據包發送給后臺服務器。
10、進一步地，麥克風陣列為由2個以上麥克風組成的聲傳感器陣列。
11、進一步地，人聲識別算法采用tcn網絡：
12、tcn網絡分為tcn模塊1、tcn模塊2和tcn模塊3，tcn模塊1-3具有相同的結構，均由空洞卷積、bn層、relu層和dropout層順次連接而成，其中空洞卷積采用兩側層因果卷積疊加而成，卷積核大小為2，bn層、relu層和dropout層分別是常規的批量歸一化層、relu激活函數層和丟棄層；還包括：1x1卷積層由輸入直接連接到模塊輸出的relu激活函數層，形成殘差連接，用于避免網絡退化。
13、進一步地，步驟4包括如下具體步驟：
14、s401：基于時延估計的聲源定位方法，該方法首先通過聲傳感器接收信號估計出聲音到達不同位置聲傳感器的時間差，然后利用時延值和聲傳感器的位置信息構造多個雙曲面，通過計算多個雙曲面的交點得到聲源的位置估計。
15、s402：對于多個聲源的方位，分別進行波束成形增強，然后得到的輸出y(t)用于s403的聲紋識別打分。
16、s403：針對各增強后的聲音信號分別進行聲紋識別，聲紋識別采用的是tcn網絡，聲紋識別網絡，計算出針對預定人模型的網絡輸出的似然值，選擇最大的值對應的方向作為預定人的位置方向，選擇對應方向的增強后輸出作為待傳輸信號。
17、本專利技術另外一個實施例還提供了一種船用小型化網絡艙室人聲錄取裝置，包括麥克風陣列、人聲識別模塊、聲紋識別模塊、聲紋似然波束成形模塊、常規波束成形模塊以及udp封包模塊。
18、麥克風陣列用于拾取原始的聲音信號，送入人聲識別模塊。
19、人聲識別模塊對原始的聲音信號進行聲音片段截取，順次選取聲音片段進行處理，通過人聲識別算法判斷當前處理的聲音片段中是否存在人聲，如果存在人聲，則將當前處理的聲音片段送入聲紋識別模塊，若不存在人聲，則將當前處理的聲音片段送入環境噪聲庫進行存儲。
20、聲紋識別模塊用于識別是否出現了預設的特定人，如果出現了特定人，則將當前處理的聲音片段送入聲紋似然波束成形模塊，若未出現特定人，則常規波束成形模塊。
21、聲紋似然波束成形模塊，通過多聲源定向算法計算出聲源方向，然后對各聲源方向進行波束成形得到定向增強后的聲音信號，然后用各增強后的聲音信號分別進行聲紋識別，根據聲紋識別的打分，對于預定的特定人的打分最高的方向作為目標方向，對目標方向的增強后輸出信號作為特定人的話音信號，送入udp封包模塊。
22、常規波束成形模塊先使用波達方向估計doa算法獲取聲源方向，然后以聲源方向為麥克風陣列指向使用波束成形算法對當前處理的聲音片段進行增強，得到增強后的聲音信號，送入udp封包模塊。
23、udp封包模塊將麥克風陣列拾取的多路聲音信號中選取一路作為第一通道，將常規波束成形模塊獲得的增強后的聲音信號或者聲紋似然波束成形模塊獲得的特定人的話音作為第二通道，組成一個兩通道的聲音信號，再按照udp協議進行封包，組成udp數據包；然后通過網絡將數據包發送給后臺服務器。
24、進一步地，麥克風陣列為由2個以上麥克風組成的聲傳感器陣列。
25、進一步地，人聲識別模塊采用tcn網絡判斷當前處理的聲音片段中是否存在人聲：
26、tcn網絡分為tcn模塊1、tcn模塊2和tcn模塊3，tcn模塊1-3具有相同的結構，均由空洞卷積、bn層、relu層和dropout層順次連接而成，其中空洞卷積采用兩側層因果卷積疊加而成，卷積核大小為2，bn層、relu層和dropout層分別是常規的批量歸一化層、relu激活函數層和丟棄層；還包括：1x1卷積層由輸入直接連接到模塊輸出的relu激活函數層，形成殘差連接，用于避免網絡退化。
27、進一步地，聲紋似然波束成形模塊，具體執行如下步驟：
28、基于時延估計的聲源定位方法，該方法首先通過聲傳感器接收信號估計出聲音到達不同位置聲傳感器的時間差，然后利用時延值和聲傳感器的位置信息構造多個雙曲面，通過計算多個雙曲面的交點得到聲源的位置估計。
29、本文檔來自技高網...
【技術保護點】
1.一種船用小型化網絡艙室人聲錄取方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種船用小型化網絡艙室人聲錄取方法，其特征在于，所述麥克風陣列為由2個以上麥克風組成的聲傳感器陣列。
3.如權利要求1所述的一種船用小型化網絡艙室人聲錄取方法，其特征在于，所述人聲識別算法采用TCN網絡：
4.如權利要求1所述的一種船用小型化網絡艙室人聲錄取方法，其特征在于，所述步驟4包括如下具體步驟：
5.一種船用小型化網絡艙室人聲錄取裝置，其特征在于，包括麥克風陣列、人聲識別模塊、聲紋識別模塊、聲紋似然波束成形模塊、常規波束成形模塊以及UDP封包模塊；
6.如權利要求5所述的一種船用小型化網絡艙室人聲錄取裝置，其特征在于，所述麥克風陣列為由2個以上麥克風組成的聲傳感器陣列。
7.如權利要求5所述的一種船用小型化網絡艙室人聲錄取裝置，其特征在于，所述人聲識別模塊采用TCN網絡判斷當前處理的聲音片段中是否存在人聲：
8.如權利要求5所述的一種船用小型化網絡艙室人聲錄取裝置，其特征在于，所述聲紋似然波束成形模塊
...【技術特征摘要】
1.一種船用小型化網絡艙室人聲錄取方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種船用小型化網絡艙室人聲錄取方法，其特征在于，所述麥克風陣列為由2個以上麥克風組成的聲傳感器陣列。
3.如權利要求1所述的一種船用小型化網絡艙室人聲錄取方法，其特征在于，所述人聲識別算法采用tcn網絡：
4.如權利要求1所述的一種船用小型化網絡艙室人聲錄取方法，其特征在于，所述步驟4包括如下具體步驟：
5.一種船用小型化網絡艙室人聲錄取裝置，其特征在于，包括麥克風陣...
【專利技術屬性】
技術研發人員：王亞波，燕熊，楊建，張庚倫，劉昀佼，楊宗元，張士濤，劉賢俊，袁克非，鄧林，楊毅，余志強，
申請(專利權)人：中國船舶集團有限公司第七一九研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。