【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及計(jì)算機(jī)，具體而言，涉及一種音頻節(jié)拍解析方法、車輛、計(jì)算機(jī)設(shè)備和程序產(chǎn)品。
技術(shù)介紹
1、對音頻數(shù)據(jù)中的節(jié)拍進(jìn)行解析，可以更好地幫助用戶理解和學(xué)習(xí)音樂。但是傳統(tǒng)的音頻節(jié)拍解析方式，不僅會(huì)出現(xiàn)節(jié)拍解析錯(cuò)位的問題，而且由于在對不同風(fēng)格或節(jié)奏的音頻數(shù)據(jù)進(jìn)行解析時(shí)，采用同樣的解析參數(shù)，導(dǎo)致無法捕捉到音樂風(fēng)格的節(jié)奏變化和個(gè)性化表現(xiàn)，造成了解析出的節(jié)拍與音頻數(shù)據(jù)的實(shí)際節(jié)拍嚴(yán)重不符的問題，影響了節(jié)拍解析的準(zhǔn)確性。
技術(shù)實(shí)現(xiàn)思路
1、本公開實(shí)施例至少提供一種音頻節(jié)拍解析方法、車輛、計(jì)算機(jī)設(shè)備和程序產(chǎn)品。
2、第一方面，本公開實(shí)施例提供了一種音頻節(jié)拍解析方法，包括：
3、對音頻數(shù)據(jù)進(jìn)行音頻信號解析處理，得到所述音頻數(shù)據(jù)的幅度譜特征數(shù)據(jù)、音高特征數(shù)據(jù)和節(jié)奏特征數(shù)據(jù)；
4、對所述幅度譜特征數(shù)據(jù)、所述音高特征數(shù)據(jù)和所述節(jié)奏特征數(shù)據(jù)進(jìn)行拼接，得到拼接特征數(shù)據(jù)；
5、將所述拼接特征數(shù)據(jù)輸入深度學(xué)習(xí)模型，依次經(jīng)過與所述幅度譜特征數(shù)據(jù)、所述音高特征數(shù)據(jù)和所述節(jié)奏特征數(shù)據(jù)分別對應(yīng)的特征提取器進(jìn)行特征提取后，得到所述音頻數(shù)據(jù)對應(yīng)的節(jié)拍特征；其中，不同特征提取器對應(yīng)的特征提取尺度不同；
6、根據(jù)所述節(jié)拍特征，生成所述音頻數(shù)據(jù)的節(jié)拍信息。
7、該實(shí)施方式，通過提取音頻幅度維度上的幅度譜特征數(shù)據(jù)、音樂風(fēng)格維度上的音高特征數(shù)據(jù)和節(jié)奏變化特征維度上的節(jié)奏特征數(shù)據(jù)，可以實(shí)現(xiàn)充分挖掘音頻數(shù)據(jù)在各方面的特征數(shù)據(jù)，再通過將三個(gè)維度上的特征數(shù)據(jù)進(jìn)行拼接，可以
8、在一種可能的實(shí)施方式中，每個(gè)所述特征提取器包括卷積層和注意力提取層；與所述幅度譜特征數(shù)據(jù)、所述音高特征數(shù)據(jù)和所述節(jié)奏特征數(shù)據(jù)分別對應(yīng)的特征提取器中的卷積層的卷積尺度不同。
9、該實(shí)施方式，利用特征提取器中的卷積層對輸入特征進(jìn)行卷積處理，可以實(shí)現(xiàn)對輸入特征中的細(xì)粒度特征的充分挖掘，再利用注意力提取層進(jìn)行特征提取，可以提取出能夠更加準(zhǔn)確反映節(jié)拍特征的特征數(shù)據(jù)。且利用不同卷積尺度的卷積層對特征進(jìn)行提取，可以實(shí)現(xiàn)對各個(gè)維度上的特征進(jìn)行針對性的卷積處理，從而得到更準(zhǔn)確的卷積特征。
10、在一種可能的實(shí)施方式中，將所述拼接特征數(shù)據(jù)輸入深度學(xué)習(xí)模型，依次經(jīng)過與所述幅度譜特征數(shù)據(jù)、所述音高特征數(shù)據(jù)和所述節(jié)奏特征數(shù)據(jù)分別對應(yīng)的特征提取器進(jìn)行特征提取后，得到所述音頻數(shù)據(jù)對應(yīng)的節(jié)拍特征，包括：
11、利用與所述幅度譜特征數(shù)據(jù)對應(yīng)的第一特征提取器，對所述拼接特征數(shù)據(jù)進(jìn)行特征提取，得到第一中間特征數(shù)據(jù)；
12、將所述第一中間特征和所述節(jié)奏特征數(shù)據(jù)拼接后輸入與節(jié)奏特征數(shù)據(jù)對應(yīng)的第二特征提取器，得到第二中間特征數(shù)據(jù)；
13、將所述第二中間特征和所述音高特征數(shù)據(jù)拼接后輸入與所述音高特征數(shù)據(jù)對應(yīng)的第三特征提取器，得到第三中間特征數(shù)據(jù)；
14、利用所述深度學(xué)習(xí)模型中的解碼器，對所述第三中間特征數(shù)據(jù)進(jìn)行特征解碼處理，得到所述節(jié)拍特征。
15、該實(shí)施方式，利用第一特征提取器，可以建模出能夠宏觀上反映音頻數(shù)據(jù)的音樂特征的第一中間特征數(shù)據(jù)，利用第二特征提取器對第一中間特征數(shù)據(jù)和節(jié)奏特征數(shù)據(jù)的拼接數(shù)據(jù)進(jìn)行特征提取，可以建模出更微觀的節(jié)奏變化特征(即第二中間特征數(shù)據(jù))，最后再利用第三特征提取器對第二中間特征數(shù)據(jù)和音高特征數(shù)據(jù)的拼接數(shù)據(jù)進(jìn)行特征提取，可以利用更高維度的特征表示整條音頻數(shù)據(jù)，實(shí)現(xiàn)對音頻數(shù)據(jù)的準(zhǔn)確表征。最后利用解碼器進(jìn)行解碼處理，可以得到準(zhǔn)確的節(jié)拍特征。
16、在一種可能的實(shí)施方式中，所述對音頻數(shù)據(jù)進(jìn)行音頻信號解析處理，得到所述音頻數(shù)據(jù)的幅度譜特征數(shù)據(jù)、音高特征數(shù)據(jù)和節(jié)奏特征數(shù)據(jù)，包括：
17、對所述音頻數(shù)據(jù)進(jìn)行預(yù)處理，得到所述音頻數(shù)據(jù)對應(yīng)的每幀音頻信號；所述預(yù)處理包括采樣率標(biāo)準(zhǔn)化、音頻數(shù)據(jù)分幀、音頻信號歸一化和音頻信號去噪；
18、對每幀所述音頻信號進(jìn)行短時(shí)傅里葉變換，得到每幀所述音頻信號的幅度譜特征、頻率信息、以及每幀音頻信號對應(yīng)的頻率特征點(diǎn)的能量；
19、根據(jù)每幀所述音頻信號的頻率信息，確定所述音頻數(shù)據(jù)的音高特征數(shù)據(jù)；
20、根據(jù)每幀所述音頻信號對應(yīng)的頻率特征點(diǎn)的能量，確定所述音頻數(shù)據(jù)的節(jié)奏特征數(shù)據(jù)。
21、該實(shí)施方式，通過對音頻數(shù)據(jù)進(jìn)行預(yù)處理，可以提高模型的輸入質(zhì)量。通過對每幀音頻信號進(jìn)行短時(shí)傅里葉變化，可以實(shí)現(xiàn)對音頻數(shù)據(jù)在時(shí)域和頻域上的轉(zhuǎn)換，得到準(zhǔn)確地幅度譜特征、頻率信息和頻率特征點(diǎn)的能量。再利用頻率信息和能量信息，可以解析出音頻數(shù)據(jù)對應(yīng)的準(zhǔn)確的音高特征數(shù)據(jù)和節(jié)奏特征數(shù)據(jù)。
22、在一種可能的實(shí)施方式中，所述根據(jù)每幀所述音頻信號對應(yīng)的頻率特征點(diǎn)的能量，確定所述音頻數(shù)據(jù)的節(jié)奏特征數(shù)據(jù)，包括：
23、根據(jù)每個(gè)所述頻率特征點(diǎn)的能量和位于所述頻率特征點(diǎn)的預(yù)設(shè)時(shí)間間隔內(nèi)的各個(gè)目標(biāo)特征點(diǎn)的能量，從各個(gè)所述頻率特征點(diǎn)中確定所述音頻數(shù)據(jù)對應(yīng)的各個(gè)節(jié)拍點(diǎn)；
24、根據(jù)各個(gè)節(jié)拍點(diǎn)的節(jié)拍時(shí)間和相鄰節(jié)拍點(diǎn)之間的時(shí)間間隔，確定所述音頻數(shù)據(jù)的每分鐘節(jié)拍數(shù)；
25、根據(jù)所述相鄰節(jié)拍點(diǎn)之間的時(shí)間間隔和所述每分鐘節(jié)拍數(shù)，確定所述節(jié)奏特征數(shù)據(jù)。
26、該實(shí)施方式，利用頻率特征點(diǎn)的能量以及附近時(shí)間的目標(biāo)特征點(diǎn)的能量，可以準(zhǔn)確確定出頻率特征點(diǎn)是否為明顯的節(jié)拍點(diǎn)。利用確定出的節(jié)拍點(diǎn)和節(jié)拍間隔，可以確定出能夠表征節(jié)奏緩急的每分鐘節(jié)拍數(shù)，再利用時(shí)間間隔和每分鐘節(jié)拍數(shù)，可以得到能夠準(zhǔn)確反映節(jié)奏變化的節(jié)奏特征數(shù)據(jù)。
27、在一種可能的實(shí)施方式中，所述根據(jù)每個(gè)所述頻率特征點(diǎn)的能量和位于所述頻率特征點(diǎn)的預(yù)設(shè)時(shí)間間隔內(nèi)的各個(gè)目標(biāo)特征點(diǎn)的能量，從各個(gè)所述頻率特征點(diǎn)中確定所述音頻數(shù)據(jù)對應(yīng)的各個(gè)節(jié)拍點(diǎn)，包括：
28、針對任一所述頻率特征點(diǎn)，若所述頻率特征點(diǎn)的能量超過預(yù)設(shè)閾值、且超過位于所述頻率特征點(diǎn)的預(yù)設(shè)時(shí)間間隔內(nèi)的各個(gè)目標(biāo)特征點(diǎn)的能量，確定所述頻率特征點(diǎn)為所述音頻數(shù)據(jù)對應(yīng)的一個(gè)節(jié)拍點(diǎn)。
29、該實(shí)施方式，能量峰值點(diǎn)通常為節(jié)拍點(diǎn)，在頻率特征點(diǎn)的能量超過預(yù)設(shè)閾值且超過附近時(shí)間的目標(biāo)特征點(diǎn)的能量的情況下，可以說明該頻率特征點(diǎn)為一段時(shí)間內(nèi)的峰值點(diǎn)，將該點(diǎn)作為節(jié)拍點(diǎn)可以實(shí)現(xiàn)對節(jié)拍點(diǎn)的準(zhǔn)確識別。
30、在一種可能的實(shí)施方式中，所述方法還包括訓(xùn)練所述深度學(xué)習(xí)模型的步驟：
31、獲取音頻數(shù)據(jù)集；所述音頻數(shù)據(jù)集中包括多個(gè)樣本音頻數(shù)據(jù)，不同的所述音頻數(shù)據(jù)具有不同的音樂風(fēng)格、不同的音樂節(jié)奏和不同的音樂時(shí)長；
32、對所述樣本音頻本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種音頻節(jié)拍解析方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，每個(gè)所述特征提取器包括卷積層和注意力提取層；與所述幅度譜特征數(shù)據(jù)、所述音高特征數(shù)據(jù)和所述節(jié)奏特征數(shù)據(jù)分別對應(yīng)的特征提取器中的卷積層的卷積尺度不同。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，將所述拼接特征數(shù)據(jù)輸入深度學(xué)習(xí)模型，依次經(jīng)過與所述幅度譜特征數(shù)據(jù)、所述音高特征數(shù)據(jù)和所述節(jié)奏特征數(shù)據(jù)分別對應(yīng)的特征提取器進(jìn)行特征提取后，得到所述音頻數(shù)據(jù)對應(yīng)的節(jié)拍特征，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對音頻數(shù)據(jù)進(jìn)行音頻信號解析處理，得到所述音頻數(shù)據(jù)的幅度譜特征數(shù)據(jù)、音高特征數(shù)據(jù)和節(jié)奏特征數(shù)據(jù)，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)每幀所述音頻信號對應(yīng)的頻率特征點(diǎn)的能量，確定所述音頻數(shù)據(jù)的節(jié)奏特征數(shù)據(jù)，包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)每個(gè)所述頻率特征點(diǎn)的能量和位于所述頻率特征點(diǎn)的預(yù)設(shè)時(shí)間間隔內(nèi)的各個(gè)目標(biāo)特征點(diǎn)的能量，從各個(gè)所述頻率特征點(diǎn)中確定所述音頻數(shù)據(jù)對應(yīng)的各個(gè)節(jié)拍點(diǎn)，包括：<...
【技術(shù)特征摘要】
1.一種音頻節(jié)拍解析方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，每個(gè)所述特征提取器包括卷積層和注意力提取層；與所述幅度譜特征數(shù)據(jù)、所述音高特征數(shù)據(jù)和所述節(jié)奏特征數(shù)據(jù)分別對應(yīng)的特征提取器中的卷積層的卷積尺度不同。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，將所述拼接特征數(shù)據(jù)輸入深度學(xué)習(xí)模型，依次經(jīng)過與所述幅度譜特征數(shù)據(jù)、所述音高特征數(shù)據(jù)和所述節(jié)奏特征數(shù)據(jù)分別對應(yīng)的特征提取器進(jìn)行特征提取后，得到所述音頻數(shù)據(jù)對應(yīng)的節(jié)拍特征，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對音頻數(shù)據(jù)進(jìn)行音頻信號解析處理，得到所述音頻數(shù)據(jù)的幅度譜特征數(shù)據(jù)、音高特征數(shù)據(jù)和節(jié)奏特征數(shù)據(jù)，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)每幀所述音頻信號對應(yīng)的頻率特征點(diǎn)的能量，確定所述音頻數(shù)據(jù)的節(jié)奏特征數(shù)據(jù)，包括：
...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張鵬，孫政浩，
申請(專利權(quán))人：集度科技武漢有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。