基于語音輸入的說唱音樂自動生成方法技術

本發明專利技術公開了一種基于語音輸入的說唱音樂自動生成方法，包括以下步驟：S1.用戶輸入語音信息；S2.將用戶輸入的語音信息轉換為文本信息；S3.對文本信息進行分詞，得到多個詞組；S4.根據步驟S3中得到的詞組從素材庫中篩選出備選Riff；S5.根據步驟S3中得到的詞組和語音端點檢測技術對原始的語音信息進行分段，得到分段語音；S6.向分段語音和備選Riff加入效果器；S7.輸出說唱音樂。本發明專利技術通過機器學習等技術的幫助，使得普通大眾能夠參與到音樂制作、交互這種專業活動中創造屬于自己的音樂，在此過程中用戶只需輸入語音信息，即可自動生成相應的說唱音樂。

【技術實現步驟摘要】

本專利技術涉及音樂制作
，特別是涉及一種基于語音輸入的說唱音樂自動生成方法。
技術介紹
回顧音樂的發展史，音樂的創作和交互方式從未發生過大的變化。在人類文明高度發展的今天，傳統上音樂首先被專業人士創作出來，進而以磁帶、CD、電臺或互聯網音頻流等形式進入大眾耳朵?，F場演出會可能發生的部分即興改編，或類似于“音樂背后的創作故事”等對話交流，音樂從被創作出來，直至在大眾中傳播之整個過程幾乎不存在任何變化。同時，音樂本身和聽眾之間的交互也僅停留于“你寫我聽”的層面。由于聽眾類型、情緒、喜好等外在因素和音樂本身之間缺少感應傳輸媒介，音樂也無法隨外界輸入變化而變化。近年來，在機器學習技術以及音頻算法等前沿科技的驅動下，出現了PC端的音樂工作站及各類插件 (如Cubase，Protool，Ablton Live等)。Ablton Live的最新版本已支持音頻文件的變速不變調以及分片操作。由于音頻工作站專注于錄音，縮混及后期制作，其使用局限于錄音師、編曲、作曲等專業人士，其距離普通大眾還很遙遠。另外，音頻工作站只負責提供“使用工具”，而無法勝任“創作工具”的角色。作為一種傳遞“人的想法”的媒介，音頻工作站在人的指揮下，把人的想法落實到音樂上，把已經存在的demo加工成高品質歌曲(前提是編曲人員需要有完整的編曲思路，而音頻工作站本身無法提供這種思路)。層出不窮的高質量插件(提供混響均衡等特殊音頻處理)在效果上已經接近于硬件，這使得音頻工作站的能力如虎添翼，然而迄今為止所有的音頻工作站都無法實現“音樂自動生成”或交“互式音樂生成”。
技術實現思路
本專利技術的目的在于克服現有技術的不足，提供一種基于語音輸入的說唱音樂自動生成方法，能夠根據用戶輸入的語音信息，自動生成說唱音樂。本專利技術的目的是通過以下技術方案來實現的：基于語音輸入的說唱音樂自動生成方法，包括以下步驟：S1.用戶輸入語音信息；S2.將用戶輸入的語音信息轉換為文本信息；S3.對文本信息進行分詞，得到多個詞組；S4.根據步驟S3中得到的詞組從素材庫中篩選出備選Riff；S5.根據步驟S3中得到的詞組和語音端點檢測技術對原始的語音信息進行分段，得到分段語音；S6.向分段語音和備選Riff加入效果器；S7.輸出說唱音樂。所述步驟S4中，以步驟S3中得到的詞組和配樂Riff之間、以及Riff和Riff之間在整體上協調性最大為目標，篩選素材庫得到備選Riff。所述協調性包括節奏型的和諧、速度的匹配和重音的吻合。所述步驟S4和步驟S5之間還包括局部細調步驟S3中得到的各詞組之間的相對位置的步驟。所述步驟S5和S6之間還包括根據步驟S3中得到的各詞組之間的相對位置對分段語音進行變速不變調操作。所述步驟S7之后還包括將說唱音樂分享到社交媒體的步驟。所述步驟S4之前還包括建立素材庫，并標注素材庫中Riff的屬性的步驟。所述步驟S6中效果器包括混響效果器、鑲邊效果器、延遲效果器和回聲效果器。本專利技術的有益效果是：本專利技術通過機器學習等技術的幫助，使得普通大眾能夠參與到音樂制作、交互這種專業活動中創造屬于自己的音樂，在此過程中用戶只需輸入語音信息，即可自動生成相應的說唱音樂。附圖說明圖1為本專利技術基于語音輸入的說唱音樂自動生成方法的流程圖。具體實施方式下面結合附圖進一步詳細描述本專利技術的技術方案，但本專利技術的保護范圍不局限于以下所述。如圖1所示，基于語音輸入的說唱音樂自動生成方法，包括以下步驟：S1.用戶輸入語音信息，并對用戶輸入的語音信息進行包括降噪在內的預處理。用于輸入語音信息可以通過麥克風輸入，由于現在智能手機已經普及，麥克風作為智能手機的一項標配，用戶能夠很方便的實現語音輸入。S2.將用戶輸入的語音信息轉換為文本信息；本實施例中采用基于深度學習的語音識別技術實現語音信息到文本信息的轉換。S3. 對文本信息進行分詞，得到多個詞組。S4.根據步驟S3中得到的詞組從素材庫中篩選出備選Riff。所述步驟S4之前還包括建立素材庫，并標注素材庫中Riff的屬性的步驟。對Riff的屬性進行標注的方式包括半監督學習方式和人工標注方式，本實施例中以半監督學習方式為主，結合人工標注，為素材庫中存儲的所有Riff添加標簽，即進行標注（如鼓、吉他、貝司等Riff的速度、長度、根音、節奏型，以及情緒類型等）。Riff包括Loop（如鼓、吉他、貝斯、弦樂、特殊音效等音頻片段）和VST（包括midi文件和虛擬樂器采樣），多個不同的Riff按音樂發揮在那的時間先后順序排列構成一軌的Riff集，若干軌的Riff集（比如常見的鼓軌Riff集，吉他軌Riff集，貝斯軌Riff集，弦樂軌Riff集，特殊音效軌Riff集等）構成一首完整歌曲的音樂部分。所述Riff的屬性包括該Riff屬于何種樂器、是什么拍子、速度、時長、最大時間拉伸/壓縮比，以及Riff的風格(搖滾、民謠)、情緒(舒緩的、急躁的)，或最適合出現于哪個樂段(引子部分、高潮部分、副歌部分)。所述步驟S4中，以步驟S3中得到的詞組和配樂Riff之間、以及Riff和Riff之間在整體上協調性最大為目標，篩選素材庫得到備選Riff。本專利技術采用最優匹配算法實現分詞后的文本和配樂Riff之間、以及Riff和Riff之間在整體上的協調性；本實施例中最優匹配算法采用基因配對算法，比如Blast算法。所述協調性包括節奏型的和諧、速度的匹配和重音的吻合。所述步驟S4和步驟S5之間還包括局部細調步驟S3中得到的各詞組之間的相對位置的步驟。最大化文本和Riff在局部上的協調性(這里可加多種正則項至優化目標，以達到某些特殊目的)。S5. 根據步驟S3中得到的詞組和語音端點檢測技術（本實施例采用基于短時能量和短時過零率的端點檢測技術）對原始的語音信息進行分段，得到分段語音；然后根據得到的分詞后的詞組之間的相對位置(即單詞之間的“留白”時長)，對分段語音進行相應的時間拉伸/壓縮(即變速不變調操作)，最終得到語音和Riff之間的最優配對，使得二者協調性最大。所述步驟S5和S6之間還包括根據步驟S3中得到的各詞組之間的相對位置對分段語音進行變速不變調操作。本實施例中采用SOLA算法實現對分段語音的變速不變調操作，SOLA算法可以使一段語音在語調不發生變化的前提下，加快、減慢語音速度，被廣泛用于復讀機、語音掃描等領域，商用音高修正等軟件中的核心組成部分是在保持語音速度不變的前提下，SOLA算法可用于提高、降低語音之音調。S6.對分段語音和備選Riff，在一定的約束下，分別隨機加入適度的效果器（效果器以插件形式存在，單獨制作），以實現說唱在整體上的悅耳性和多樣性。所述步驟S6之前還包括制作效果器的步驟。所述步驟S6中效果器包括混響效果器、鑲邊效果器、延遲效果器和回聲效果器。S7.輸出說唱音樂。將分段語音和備選Riff進行排序組合，生成說唱音樂并輸出。所述步驟S7之后還包括將說唱音樂分享到社交媒體的步驟。以上所述僅是本專利技術的優選實施方式，應當理解本專利技術并非局限于本文所披露的形式，不應看作是對其他實施例的排除，而可用于各種其他組合、修改和環境，并能夠在本文所述構想范圍內，通過上述教導或相關領域的技術或知識進行改動。而本領域人員所進行的改動和變化不脫離本專利技術的精神和范圍，則都應在本專利技術所附權本文檔來自技高網...

【技術保護點】
基于語音輸入的說唱音樂自動生成方法，其特征在于：包括以下步驟：S1.用戶輸入語音信息；S2.將用戶輸入的語音信息轉換為文本信息；S3.對文本信息進行分詞，得到多個詞組；S4.根據步驟S3中得到的詞組從素材庫中篩選出備選Riff；S5.根據步驟S3中得到的詞組和語音端點檢測技術對原始的語音信息進行分段，得到分段語音；S6.向分段語音和備選Riff加入效果器；S7.輸出說唱音樂。

【技術特征摘要】
1.基于語音輸入的說唱音樂自動生成方法，其特征在于：包括以下步驟：S1.用戶輸入語音信息；S2.將用戶輸入的語音信息轉換為文本信息；S3.對文本信息進行分詞，得到多個詞組；S4.根據步驟S3中得到的詞組從素材庫中篩選出備選Riff；S5.根據步驟S3中得到的詞組和語音端點檢測技術對原始的語音信息進行分段，得到分段語音；S6.向分段語音和備選Riff加入效果器；S7.輸出說唱音樂。2.根據權利要求1所述的基于語音輸入的說唱音樂自動生成方法，其特征在于：所述步驟S4中，以步驟S3中得到的詞組和配樂Riff之間、以及Riff和Riff之間在整體上協調性最大為目標，篩選素材庫得到備選Riff。3.根據權利要求2所述的基于語音輸入的說唱音樂自動生成方法，其特征在于：所述協調性包括節奏型的和諧、速度的匹配和重音的吻合。4.根據權...

【專利技術屬性】
技術研發人員：湯影，楊林，
申請(專利權)人：成都涂鴉科技有限公司，
類型：發明
國別省市：四川;51