豐色 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
雖然AI在藝術領域一直有不少爭議，但它一直也沒停下各種嘗試的步伐：
寫歌、畫畫、寫詩……這不，剛又學會了填詞。
我們給這個AI放了一首鋼琴曲，曲調非常婉轉平和。
然後，它生成的部分詞是這樣的：
各位感覺如何？
其中，生成過程的動態效果看著還不錯：
當然，它可以很好地分辨不同風格的音樂：給安靜的鋼琴樂生成的詞與給嘈雜的搖滾樂生成的會完全不一樣。
不過，鑒於目前的填詞效果（比如有時無厘頭的上下銜接），研究人員也表示：
這個工具也不是為了取代音樂家，而是成為一個激發音樂家創作靈感的工具，輔助他們創造出滿意的作品。
ps.此處在線cue周杰倫，禦用詞人試試AI？
如何分辨出不同風格的曲子？
這項研究來自滑鐵盧大學，研究成果即將發表在ICCC 2021。
項目的動機源於其中一位研究員的個人興趣。
這名研究員非常喜歡音樂，所以她很好奇機器是否可以生成聽起來像她最喜歡的音樂藝術家風格的歌詞。
最終做出來的系統叫做LyricJam，已有在線網頁版供任何感興趣的音樂人拜訪使用。
該系統通過將原始音頻文件轉換為頻譜圖，然後使用深度學習模型實時生成與音樂相匹配的歌詞。
模型的架構由兩個變分自動編碼器（VAE）組成，一個用於學習音樂音頻的表示，另一個用於學習生成歌詞。
訓練數據集由18000個原始歌曲的WAV音頻片段和7種音樂藝術家的相應歌詞組成。
首先使用CNN來根據頻譜圖將帶歌詞的音頻，按風格分類成不同「藝術家」。
然後訓練一個條件VAE(conditional VAE，CVAE)「重建」原始歌詞，根據不同類型音樂的歌詞用詞和表達方式的不同，生成一系列連貫的新歌詞。
其中生成條件是前面預先訓練的「藝術家」種類。
推理階段，流程差不多：系統將實時錄制的音頻片段轉換成頻譜圖，然後進行風格識別，為了生成最匹配的歌詞，需要根據「藝術家」的類別從潛在空間中采樣並對其進行解碼，然後生成對應的歌詞表達。
最後，使用基於GAN的對齊模型來對齊兩種編碼器生成的歌詞和音頻表示。
最終效果如何呢？
「非批判性的即興演奏夥伴」
為了評估他們開發的系統，研究人員進行了一項簡單的用戶研究，請來一批搞音樂創作的人來測試。
測試要求音樂人現場演奏音樂並分享他們對系統所作歌詞的反饋。
首先確定該系統是否能更準確地生成與音樂所產生的情緒相匹配的歌詞。
研究人員選用了5種不同樂器演奏的不同歌曲的片段，每段約10秒，用該模型的兩種變體（下圖中每組的第二三行）各生成一行歌詞，再用一個基線模型（下圖中每組第一行）生成歌詞。
生成範例如下：
測試者需對以上3種詞，進行打分，選出最匹配當前音樂的一種。
總共有15個人參與了這項研究，從下表可以看出，無論播放的歌曲類型如何，用戶都更喜歡後兩個模型的歌詞，而非基線模型的。
這說明，該系統可以生成匹配音樂風格的歌詞。
最後，通過一系列問卷調查顯示，大多數參與實驗的音樂人都覺得，LyricJam是一個非批判性的即興演奏「夥伴」，可以鼓勵他們即興創作並嘗試不同尋常的歌詞表達方式。
另外，即使中間改變音樂風格或嘗試加入新的和弦，歌詞也能實時做出抒情主題的變化。
最後研究人員表示，如果在更大的數據集上訓練，填的詞就更具有多樣性了。
感興趣的朋友可戳在線鏈接試玩，系統操作非常簡單，錄入一個音頻就可以：https://lyricjam.ai/
論文地址：https://arxiv.org/abs/2106.01960
參考鏈接：
https://techxplore.com/news/2021-06-lyricjam-lyrics-instrumental-music.html
— 完 —
量子位 QbitAI · 頭條號簽約
關註我們，第一時間獲知前沿科技動態
>AI已能按音樂風格填詞，周杰倫又有禦用作詞了？｜在線可玩