首開AI編配校歌之先河 恭祝華東師大70周年校慶

上海紐約大學NYUShanghai
2021-10-20 09:55:22 文/江瑾瑜 圖/孫婉琳
上海紐約大學人工智能音樂實驗室(Music X Lab)近日完成了世界首例由AI完成編配的校歌,為華東師范大學送上一份特別的70周年校慶賀禮。
整首校歌以華東師大原校歌的主旋律與和弦為素材,由AI重新編配鋼琴伴奏和四個聲部曲譜。Music X Lab 近年在人工智能音樂(Music AI)領域科研成果卓著,其中一項很趣的研究是“音樂風格遷移”,即用指定歌曲的風格來改編(編配)當下的創(chuàng)作,是未來“人機協(xié)作”的一種作曲新模式。華東師大校歌的編配結合了華語流行(鋼琴伴奏檢索源自《盛夏的果實》《約定》等)與巴赫的風格(源自巴赫四聲部)。從藝術創(chuàng)作的角度,主要目標是讓整體風格青春洋溢,蓬勃向上,流露出21世紀現(xiàn)代感,同時富有書卷氣息。鋼琴演奏部分則由 Music X Lab 的常駐“主力軍”——自動演奏鋼琴Yamaha Disklavier來實現(xiàn)。
從技術的角度,AI采用的算法包括AccoMontage、 Poly-disentanglement 和 EC2-VAE,均為近兩年最前沿的Music AI成果。有關這三個算法的三篇論文,均發(fā)表在國際頂級音樂智能會議ISMIR2020和ISMIR2021中。具體而言,系統(tǒng)首先從數(shù)據(jù)庫中檢索伴奏樂句,使用動態(tài)規(guī)劃在宏觀結構上進行重新組合;第二步,調(diào)整伴奏樂句的和弦以匹配主旋律,合成音律和諧、結構合理的伴奏;最后,算法支持指定檢索伴奏的來源(例如指定將某一首歌曲的伴奏適配給校歌),從而把握生成伴奏的音樂風格。
在編配過程中,為了解決四部人聲數(shù)據(jù)量短缺問題,團隊提前使用了還在“研制過程”中的“秘密武器”——“深度表征套娃遞歸”,將弦樂四重奏改變適配到四個聲部的人聲。
如何在大體保留原有旋律的基礎上,只通過伴奏編配體現(xiàn)出現(xiàn)代風格,這非?简瀳F隊成員的音樂素養(yǎng),以及合作中對音樂的理解和共識。這個十人團隊中有著很多的“斜杠青年”,有人達到國家一級笛子獨奏水平,有人達鋼琴十級,有人為美聲唱法愛好者……因此,對于這樣一個多才多藝的科研團隊,這并不成為一個問題,反而還給最后的錄制添了彩——最終呈現(xiàn)的校歌小樣(Demo)并不是來自合唱團成員,而是由參與此項科研制作的五位團隊成員合作獻唱。
暑假期間,從華東師大校慶辦接手這個項目,當時科研團隊的十位成員都在上紐大的Music X Lab里面工作,開學后各奔東西,F(xiàn)在,他們分別從新加坡、美國、荷蘭的各所大學,發(fā)來對華東師大70周年校慶的衷心祝福,希望通過自己參與創(chuàng)造的一份音樂禮物,為華東師大增添一份融合了科技與藝術的未來希冀。
點擊觀看視頻
*最終呈現(xiàn)的校歌小樣(Demo)聲音并不是來自合唱團成員,而是由參與此項科研制作的五位團隊成員親自獻唱。他們是:
指揮 汪子俞,紐約大學庫朗研究所、Poly-Disentangle第一作者
女高音 徐靜妍,上海交通大學本科生
女中音 樸子悅,上海交通大學碩士生
男低音 Alan Chao,上海紐約大學本科生
男高音 夏光宇, 實驗室主任
幕后團隊
趙經(jīng)緯 (新加坡國立大學博士生,算法構架負責人,AccoMontage第一作者)
姜峻巖(紐約大學庫朗研究所博士生,和弦提取算法負責人)
雷沁穎(佐治亞理工學院碩士生,智能界面負責人)
程奕陽(荷蘭阿姆斯特丹大學,藝術顧問)
林力蔚(上海紐約大學研究助理,音樂分離算法負責人)
華
師
七
秩
- Happy 70th Anniversary -
求實成就卓越,教育創(chuàng)造未來
上海紐約大學祝華東師范大學
70周年生日快樂!
愿兩校攜手與共,共創(chuàng)輝煌!
▼
推 / 薦 / 閱 / 讀
“新時代中外合作辦學與卓越育人”論壇成功舉辦 上紐大建校十周年倒計時正式啟動
上海紐約大學2022年本科申請通道已正式開啟