慶回歸|AI舞蹈家將表演自編芭蕾舞 虛擬合唱團高歌《東方之珠》

(香港文匯報 記者 姜嘉軒)藝術與科技的融合,有助人們發掘更多前所未見的可能性。香港浸會大學將於下周四(14日)晚舉行周年音樂會,結合該校最新的AI藝術科技研究成果,以「重聚」為主題慶祝香港回歸祖國25周年。負責項目及當日指揮的浸大協理副校長(跨學科研究)潘明倫介紹,音樂會將包括由AI舞蹈家Daphnis及Chloe表演經學習由浸大科學家收集的動作數據後自行編排的芭蕾舞,及由超過300個聲音組成的AI人虛擬合唱團唱出《東方之珠》,與浸大的真人交響樂團互動合作演出。同場亦會顯示由AI藝術家理解《東方之珠》歌詞和旋律後,自行創作配合歌曲意境的跨媒體視覺形象。這是全球首場同類的人機合作表演,為觀眾帶來嶄新的跨界交響樂體驗。

浸大的「香港人機共生藝術創造平台技術建設」項目去年獲研資局撥款5,283萬元,開展為期5年的藝術科技研究。潘明倫形容,是次演出是研究的「第一張成績表」,「但不是以『硬蹦蹦』的科學論文形式,而是一場實際的音樂會,向大家報告。」

他指出,今次採用的人工智能具備一定的理解、學習、自主能力,「不是由人去叫它做些什麼、行左行右,而是讓人工智能學習人類藝術的本質,讓它自主創作,再回來跟人合作(表演)。」

浸大將於下星期四舉行周年音樂會。左起︰柳崎峰、潘明倫、雪巍、陳杰。(香港文匯報記者 攝)

捕捉舞者動作 學習音樂理解

負責AI舞蹈家項目的浸大計算機科學系助理教授陳杰介紹,團隊邀得香港舞蹈團派員擔任「舞蹈老師」,透過動作捕捉技術(Motion capture)讓人工智能學習舞者對音樂的理解和表現方式,「在舞蹈家的腦海裏,這個動作對於某一段音樂、某一段故事情節,他的理解到底是如何……AI所學到的是箇中相對應的關係。」

當人工智能學習到舞者對音樂的理解與動態後,就會開始自行編舞。陳杰補充,團隊今次還加入了浸大團隊在香港新發現的一種箱型水母動態數據,作為人工智能的編舞意念,使其舞蹈更具特色。

通過數人音色 生成數百聲音

該系另一助理教授雪巍介紹,其負責的AI虛擬合唱團有約300道人聲,但最初用作給它學習的,其實只有數把人類聲音,「最初是錄製特定歌手的聲音,但他們不需要指定唱《東方之珠》,甚至無須唱歌,說話都可以,然後生成出這個人唱任何歌的模型。」第二步則是通過數個人的音色,生成出數百個不同的虛擬歌手,最後跟音樂家合作,訓練虛擬歌手們把歌唱得優美。

潘明倫說,有如教小朋友唱歌一般,虛擬歌手起初唱得並不好,「開始時會唱錯音、爆音,又或是唱不上高音等等,要透過程式不斷訓練,使其不斷改善。」

依據歌詞旋律 創作視像內容

AI藝術家的負責人、計算機科學系專業應用副教授柳崎峰介紹,AI懂得依據《東方之珠》的歌詞和旋律,自主生成3D視像內容,「內容會根據歌詞不斷變化,動態生成,其視角也會根據旋律而變化,例如音量高,視角也會飛得愈高。當節奏加快,視角向前的速度也會加快,就是以音樂特點驅動內容生成。」

在大約3分鐘的音樂裏面,AI藝術家合共生成約2,700張圖像,且畫面與畫面之間均有着緊密的邏輯關係,柳崎峰形容,這也可以理解是一個「說故事」(Storytelling)的過程。

「屆時觀眾會見到我們(交響樂團)真人演奏,背後有虛擬合唱團的聲音,前面則會有一幅很薄的幕,顯示相關影像內容。」潘明倫表示。團隊目前正把握最後時間,希望教會人工智能實時理解並配合指揮的動作,進一步深化人機互動。

音樂會資料

◆日期:2022年7月14日(周四)

◆時間:晚上8時

◆地點:香港大會堂音樂廳

◆演出:AI舞蹈家Daphnis及Chloe、AI虛擬合唱團、AI媒體藝術家、浸大交響樂團,是全球首場同類的人機合作的表演

◆節目查詢:3411 5153(mus@hkbu.edu.hk)

◆部分門票7月4日起在香港大會堂詢問處免費派發,每人限取兩張。先到先得,派完即止(查詢電話:2921 2840)

(整理︰香港文匯報記者)

(來源:香港文匯報A21:新聞透視眼 2022/07/05)