新華社香港7月17日電? 題：人機交互音樂(lè )會(huì )：唱響不一樣的《東方之珠》
新華社記者 陸敏
“小河彎彎向南流，流到香江去看一看……”
歌聲響起處，大屏幕上五彩斑斕的3D音畫(huà)隨著(zhù)旋律“起舞”，晶瑩欲滴的珠子不斷幻變出城市、海港、船帆，還有月色和燈火，水母在玫瑰色的天空中游弋，巨大的海浪卷出彩虹……
一場(chǎng)別開(kāi)生面的音樂(lè )會(huì )14日在香港大會(huì )堂音樂(lè )廳舉行，擔任指揮的是香港浸會(huì )大學(xué)交響樂(lè )團音樂(lè )總監潘明倫。在真人樂(lè )團的現場(chǎng)伴奏下，300多個(gè)虛擬人聲合唱一曲《東方之珠》，配上由人工智能為歌曲創(chuàng )作的3D音畫(huà)，瑰麗奇幻，氣勢恢宏。
人工智能專(zhuān)家、浸會(huì )大學(xué)副校長(cháng)郭毅可接受新華社記者專(zhuān)訪(fǎng)（7月11日攝）。新華社記者 吳曉初 攝
“這應該是全球首場(chǎng)同類(lèi)的人機合作表演?！比斯ぶ悄軐?zhuān)家、浸會(huì )大學(xué)副校長(cháng)郭毅可說(shuō)，“人和機器共同創(chuàng )作和完成一個(gè)藝術(shù)作品，我們做到了?！?/p>
這是浸會(huì )大學(xué)“香港人機共生藝術(shù)創(chuàng )造平臺技術(shù)建設”項目拿出的第一份成績(jì)單。這一項目去年獲得香港特區政府撥款5200多萬(wàn)港元，開(kāi)展為期5年的藝術(shù)科技研究。
組建人工智能“合唱團”
今年是香港回歸祖國25周年，項目團隊首先想到了歌曲《東方之珠》?！坝萌藱C交互的方式進(jìn)行再創(chuàng )作，以此送上我們的祝福?！必撠熢擁椖康墓憧烧f(shuō)。
第一個(gè)挑戰是“組建”320個(gè)虛擬歌手組成的人工智能“合唱團”。
通過(guò)收集專(zhuān)業(yè)歌手的錄音歌曲，他們提取和分解了聲樂(lè )的主要特點(diǎn)，開(kāi)發(fā)了聲樂(lè )的生成模型，成功創(chuàng )建了一個(gè)四聲部的合唱，同時(shí)通過(guò)8個(gè)人的人聲采樣，生成320個(gè)具有全新音色的虛擬歌手，“組建”成團。
虛擬歌手們開(kāi)始“唱”得并不好，會(huì )唱錯、唱不上高音甚至破音跑調?！奥曇艟褪穷l率，教它們學(xué)唱歌不算太難，就是需要不斷地通過(guò)調整頻率進(jìn)行改善?！惫憧烧f(shuō)。
在彩排中，香港浸會(huì )大學(xué)交響樂(lè )團音樂(lè )總監潘明倫身上多處綁著(zhù)傳感器，他不時(shí)與臺下的技術(shù)團隊進(jìn)行溝通（7月11日攝）。新華社記者 吳曉初 攝
第二個(gè)挑戰是表演時(shí)的人機互動(dòng)。在舞臺上，指揮和樂(lè )團是真人，虛擬歌手們要學(xué)會(huì )“聽(tīng)”指揮的指令，做到與交響樂(lè )團的現場(chǎng)演奏無(wú)縫銜接，而這并非易事。
記者在彩排現場(chǎng)看到，指揮潘明倫脫去了西裝，他的腰上、肩上、手臂和手腕處都綁著(zhù)裝有傳感器的綁帶，他不時(shí)停下指揮，與臺下的技術(shù)團隊進(jìn)行溝通磨合。
傳感器的作用是把指揮的肢體動(dòng)作“同聲傳譯”給人工智能合唱系統?！半y點(diǎn)也在于此，指揮的手勢不是固定的，需要有個(gè)模糊邏輯讓系統學(xué)習。開(kāi)始挺亂的，現在越練越好了?！惫憧烧f(shuō)。
經(jīng)過(guò)長(cháng)達半年的科研攻關(guān)和人機磨合，浸大的人工智能合唱團成功地完成了與真人交響樂(lè )團的合作。
人工智能眼里的“東方之珠”
最大的突破來(lái)自人工智能的“創(chuàng )作”。配合歌曲意境，人工智能自主創(chuàng )作的3D音畫(huà)，用天馬行空的想象力和表現力向人類(lèi)描述了它眼中的“東方之珠”。
在這段時(shí)長(cháng)約4分鐘的3D音畫(huà)里，人工智能共生成近3000張圖像，且畫(huà)面之間邏輯順暢，并與《東方之珠》的歌詞和旋律相匹配?！案鶕柙~內容不斷變化，動(dòng)態(tài)生成各種場(chǎng)景。鏡頭設計了一個(gè)虛擬的飛行視角，其速度和高度隨旋律而變化，音量高就飛得高；節奏快，速度也會(huì )加快?！惫憧烧f(shuō)。
香港浸會(huì )大學(xué)交響樂(lè )團樂(lè )手在彩排中演奏（7月11日攝）。新華社記者 吳曉初 攝
剛開(kāi)始的時(shí)候，團隊只是讓人工智能根據歌詞生成一幅幅畫(huà)，將它們簡(jiǎn)單連接。隨著(zhù)探索的深入，他們開(kāi)始嘗試讓人工智能“創(chuàng )作”三維視頻?！斑@需要對歌詞內容系統地理解，而且邏輯必須連貫，并且自動(dòng)生成。這個(gè)時(shí)候我們的創(chuàng )新就開(kāi)始了?！惫憧烧f(shuō)。
要做到這一點(diǎn)，首先要讓機器學(xué)會(huì )理解歌詞的文字內涵，人“教會(huì )”機器了解一些相對應的關(guān)系，比如香江代表著(zhù)香港，“珠”的意象要成為貫穿音畫(huà)的主線(xiàn)等，在此基礎上讓機器自主想象，自行創(chuàng )作。而在機器完成創(chuàng )作后，具備不具備美感和意義則需要人來(lái)反饋，并幫助它修正。
“這就是人機交互的創(chuàng )作?！惫憧烧f(shuō)，“我們開(kāi)發(fā)了一個(gè)人工智能驅動(dòng)的媒體藝術(shù)家模型，‘東方之珠’音畫(huà)是我們向超級人工智能藝術(shù)家目標邁出的重要一步?！?/p>
讓科技賦能藝術(shù)
在以往的人工智能藝術(shù)創(chuàng )作中，一個(gè)傳統的思路是機器模仿人。郭毅可對此并不認同。他認為，在藝術(shù)創(chuàng )作領(lǐng)域，人工智能有自己獨特的創(chuàng )造能力。隨著(zhù)人機交互技術(shù)的進(jìn)步，它的創(chuàng )作可以跟人不一樣，也可以被人理解和欣賞，并可能隨著(zhù)人對美學(xué)的需求而不斷改進(jìn)。
“科學(xué)上的突破往往最先來(lái)自于觀(guān)念，我認為我們中國人有這個(gè)能力，不在人家的話(huà)語(yǔ)體系里轉圈圈。我們這次的創(chuàng )新在于理念變了，由此找到了新的突破點(diǎn)?！惫憧烧f(shuō)。
人工智能專(zhuān)家、浸會(huì )大學(xué)副校長(cháng)郭毅可（右二）在彩排現場(chǎng)（7月11日攝）。新華社記者 吳曉初 攝
《東方之珠》音畫(huà)第一版，整個(gè)圖像投影在一顆珠子上，然后珠子一層層打開(kāi)，到“流到香江去看一看”時(shí)，突然幻變成了一朵紫荊花?！拔覀兌俭@呆了，‘香江’的概念居然會(huì )以一朵紫荊花的形態(tài)展現，非常奇妙，這就是機器的創(chuàng )造力?！彼f(shuō)。
如果相信機器能夠創(chuàng )造，那么未來(lái)的藝術(shù)會(huì )是什么樣？這個(gè)問(wèn)題令郭毅可和他的團隊興奮。郭毅可認為，科技賦能藝術(shù)，人機達成更多的互動(dòng)與交流，為藝術(shù)的發(fā)展帶來(lái)全新的可能。
下一步，人機互動(dòng)要向更深層次探索，比如連接意識、情感?！拔覀兛梢园衙栏芯幋a，讓機器認識美感，然后讓美感成為它創(chuàng )作的一部分，這是我們研究的一個(gè)重要方向?！惫憧烧f(shuō)。
郭毅可希望將來(lái)能人機合作創(chuàng )作一部歌劇，將編、導、演、唱集成展現?！疤剿鳠o(wú)止境，沒(méi)有什么是不可能的?！彼f(shuō)。
