【文化AI進行式4】把人體電流轉譯成聲音　雲門舞作《波》藉AI生成影像與舞者對話

圖文／鏡週刊

表演藝術的本質是現場演出，難與AI產生聯想，但雲門舞集總監鄭宗龍和日本新媒體藝術家真鍋大度攜手以舞作《波》寫下範例。團隊人員採集舞者的動作，經過AI運算轉化成影像和音樂，在舞台上創造出與舞者對話的效果。

廣告 更多內容請繼續往下閱讀

表演藝術的本質是現場演出，難與AI產生聯想，但雲門舞集總監鄭宗龍和日本新媒體藝術家真鍋大度攜手以舞作《波》寫下範例。團隊人員採集舞者的動作，經過AI運算轉化成影像和音樂，在舞台上創造出與舞者對話的效果。

雲門文化藝術基金會執行總監洪凱西不諱言，科技人和藝術人的語彙相距甚遠，溝通上需要磨合。當時真鍋大度來到台灣，雙方在排練場試了很多可能性。真鍋的團隊在舞者身上放置可傳遞電流的裝置，在舞者律動過程中，從他們的肌肉捕捉到一些電流，再轉譯成聲音。

廣告 更多內容請繼續往下閱讀

洪凱西表示，真鍋大度是音樂家出身，但他接觸的技術頗超前，因此很多溝通的語彙要彼此磨合。比方真鍋團隊的討論內容常提到參數，如影像的速度範圍或要使用哪些變化元素，對此 表演藝術工作者總是回說：「都可以，但是要有呼吸感，讓AI生成的影像與舞者對話。」呈現出科技與藝術跨域合作的有趣對比。

雙方在創作《波》的過程不斷嘗試可能性，原本為了打造一個AI舞者， 拍攝很多雲門舞者的素材去訓練AI。當時拍了很多舞者的身體，也使用過去的排練帶，希望訓練一個呈現在舞台螢幕的AI舞者，可惜最後因訓練所需的資料不足而作罷。

洪凱西表示，整個實驗過程也是一種學習。有時藝術家希望做細微的修改，比方速度再慢一點，結果等了4個小時電腦才運算完，才了解修改不如想像中容易。真鍋的團隊也跟她說，有時不會知道整個運算過程要多久，也不會知道出來的結果如何。

洪凱西坦言，藝術家只想改3秒鐘長度的內容，卻花了數小時運算才結束，且成果不見得符合想像。面對這樣的情形，只能時時調整心態，在訓練AI模型的同時也訓練自己的耐心。

更多鏡週刊報導
【文化AI進行式5】親自調教「AI陳珊妮」唱歌太逼真　她說著作權迫切需要法律保障
【文化AI進行式1】內容產業搭科技浪潮成趨勢　專家曝生成式AI的著作權爭議
【文化AI進行式2】使用自有內容訓練模型　他們藉AI繪製技術提升動畫品質