在互動設計與數位藝術的領域中，科技與美學的邊界正以驚人的速度擴張。近期，我的研究與創作重心大量聚焦於即時視覺編程工具 TouchDesigner (TD)，並致力於探索它與人工智慧 (AI) 結合的無限可能。
傳統的生成式藝術往往受限於運算時間與預先渲染的框架，但 TouchDesigner 強大的即時運算能力，為創作者打開了一扇全新的大門。當我們將 AI 模型（例如即時影像生成、姿態辨識或是音訊互動演算）導入 TD 的工作流程中，視覺不再只是被動的播放，而是能根據環境、聲音或肢體動作產生有機的即時回饋。
在建構電子聲響與 AI 互動視覺的專案，或是開發具備精準姿態追蹤（如 MediaPipe）的互動應用時，TD 扮演了不可或缺的橋樑角色。為了記錄這些技術測試與跨界整合的過程，我整理了一系列的實驗影片。
以下是我近期關於 TouchDesigner 與 AI 結合的系列測試紀錄：
實驗紀錄一：《塵沙的呢喃》(The Whisper of Dust and Sand) 電子音樂結合即時 AI 互動影像之測試。（基於音訊偵測影響 AI 即時影像生成）
在這項測試中，我主要嘗試將即時的音訊數據輸入 TouchDesigner，嘗試使用音訊偵測產生的頻譜圖像與遮罩，以圖生圖，搭配提示詞，透過 AI 模型驅動視覺畫面的生成與變異。整體效果穩定不少，雖然戲劇化減少了一些，但所生成的圖像比較能契合音樂聲響的內容。
技術重點： 音樂 ==> 即時波型圖像轉化為遮罩、特定頻率帶之強度偵測 ==> AI 模型之參數控制與即時提示詞切換 ==> AI 互動影像
觀察與反思： 延遲時間與表演場地網路的速度是現場演出的最大的挑戰，但即時生成的視覺張力非常迷人。
實驗紀錄二：基於 MediaPipe 的肢體追蹤與即時 AI 圖像生成
這段影片記錄了利用攝影機捕捉即時動態，並將骨架節點數據送入 TD 系統中，透過置換骨架節點的標籤圖像，產生自訂顏色的新骨架與形狀，結此來影像 AI 影像生成
技術重點： MediaPipe 節點數據擷取 ==> 置換骨架節點的標籤圖像 ==> 以圖生圖，即時影響 AI 圖像生成
觀察與反思： 目前這個方式可能比較適合結合舞蹈表演的互動 AI 影像生成，雖然所生成的畫面也許比較小，卻更能真實反應出 AI 畫面是受到舞者或表演者肢體動作的影響。如果能夠進一步同時利用肢體控制互動聲音，應該會更加有趣。
實驗紀錄三：以聲音操控 Shader 圖形，進而控制 AI 即時影像生成
技術重點： 音訊偵測 ==> Shader 圖像生成（例如 ISF shader）+ 提示詞 ==> AI 即時影像生成
觀察與反思：此種方法，使得透過音樂影響 AI 圖像生成的結果，可以有更多的彈性。比起實驗一的直接使用即時波形的遮罩來影響 AI 圖像，可以有更多的戲劇化效果。其中，我覺得碎形的 shader 非常好用，很適合抽象的聲音藝術作品搭配 AI 圖像生成之用。為了配合音樂表演需求，此次搭配我的「碎聲沉影」打擊樂與互動音樂系統的演出，我還加入了即時切換提示詞的功能，這樣就可以配合曲子的結構來切換不同主題的圖像（如下方第一、二支影片）。
實驗紀錄四：基於 MediaPipe 的人形輪廓偵測與遮罩生成，直接影響 AI 圖像生成
技術重點： ＭediaPipe 人形遮罩 + 提示詞 ==> AI 即時影像生成
觀察與反思： 這個方法應該是最簡單的利用人體的輪廓遮罩，控制 AI 即時影像生成的方法，程式設計上簡單得多，如果是在具有 Navida 晶片的電腦上，更可以直接截取人形的輪廓，而不用自己去去連結複雜的 Touch Designer 元件來增加動態遮罩的精確性。此技術應該很適合拿來做互動裝置，相較於人體骨架偵測而言，雖然精確度降低了，但也因為不是細細的骨架遮罩或數據，所產生的 AI 圖像也比較有彈性，面積也比較大一些。
未來的探索方向
這些測試影片只是個起點。TouchDesigner 與 AI 的結合，不僅僅是技術的堆疊，更是對「創作控制權」的重新定義——我們從單純的「創作者」，變成了與演算法協作的「策展人」。
未來我會持續在這個部落格分享更多關於互動設計、聲響藝術以及程式視覺的實驗心得與專案進度。如果你對 TouchDesigner 的技術細節或是 AI 在互動藝術上的應用有任何想法與合作提案，歡迎在與我交流討論，也歡迎報考北科碩士班的同學，加入我的「互動影音多媒體」實驗室研究團隊。
沒有留言:
張貼留言