邊界互滲：生成式 AI 走入設計敘事與音像實驗

近年來，生成式 AI 已從「好玩的工具」轉變為與創作者深度協同的思維載體。這波浪潮深刻引導了我目前的個人研究興趣。這陣子我深入投入多個前沿範疇的實作：在視覺生成上，我嘗試透過 ComfyUI 的節點式工作流進行精準的條件控制，然而受限於免費的模型，以及算力的限制，沒辦法在本地端的主機中運行複雜的東西；我也同時實測 Kling AI 的物理模擬影像引擎，觀察其動態連續性與微表情。此外，我也嘗試在 Kling AI 使用 AI Agent（AI 智能體） 的多主體協同概念，實驗動畫前期製程中劇本與分鏡的自動化工作流看起來是不錯，但缺點是會以非常快的速度消耗算力點數，似乎並不是像說的一樣理想。然而，除了線性影像，我更感興趣的是將這股生成爆發力與 TouchDesigner 音像系統、以及 AI 聲音科技（如環境音效生成、擬音 Foley 自動化）進行跨界整合，不過 AI 影像生成是會延遲的，除非排除掉細節，則可以大幅降低延遲，然而也因此畫面品質有限，但也意味著目前直接應用在強調絕對實時性的現場表演或互動裝置中，仍有其限制，但從設計研究的角度來看，如何透過視覺轉譯或非線性敘事來轉化這種技術限制，反而激發了新的創作思維。

就一個教學者而言，這些新的技術應用，跟數位音樂的其他技術一樣，很難在課堂中實踐，因為算力是要付費的，以前軟體掛帥的年代，商用軟體的相關使用技術，原本就很難在學校的大班課中合法進行，現在不是只有軟體的問題，還有算力的問題，結果在我參與的大二設計課中，學生們在進行報告提案時，幾乎鮮少使用 AI 來製作 demo 影片，我覺得有些可惜，因為不僅效率有問題、產品不夠精緻、也缺少了增加理解 AI 運作經驗的機會。然而，這波趨勢已經是無法回頭，身為教學者，花點錢去理解 AI 工具，其實就是一種知識學習上的投資吧。

恭喜我的五位碩士生通過碩士論文口試（6/26)

恭喜我的五位碩士研究生完成了碩士論文口試。還包含一位德國學生，主題涵蓋 VR、Vtuber、AI 療癒、手機介面等研究及線上展覽館創作。我覺得同學們依照自己的興趣去找主題，然後跟指導教授討論發展成碩士論文的可能性，這樣很好，畢竟每個人有興趣的方向、或者想走的路都不一樣，局現在老師自己的興趣或研究主題，反而限制了同學們的想像與可能性。我自己並不特別去限制同學要照著我的研究興趣與主題去發展，主要考量老師的研究領域或創作興趣必然受到某個熟悉的場域的限制，這個場域又受制於時間與空間的制約，但世界變化得非常快，每個學生從生活中看到的設計上的需求，跟我的觀點所看到的設計上的需求必然不同，限制一個主題方向，反而限制了學生的想像力。如今，AI 諮詢的橫空出世，我覺得指導教授所提供的內容可能更是主題範圍的限縮、論文架構的整理、論文的寫作技巧、論文內容品質的把關、研究方法的邏輯檢視等。指導論文的過程原本就是一個教學相長的過程，我自己也在這個廣泛的領域中，認識了很多新的領域，這在沒有 AI 之前，應該是非常不容易的，所以也是一個非常特別的經驗。

探索生成式藝術：TouchDesigner 與 AI 的即時視覺實驗

在互動設計與數位藝術的領域中，科技與美學的邊界正以驚人的速度擴張。傳統的生成式藝術往往受限於運算時間與預先渲染的框架，但 TouchDesigner (TD) 強大的即時運算能力，為創作者打開了一扇全新的大門。

近期，我的研究與創作重心大量聚焦於 TD 與人工智慧 (AI) 的整合應用。當我們將 AI 模型（例如即時影像生成、姿態辨識或音訊演算）導入 TD 的工作流程時，視覺不再只是被動的播放，而是能根據環境、聲音或肢體動作產生有機的即時回饋。

在建構如《Entropy》這類深入探討電子聲響與 AI 互動視覺的專案時，TD 扮演了不可或缺的橋樑角色。為了記錄這些技術測試與跨界整合的過程，我整理了一系列的實驗影片。以下是我近期關於 TouchDesigner 與 AI 結合的測試紀錄：

實驗紀錄一：《塵沙的呢喃》(The Whisper of Dust and Sand) – 電子音樂與 AI 互動影像之共鳴

這項測試探討了如何將即時音訊轉化為視覺生成的驅動力。透過擷取音訊偵測所產生的頻譜圖像與遮罩，我以「圖生圖」的方式搭配提示詞 (Prompt)，直接驅動 AI 模型的演算與變異。

• 技術重點： 音訊特徵擷取（波形圖像化與特定頻率帶偵測） ➔ 即時遮罩生成 ➔ AI 模型參數與提示詞連動控制 ➔ AI 即時互動影像。

• 觀察與反思： 現場演出的網路速度與運算延遲是目前最大的技術挑戰。然而，相較於過往純粹的音頻驅動，AI 生成的圖像在契合音樂的聲響內容上表現得更為穩定且深邃，即時生成的視覺張力依然非常迷人。

• 實驗紀錄二：肢體語彙的轉譯 – 基於 MediaPipe 的骨架追蹤與 AI 圖像生成

  這段影片記錄了利用攝影機捕捉即時動態，並將骨架節點數據送入 TD 系統的過程。透過置換骨架節點的標籤圖像，產生自訂顏色的新骨架與形狀，進而引導 AI 的視覺生成。

  • 技術重點： MediaPipe 節點數據擷取 ➔ 骨架標籤圖像置換 ➔ 以圖生圖引導 AI 演算。

  • 觀察與反思： 這種手法極度適合結合當代舞蹈的互動展演，能真實反映出 AI 畫面受到表演者肢體動作牽引的有機連動。未來若能進一步讓肢體同時控制互動聲音，整體張力將會更加強烈。此外，這類精準的姿態追蹤技術在跨領域上也有著極大的潛力，例如將其延伸應用於數位療癒領域的瑜伽體態辨識系統，探索科技與身心互動的更多維度。

  
  

實驗紀錄三：聽覺的視覺化形變 – 聲音操控 Shader 驅動 AI 即時運算

相較於直接使用音訊波形，這個測試將聲音先轉化為 Shader 圖像（例如 ISF Shader），再結合提示詞來引導 AI，這種雙層轉譯的手法帶來了極大的彈性與戲劇化效果。

• 技術重點： 即時音訊偵測 ➔ 驅動 Shader 圖像生成 ➔ 結合提示詞 ➔ AI 即時影像生成。

• 觀察與反思： 碎形 (Fractal) Shader 在這套系統中表現優異，非常適合用來詮釋抽象的聲音藝術作品。在「碎聲沉影」打擊樂與互動音樂系統的演出中，我運用了這套方法，並加入了即時提示詞切換功能（如下方第一、二支影片），讓視覺能緊密貼合曲目的結構，隨時切換不同主題的影像。

實驗紀錄四：空間中的人體拓撲 – MediaPipe 人形輪廓遮罩與 AI 視覺

相較於細緻的骨架數據，這個測試專注於擷取人體的整體輪廓遮罩，並將其直接作為 AI 生成的範圍引導。

• 技術重點： MediaPipe 人形遮罩 (Silhouette) 擷取 + 提示詞 ➔ AI 即時影像生成。

• 觀察與反思： 這是在程式邏輯上最為直觀且高效的方法。若硬體具備強大的 NVIDIA 運算晶片，便能直接且流暢地擷取人形輪廓，無需在 TD 中串接複雜的元件來處理動態遮罩的精確度。雖然犧牲了骨架關節的細節，但生成圖像的面積更大、充滿彈性，是一項非常適合應用於互動裝置藝術的技術。

---

未來的探索方向

這些測試影片只是個起點。TouchDesigner 與 AI 的結合，不僅僅是技術工具的堆疊，更是對「創作控制權」的重新定義——我們正從單純的「創作者」，蛻變為與演算法深度協作的「策展人」。

未來我會持續在這個部落格分享更多關於互動設計、聲響藝術以及程式視覺的實驗心得與專案進度。如果你對 TouchDesigner 的技術細節、AI 在互動藝術上的應用有任何想法與合作提案，歡迎與我交流討論。同時，也竭誠歡迎對這些領域充滿熱情的同學報考北科碩士班，加入我的「互動影音多媒體」實驗室研究團隊，一起探索科技與藝術的未知領域。

互動影音表演設計工作坊（3/21 日舉行，3/19 截止報名，限東海大學學生）

感謝東海大學音樂系的邀請，我將在 3/21 日至東海大學音樂系進行互動影音表演的工作坊的授課，歡迎東海大學的同學們來參加。