從設計內容到設計行為：AI 時代的互動媒體與聲音設計

Vibe Coding 正在徹底改變傳統互動設計的專業分工。當程式撰寫、視覺生成、聲音處理與系統整合，都可以在人工智慧協助下快速完成時，跨領域創作的技術門檻大幅降低。這一方面意味著單一技術專業不再像過去那樣具有高度不可取代性；另一方面，卻也意味著整體媒體設計的標準正在提高。未來真正形成差異的，可能不再只是「會不會寫程式」、「會不會做影像」，而是創作者能否整合不同媒體，建立具有美學判斷、互動邏輯與感知層次的完整體驗。

這樣的改變，也可能讓過去經常被視為視覺附屬元素的聲音設計得到更多重視。當生成式視覺讓畫面可以即時產生大量變化，視覺不再只是播放預先製作好的動畫，而是成為具有多重可能性、甚至不可完全預期的動態系統時，聲音也必須具備相應的複雜度。如果畫面每一次都不同，聲音卻仍然只是播放同一個音檔，整體互動經驗很快就會顯得僵化。

因此，未來的互動聲音設計不應只是「觸發一個聲音」，而應該逐漸轉向建立一套可以產生聲音行為的系統。同樣一個使用者動作，可以依據速度、位置、方向、時間、環境狀態以及前一次互動結果，產生不同的聲音回應。人工智慧與即時運算的價值，也正在於它能在不同比例增加人力成本的情況下，處理過去需要大量人工設定才能完成的複雜關係，使互動從「事先寫好的固定答案」，逐漸走向「依情境產生不同答案」。

甚至看似簡單的「風吹樹葉」，真正要做到自然，其實已經是一個相當複雜的聲音設計問題。風並不是單純的音量大小，樹葉的聲響也不是一個錄音檔反覆播放。風速、陣風、葉片數量、碰撞密度、摩擦方式、空間位置與距離，都會改變我們聽到的結果。因此，可以利用多個樹葉錄音建立持續的基礎聲層，再加入不定時出現的變化聲層，使聲音的密度、音量、空間位置與頻譜持續產生細微差異，避免每一次風吹過時都得到完全相同的結果。

但這仍然只是其中一種做法。如果進一步疊加即時音訊合成與聲音處理技術，便不必完全依賴既有錄音素材。例如可以利用噪音、濾波、顆粒合成、物理模型或頻譜處理，即時模擬葉片摩擦、碰撞與風流變化，再讓風速、人物位置、環境感測器或影像分析結果直接控制聲音參數。如此一來，「風」就不只是觸發某一個聲音，而是持續改變一個聲音生成系統的狀態。

這也可能是 Vibe Coding 對互動設計更深層的影響：**它降低的不是創作本身的難度，而是實現複雜構想的技術門檻。**當「做得出來」變得越來越容易，真正困難的問題就會轉移到「要做什麼」、「為什麼這樣互動」以及「如何讓不同媒體形成具有意義的關係」。

因此，未來互動設計的競爭可能不是誰能做出更多效果，而是誰能設計出更有生命感的行為（behavior）。視覺、聲音、燈光與空間不再只是等待指令後播放固定內容，而是共同構成一個會隨環境與使用者持續改變的系統。

從「設計內容」走向「設計行為」，從「預設結果」走向「生成可能性」——這或許才是 AI 與 Vibe Coding 對互動媒體設計真正帶來的改變。

生成式 AI 走入設計敘事與音像實驗

近年來，生成式 AI 已從「好玩的工具」轉變為與創作者深度協同的思維載體。這波浪潮深刻引導了我目前的個人研究興趣。這陣子我深入投入多個前沿範疇的實作：在視覺生成上，我嘗試透過 ComfyUI 的節點式工作流進行精準的條件控制，然而受限於免費的模型，以及算力的限制，沒辦法在本地端的主機中運行複雜的東西；我也同時實測 Kling AI 的物理模擬影像引擎，觀察其動態連續性與微表情。此外，我也嘗試在 Kling AI 使用 AI Agent（AI 智能體） 的多主體協同概念，實驗動畫前期製程中劇本與分鏡的自動化工作流看起來是不錯，但缺點是會以非常快的速度消耗算力點數，似乎並不是像說的一樣理想。然而，除了線性影像，我更感興趣的是將這股生成爆發力與 TouchDesigner 音像系統、以及 AI 聲音科技（如環境音效生成、擬音 Foley 自動化）進行跨界整合，不過 AI 影像生成是會延遲的，除非排除掉細節，則可以大幅降低延遲，然而也因此畫面品質有限，但也意味著目前直接應用在強調絕對實時性的現場表演或互動裝置中，仍有其限制，但從設計研究的角度來看，如何透過視覺轉譯或非線性敘事來轉化這種技術限制，反而激發了新的創作思維。

就一個教學者而言，這些新的技術應用，跟數位音樂的其他技術一樣，很難在課堂中實踐，因為算力是要付費的，以前軟體掛帥的年代，商用軟體的相關使用技術，原本就很難在學校的大班課中合法進行，現在不是只有軟體的問題，還有算力的問題，結果在我參與的大二設計課中，學生們在進行報告提案時，幾乎鮮少使用 AI 來製作 demo 影片，我覺得有些可惜，因為不僅效率有問題、產品不夠精緻、也缺少了增加理解 AI 運作經驗的機會。然而，這波趨勢已經是無法回頭，身為教學者，花點錢去理解 AI 工具，其實就是一種知識學習上的投資吧。

恭喜我的五位碩士生通過碩士論文口試（6/26)

恭喜我的五位碩士研究生完成了碩士論文口試。還包含一位德國學生，主題涵蓋 VR、Vtuber、AI 療癒、手機介面等研究及線上展覽館創作。我覺得同學們依照自己的興趣去找主題，然後跟指導教授討論發展成碩士論文的可能性，這樣很好，畢竟每個人有興趣的方向、或者想走的路都不一樣，局現在老師自己的興趣或研究主題，反而限制了同學們的想像與可能性。我自己並不特別去限制同學要照著我的研究興趣與主題去發展，主要考量老師的研究領域或創作興趣必然受到某個熟悉的場域的限制，這個場域又受制於時間與空間的制約，但世界變化得非常快，每個學生從生活中看到的設計上的需求，跟我的觀點所看到的設計上的需求必然不同，限制一個主題方向，反而限制了學生的想像力。如今，AI 諮詢的橫空出世，我覺得指導教授所提供的內容可能更是主題範圍的限縮、論文架構的整理、論文的寫作技巧、論文內容品質的把關、研究方法的邏輯檢視等。指導論文的過程原本就是一個教學相長的過程，我自己也在這個廣泛的領域中，認識了很多新的領域，這在沒有 AI 之前，應該是非常不容易的，所以也是一個非常特別的經驗。

探索生成式藝術：TouchDesigner 與 AI 的即時視覺實驗

在互動設計與數位藝術的領域中，科技與美學的邊界正以驚人的速度擴張。傳統的生成式藝術往往受限於運算時間與預先渲染的框架，但 TouchDesigner (TD) 強大的即時運算能力，為創作者打開了一扇全新的大門。

近期，我的研究與創作重心大量聚焦於 TD 與人工智慧 (AI) 的整合應用。當我們將 AI 模型（例如即時影像生成、姿態辨識或音訊演算）導入 TD 的工作流程時，視覺不再只是被動的播放，而是能根據環境、聲音或肢體動作產生有機的即時回饋。

在建構如《Entropy》這類深入探討電子聲響與 AI 互動視覺的專案時，TD 扮演了不可或缺的橋樑角色。為了記錄這些技術測試與跨界整合的過程，我整理了一系列的實驗影片。以下是我近期關於 TouchDesigner 與 AI 結合的測試紀錄：

實驗紀錄一：《塵沙的呢喃》(The Whisper of Dust and Sand) – 電子音樂與 AI 互動影像之共鳴

這項測試探討了如何將即時音訊轉化為視覺生成的驅動力。透過擷取音訊偵測所產生的頻譜圖像與遮罩，我以「圖生圖」的方式搭配提示詞 (Prompt)，直接驅動 AI 模型的演算與變異。

• 技術重點： 音訊特徵擷取（波形圖像化與特定頻率帶偵測） ➔ 即時遮罩生成 ➔ AI 模型參數與提示詞連動控制 ➔ AI 即時互動影像。

• 觀察與反思： 現場演出的網路速度與運算延遲是目前最大的技術挑戰。然而，相較於過往純粹的音頻驅動，AI 生成的圖像在契合音樂的聲響內容上表現得更為穩定且深邃，即時生成的視覺張力依然非常迷人。

• 實驗紀錄二：肢體語彙的轉譯 – 基於 MediaPipe 的骨架追蹤與 AI 圖像生成

  這段影片記錄了利用攝影機捕捉即時動態，並將骨架節點數據送入 TD 系統的過程。透過置換骨架節點的標籤圖像，產生自訂顏色的新骨架與形狀，進而引導 AI 的視覺生成。

  • 技術重點： MediaPipe 節點數據擷取 ➔ 骨架標籤圖像置換 ➔ 以圖生圖引導 AI 演算。

  • 觀察與反思： 這種手法極度適合結合當代舞蹈的互動展演，能真實反映出 AI 畫面受到表演者肢體動作牽引的有機連動。未來若能進一步讓肢體同時控制互動聲音，整體張力將會更加強烈。此外，這類精準的姿態追蹤技術在跨領域上也有著極大的潛力，例如將其延伸應用於數位療癒領域的瑜伽體態辨識系統，探索科技與身心互動的更多維度。

  
  

實驗紀錄三：聽覺的視覺化形變 – 聲音操控 Shader 驅動 AI 即時運算

相較於直接使用音訊波形，這個測試將聲音先轉化為 Shader 圖像（例如 ISF Shader），再結合提示詞來引導 AI，這種雙層轉譯的手法帶來了極大的彈性與戲劇化效果。

• 技術重點： 即時音訊偵測 ➔ 驅動 Shader 圖像生成 ➔ 結合提示詞 ➔ AI 即時影像生成。

• 觀察與反思： 碎形 (Fractal) Shader 在這套系統中表現優異，非常適合用來詮釋抽象的聲音藝術作品。在「碎聲沉影」打擊樂與互動音樂系統的演出中，我運用了這套方法，並加入了即時提示詞切換功能（如下方第一、二支影片），讓視覺能緊密貼合曲目的結構，隨時切換不同主題的影像。

實驗紀錄四：空間中的人體拓撲 – MediaPipe 人形輪廓遮罩與 AI 視覺

相較於細緻的骨架數據，這個測試專注於擷取人體的整體輪廓遮罩，並將其直接作為 AI 生成的範圍引導。

• 技術重點： MediaPipe 人形遮罩 (Silhouette) 擷取 + 提示詞 ➔ AI 即時影像生成。

• 觀察與反思： 這是在程式邏輯上最為直觀且高效的方法。若硬體具備強大的 NVIDIA 運算晶片，便能直接且流暢地擷取人形輪廓，無需在 TD 中串接複雜的元件來處理動態遮罩的精確度。雖然犧牲了骨架關節的細節，但生成圖像的面積更大、充滿彈性，是一項非常適合應用於互動裝置藝術的技術。

---

未來的探索方向

這些測試影片只是個起點。TouchDesigner 與 AI 的結合，不僅僅是技術工具的堆疊，更是對「創作控制權」的重新定義——我們正從單純的「創作者」，蛻變為與演算法深度協作的「策展人」。

未來我會持續在這個部落格分享更多關於互動設計、聲響藝術以及程式視覺的實驗心得與專案進度。如果你對 TouchDesigner 的技術細節、AI 在互動藝術上的應用有任何想法與合作提案，歡迎與我交流討論。同時，也竭誠歡迎對這些領域充滿熱情的同學報考北科碩士班，加入我的「互動影音多媒體」實驗室研究團隊，一起探索科技與藝術的未知領域。