互動音像裝置創作

• 作品名稱：即時衍生互動音畫「煙雨行」 (2026) (音樂、互動影像設計：鄭建文）

原創音樂測試影片

語音導覽

創作理念 《煙雨行》是一件即時衍生互動音畫作品，靈感來自蘇軾〈定風波〉。蘇軾在沙湖道中遇雨，同行皆狼狽，他卻竹杖芒鞋、吟嘯徐行。本作把這份從容化為可以親身經歷的空間：觀眾的聲音掀起山林中的風雨雷霧，畫中行者卻始終以不變的步調前行。外在的動盪真實存在，但人可以不被它帶走。當觀眾安靜下來，雨勢漸歇，斜陽或明月從雲後露出，回應詞中「山頭斜照卻相迎」與「也無風雨也無晴」。 畫面以第一人稱視角，沿蜿蜒小徑穿過水墨竹林、山澗與湖岸，日夜循環，沒有終點。竹葉以「介」字筆法成簇，岩石帶皴擦，遠山與雲海拉開空氣透視。湖上有涼亭、烏篷船與披蓑撐篙的漁翁，林間有鹿、狐、兔、鳥與夜裡的螢火。節選自〈定風波〉的詞句以行書直書於畫面右側，依真實筆順逐筆寫出，句末化為落葉隨風散去。所有形象皆以程式即時繪製，未使用任何網路圖片。 互動機制 作品有兩種聆聽模式。人聲模式以麥克風收音，適合展場：低沉重擊引來閃電與雷聲，鳥獸驚散；清脆聲響讓竹葉顫動、魚躍出水；吟唱讓詩句加速書寫、竹林搖擺；音量的滑動平均決定雨勢與霧的濃淡；沉默數秒後雨停天晴，蟲鳴浮現。音樂模式則把樂曲的音量、低音、旋律、高音、節拍與段落轉為連續的天氣變化，也能讓詩句依曲長分配，於曲終寫完。無論風雨多大，行走的基本步速都不受聲音左右，重擊頂多像一陣風從背後推了一把。 技術說明 作品以 TouchDesigner 2023 建構，封裝於單一元件。聲音經 Script CHOP 以 numpy FFT 切成低、中、高三個頻段，再經平滑、滑動平均與雙門檻判斷轉為控制訊號；雷聲須同時高於近期平均與絕對音量才會觸發。場景以 GLSL 光線行進即時繪製立體竹林，再與全解析度的雨、水、生物與書法疊加層合成；所有隨速度變化的動態皆採累積時鐘，避免畫面跳動。環境音包含雨、溪、雷、鳥鳴錄音與即時合成的蟲鳴，經混音與殘響輸出，雷聲方位隨閃電位置移動，並設有防回授機制。系統內建全螢幕投影輸出與影音錄製，在開發用筆電上約以每秒 22 至 31 格運行。

• 作品名稱：即時衍生互動音畫「微瀾照寂」（2026) (音樂、互動影像設計：鄭建文）

本作品以 TouchDesigner 打造一套即時、由聲音驅動的沉浸式投影系統。畫面中約五十六萬顆粒子構成一片有厚度的夕陽之海，海面由多層 Gerstner 波疊加而成，並以 GLSL 著色器在 GPU 上逐粒計算位置、逆光、透光與倒影，再透過實例化（instancing）即時繪製，維持每秒六十格的流暢度。

系統唯一的輸入是現場麥克風。程式從音量中辨識三種狀態：敲擊、持續聲響與安靜。每一次敲擊，都會在海面隨機位置激起多根高低錯落的水柱，水滴依物理軌跡飛散落回，並泛起藍色螢光；安靜時，隸書心經自天空一字一字落下，海鷗橫越、蓮花燈漂來、魚群躍出；再度出聲，經文分批溶解，萬物隨之散去，形成「聲起則散、靜極則生」的循環。

聲音同樣即時生成。多層獨立的濾波噪音合成出不重複的浪聲，並與畫面浪高同步；程式分區量測畫面上飛濺的粒子，讓顆粒聲與潑濺聲依遠近、左右精準對應視覺。海鷗叫聲、浪花音檔則依畫面中鳥群與浪花的位置動態定位。

整體架構以 Python 管理時間與狀態、GPU 負責運算與繪圖，並內建自身聲音防護、峰值監測、時間軸守護與影音錄製等機制，讓作品能穩定地在現場長時間演出。