影音軟體開發

即時衍生互動音畫：墨境、雪泥鶴跡
《墨境・雪泥鶴跡》是一件即時衍生互動音畫。作品名稱取自蘇軾〈和子由澠池懷舊〉：「人生到處知何似，應似飛鴻踏雪泥。泥上偶然留指爪，鴻飛哪復計東西。」飛鴻在雪泥上留下的爪痕，轉瞬即逝，卻是走過的證明；作品以水墨鶴取代飛鴻，象徵人們行經山水時留下的印記。

畫面中的山水，源自三幅 AI 生成的山水畫。創作者運用高斯潑濺技術，將每一幅平面畫作重建為可以走入的立體空間，再把三個畫境串連為一段連續的旅程。原本的筆觸化為懸浮空中的墨點，觀者隨著鏡頭在畫境之間緩緩穿行，彷彿走進一幅會呼吸的長卷。

山水隨音樂經歷春夏秋冬，櫻花、螢火、紅葉與白雪依季節輪流飄落；日夜也跟著樂曲推移，從白晝走入黃昏與夜色。兩隻水墨鶴不時掠過天際，水邊一隻立鶴悠然散步、單腳小憩，牠們皆以毛筆筆觸繪成，與山水一同隱入雲霧。

音樂是作品的心跳。程式即時聆聽樂曲：重擊使山水崩散成漫天墨點，再緩緩聚合；低音化為聲波在群山間起伏，並噴出白煙與墨滴，在空中暈染成霧，如宣紙上的一滴墨在水氣中化開；高音則吹起飛花。

所有畫面皆由程式即時運算，每一次演出都不會完全相同。觀者在墨境中駐足的片刻，也如雪泥上的鶴跡，偶然而獨一無二。

《墨境・雪泥鶴跡》導覽影片

《墨境・雪泥鶴跡》音樂測試影片

即時衍生互動音畫：煙雨行
設計理念《煙雨行》是一件即時衍生互動音畫作品，靈感來自蘇軾〈定風波〉。蘇軾在沙湖道中遇雨，同行皆狼狽，他卻竹杖芒鞋、吟嘯徐行。本作把這份從容化為可以親身經歷的空間：觀眾的聲音掀起山林中的風雨雷霧，畫中行者卻始終以不變的步調前行。外在的動盪真實存在，但人可以不被它帶走。當觀眾安靜下來，雨勢漸歇，斜陽或明月從雲後露出，回應詞中「山頭斜照卻相迎」與「也無風雨也無晴」。畫面以第一人稱視角，沿蜿蜒小徑穿過水墨竹林、山澗與湖岸，日夜循環，沒有終點。竹葉以「介」字筆法成簇，岩石帶皴擦，遠山與雲海拉開空氣透視。湖上有涼亭、烏篷船與披蓑撐篙的漁翁，林間有鹿、狐、兔、鳥與夜裡的螢火。節選自〈定風波〉的詞句以行書直書於畫面右側，依真實筆順逐筆寫出，句末化為落葉隨風散去。所有形象皆以程式即時繪製，未使用任何網路圖片。互動機制作品有兩種聆聽模式。人聲模式以麥克風收音，適合展場：低沉重擊引來閃電與雷聲，鳥獸驚散；清脆聲響讓竹葉顫動、魚躍出水；吟唱讓詩句加速書寫、竹林搖擺；音量的滑動平均決定雨勢與霧的濃淡；沉默數秒後雨停天晴，蟲鳴浮現。音樂模式則把樂曲的音量、低音、旋律、高音、節拍與段落轉為連續的天氣變化，也能讓詩句依曲長分配，於曲終寫完。無論風雨多大，行走的基本步速都不受聲音左右，重擊頂多像一陣風從背後推了一把。技術說明作品以 TouchDesigner 2023 建構，封裝於單一元件。聲音經 Script CHOP 以 numpy FFT 切成低、中、高三個頻段，再經平滑、滑動平均與雙門檻判斷轉為控制訊號；雷聲須同時高於近期平均與絕對音量才會觸發。場景以 GLSL 光線行進即時繪製立體竹林，再與全解析度的雨、水、生物與書法疊加層合成；所有隨速度變化的動態皆採累積時鐘，避免畫面跳動。環境音包含雨、溪、雷、鳥鳴錄音與即時合成的蟲鳴，經混音與殘響輸出，雷聲方位隨閃電位置移動，並設有防回授機制。系統內建全螢幕投影輸出與影音錄製，在開發用筆電上約以每秒 22 至 31 格運行。

《煙雨行》導覽影片

《煙雨行》音樂測試影片

即時衍生互動音畫：微瀾照寂
本作品以 TouchDesigner 打造一套即時、由聲音驅動的沉浸式投影系統。畫面中約五十六萬顆粒子構成一片有厚度的夕陽之海，海面由多層 Gerstner 波疊加而成，並以 GLSL 著色器在 GPU 上逐粒計算位置、逆光、透光與倒影，再透過實例化（instancing）即時繪製，維持每秒六十格的流暢度。
系統唯一的輸入是現場麥克風。程式從音量中辨識三種狀態：敲擊、持續聲響與安靜。每一次敲擊，都會在海面隨機位置激起多根高低錯落的水柱，水滴依物理軌跡飛散落回，並泛起藍色螢光；安靜時，隸書心經自天空一字一字落下，海鷗橫越、蓮花燈漂來、魚群躍出；再度出聲，經文分批溶解，萬物隨之散去，形成「聲起則散、靜極則生」的循環。
聲音同樣即時生成。多層獨立的濾波噪音合成出不重複的浪聲，並與畫面浪高同步；程式分區量測畫面上飛濺的粒子，讓顆粒聲與潑濺聲依遠近、左右精準對應視覺。海鷗叫聲、浪花音檔則依畫面中鳥群與浪花的位置動態定位。
整體架構以 Python 管理時間與狀態、GPU 負責運算與繪圖，並內建自身聲音防護、峰值監測、時間軸守護與影音錄製等機制，讓作品能穩定地在現場長時間演出。

「楓湖」數位音景網站（2026.10)

「楓湖」以楓林環繞的湖泊為場景，透過光影、天氣與聲音的流動，營造一個可以停留、聆聽與互動的自然空間。

設計的核心是讓風景具有生命感。風吹動樹梢，也推動雲層；雨落在湖面形成漣漪，雨勢漸歇後，鳥鳴與蟲聲逐漸浮現，陽光與彩虹緩緩出現。日夜交替改變天空、水面的倒影與木屋燈光，讓景色隨時間持續變化。

聲音與影像彼此呼應。鳥鳴的左右方位跟隨鳥的位置，風雨的強弱反映在樹木與湖水的動態上。透過不同的出現時間、速度、音高與動作，減少機械式重複，保留自然環境中的偶然與細節。

作品提供自動流轉與使用者觸發兩種模式。觀者可以靜靜欣賞，也能以聲音喚起風與雷雨，或調整各種自然聲響，形成自己的音景。

「楓湖」希望讓螢幕成為生活中的一扇窗：在楓紅、水光與鳥語之間，留下一段讓感官舒展、讓步調放慢的時間。

網址：https://cwcheng2009.github.io/maple-lake/

影音粒子化工具（2026.10) : Ilab 粒子聲音合成與即時視覺特效實驗室 (Granular AV Studio)

Ilab Granular AV Studio 是是一座直接運行於網頁瀏覽器上的即時「聲音粒子化合成（Granular Synthesis）」與「音訊驅動視覺特效」互動實驗室。使用者無須安裝任何外掛，即可在電腦或手機觸控螢幕上，將聲音拆解為數十至數百毫秒的微觀「聲音顆粒（Grains）」，重組出從深邃星雲音牆、空靈合唱到數位故障脈衝的多元聲響，並即時驅動高畫質粒子流體視覺。

五大核心模組與功能特色
1. 多元聲音訊號源（01 // Signal Sources） 系統提供三種發聲來源：**「音檔粒子（Sampler）」內建四組立體聲程序化取樣（星際合唱、人聲共振、水晶琶音、重低音脈衝），並支援拖放上傳個人 MP3／WAV 音檔；「麥克風即時粒子（Live Mic）」具備五秒循環錄音緩衝區與瞬間凍結（Freeze）功能，能將現場環境音或人聲即時粒子化；「振盪器粒子雲（Synth Cloud）」**則結合多波形合成、五聲音階／大七和弦量化與 FM 頻率調變，創造純粹的電子諧波雲。
2. 微觀聲音粒子參數與獨立自動化演化（02 // Granular & Automation） 提供八項核心粒子合成參數：掃描位置（Position）、位置擴散（Spray）、粒子長度（Grain Size，15ms 至 450ms）、發射密度／速度（Density，每秒 2 至 65 顆）、音高偏移（Pitch，±24 半音）、隨機微調（Shimmer）、包絡線形狀（Envelope）與立體聲寬度（Stereo Pan）。每項參數皆設有獨立的「手動／自動」切換鈕，亦可一鍵切換全自動演化。內建獨特的**「相鄰步進漫步（Adjacent Step ±1）」模式，讓聲粒嚴格向左右相鄰切片移動一步而不跳音，並支援粒子速度「由慢到快」或「由快到慢」**的平滑漸變加速。
3. 空間與濾波效果器（03 // FX & Master） 整合即時低通濾波器（LPF Cutoff）、共振峰值（Resonance）、立體聲交叉延遲（Stereo Delay）與演算式深空殘響（Space Reverb），將細碎的單顆聲粒延展為遼闊的立體聲環境音場。
4. 四大音訊反應視覺特效（04 // Realtime Visual FX） 內建流體粒子星雲、頻譜引力漩渦、賽博波浪矩陣與幾何聲波萬花筒四種渲染模式。粒子系統會即時分析低、中、高頻能量，同步改變粒子運動軌跡、發光半徑與重低音 RGB 色差分離故障特效（Glitch）。
5. 跨裝置 XY 觸控、鏡頭體感發聲與無損錄製（05 // Motion & Export） 除支援電腦滑鼠與手機觸控螢幕單指拖曳（X 軸控制掃描位置、Y 軸控制濾波明暗度）外，亦可開啟**「視訊鏡頭體感發聲（Webcam Motion）」**，免用滑鼠、直接對鏡頭揮手即可隔空觸發聲粒並疊合實景畫面。創作過程中可隨時一鍵錄製 16-bit 無損立體聲 WAV 音檔或 MP4 影音檔，立即保存並分享您的音畫演出。
- 🔗 立即線上體驗 Ilab：https://cwcheng2009.github.io/aether-granular-av-studio/