Saariaho 的多媒體音樂會

下面這個連結，是 Saariaho 的多媒體音樂會中的幾個片段，此種呈現方式，結合即時影像及錄像，技術上並不複雜，但呈現出來的感覺，比僅有音樂的呈現方式，又多了一種特殊的美感。只是連這樣的表現，也是仰賴程式設計者、影像設計者一起完成。

Max/MSP/Jitter 粒子化特效摘要 (一)

1. Jitter 中的粒子特效物件包括：jit.p.shiva (用來製造或刪除粒子）、jit.p.bounds 用來限制粒子的空間範圍、jit.p.vishnu (用來對粒子特效施予某種特定的影響力, 用來控制粒子發射器，例如：force 風力、pitch 前後旋轉、yaw 左右旋轉, speed 速度）
2. Jit.p.shiva 用來依照 Jitter 粒子特效系統的規格而產生 Jitter 陣列。粒子系統的陣列( Jit.p.shiva 所產生的資料) 是二維的 (n x 2 ，n 代表粒子的最大數量），且可由 float32 或 float64 的資料格式組成。Plane 0 和 1 被保留出來，分別用來代表每個粒子的獨特 ID 號碼及粒子的年齡。其他剩下的 30 個 plane（2 - 31) 可用來控制每個粒子的特性。陣列中的第二列總是保存第一列剛發生過狀態之數值 （藉此可以用來計算 velocity)。
3. jit.p.shiva 設定為 mode 1 時，允許 init 及 init_var 訊息指令影響 jit.p.shiva 的輸出，並且使得 jit.p.vishnu  在送出新的粒子時使用這些數值。
4. jit.p.vishnu 所收到的資料應有 5 或 8 個 plane，float 32 或 float 64 格式，x * 2 的二維陣列。若有 5 個 plane，則 plane 2, 3, 4 代表位置座標 x, y, z；若有 8 個 plane，則 plane 5, 6, 7 代表 x, y, z 的力度（velocity)。當 jit.p.vishnu 設定為 mode 0 時，這些額外的 plane （亦即 plane 5, 6, 7)  會自動為了新進來的粒子而產生；在 mode 1 之下，在這些 plane 上的任何現存數值，會被用來初始化其輸出。
5. Jitter 中的粒子特效系統必須配合「回授」的設置才能運作。此外，通常會配合使用 jit.gl.multiple，將 jit.p.vishnu 輸出的陣列，排除第一列以及 plane 0 與 1 後，即可送給 jit.gl.multiple。
6. jit.gl.multiple 是用來以陣列的方式，有效率地製造一個 jit.gl 物件 （如 jit.gl.gridshape 與 jit.gl.mesh ) 的多重分身。其必須帶有與 jit.gl (OB3D) 物件相同的命名屬性。其可設定的參數包括位置、旋轉、旋轉核心、大小、顏色、tex_plane_s, tex_plane_t、貼圖等。除了貼圖參數可使用 char 格式來指定之外，其他的參數則採用 float32 陣列的格式。

「無絃彩箏」互動聲音裝置設計 (2008-2009)

「無絃彩箏」互動聲音裝置設計，是我在 2008-2009 年間，為了教學用途所設計的一個互動影音裝置範例。主要是使用畫格色差偵測，來觸發五聲音階的準則。為了便利數位音訊效果器的使用，程式設計上使用 soundfont 的聲音取樣，來取代電腦內建的 MIDI 音色，並設計五聲音階的篩選機制，將非屬於五聲音階的音高過濾掉，並以亂數控制音區的高低。當畫格色差偵測的結果反應出使用者較快速的肢體移動時，則使五聲音階音高產生的速度加快。此外，為了模擬古箏的語法，因此也加入隨機控制的滑音。前述聲音訊號又被用來影響隨機產生的彩圖之像素的位置，而使得抽象的彩圖，得以反應畫格色差偵測的結果，亦即使用者的肢體位移變化程度。

互動 VJ 表演系統 (2010) vs Nexus 跨領域表演計畫

此系統是2010 年為了進行與台灣藝術大學「林珮淳 + 數位藝術實驗室」所合作的跨領域表演計畫「Nexus」(聯結）所特別設計。該計畫結合了舞蹈、錄像、即時影像、聲音藝術，並將影像透過三台投影機投影至三個延伸的螢幕。此次計畫由我負責程式設計與音樂、音效設計。以下將針對該 VJ 系統做簡易說明。

此 VJ 系統主要採用 Max/MSP/Jitter 的 GPU 相關物件與 OpenGL 的功能，以便使用更高的效率來執行即時影像效果器，並解決高解析度的錄影檔案播放時，影像掉格的缺陷。此外，為便利演出的進行，也設計了特殊的全螢幕切換方式，使得正式演出時，可以使用延伸螢幕投影，而電腦本身仍能夠看到原本的操作介面，以便於即時操控。此系統亦加入 Event List 的設計，使得與時序相關的表演得以更順利而流暢的進行。此系統中也使用即時音量偵測，來控制各種效果器的參數。相關使用到的效果器包括：影像延遲、旋轉、扭曲、顏色校正等。此表演計畫雖然已經暫告一個段落，但此VJ 系統將可再依照未來不同的表演需求持續更新與發展。（以下展示的片段，使用我自己的聲音藝術作品「The Journey」來即時操控各種影像參數。臨時演員：我、我的小狗）



以下是 Nexus 實際演出錄影片段與介紹，採用三個投影機及一台攝影機，由一台電腦上的 Max/MSP/Jitter VJ 系統，來控制即時影像、錄像、影音即時互動。



以下是採排過程中的互動殘影實驗片段：