探索 OpenGL Shading Language

看到 max/msp/jitter 論壇中，很多人才談論 shader，看來還是懂一點點比較好。我想藝術創作者，不適合鑽研太難的程式語言，max/msp/jitter 即使是物件導向，也已經不太簡單，光是聲音的部份，就包含了各種數學、音樂、物理的知識，才能把作品設計好。以前曾經跟我的天才老師談過未來到底要怎樣平衡技術與創意的問題，他認為藝術家先學好如何「控制」特效即可，不需要過度執著特效產生的原理。我其實也認同，但從另一方面來想，特效本身，一但被廣泛使用，就失去了特效的帶給人的驚喜，也因此不得不使藝術家不斷尋找新的特效，有如器樂作曲家，常樂意嘗試新的演奏技巧一般。幸好自己的研究，在聲音與互動音樂的領域，在技術上已經走在很前面，需要的只是寫出好的曲子。

若互動音樂還要結合即時影像，又多了更多的工作，目前國際上並沒有一個現有的表演模式可以依循，有很多跟互動影像相關的表演，常常只重視界面的新穎，卻在表演內容上缺乏內容，同一個作品中，也缺乏多樣化的互動。

進階的影像特效程式設計，比聲音的部份更複雜，處理的是多維陣列的問題，有時結合其他的程式語言，如 java, GLSL 等，可以更有效率，但一個程式語言要學到好，要學很久，我想現階段在沒有時間與資源的情況下，只好慢慢學。opengl shading language 主要是用來寫3D特效的語言，且可以直接使用影像卡晶片（graphic processing unit)上的資源，同時處理數個不同的數據，效率更佳。不過光是 jitter 原本的物件就已經很複雜了，要了解GLSL的語法，對於文科的人來說，更是難上加難。我以為，想要了解 GLSL 的目的，不再於自己寫很複雜的程式，只在於想知道要怎樣應用或更改現有的 shader 程碼，來符合自己的創作需要。

以下是今日初探 GLSL找到的一些資料：

Cycling74 的GLSL教學：
http://www.cycling74.com/story/2007/5/23/181113/507

GLSL 的中文介紹

http://www.wretch.cc/blog/glCheng/3611637

http://zh.wikipedia.org/wiki/GLSL

M之道翻譯的Jitter教學
http://maxmsp.recorderz.org/?p=55

大陸翻譯的GLSL電子書：
http://bbs.gameres.com/showthread.asp?threadid=66185

瀏覽之後，證明這種程式語言還是需要很多時間來學習，才有可能進步。我想還是先從 jitter tutorial 中的幾篇讀起。不見得可以在現階段作品中用得著，先當作基本知識，慢慢累積經驗好了。

利用「顏色追蹤」觸發音樂的肢體表演

以下是利用 Jitter 的顏色追蹤，來觸發聲音的表演。這樣的表演，提供一個利用視訊偵測分析來結合聲音、肢體的範例，而 Jitter 還可以做更多的視訊偵測與分析，若能加上更理想的影音回饋機制，與更豐富的表演內容，便能成就更細緻的作品。

現代音樂樂曲分析連結

幾個跟現代音樂樂曲分析、樂器學有關的網站。

http://www.lunanova.org/teaching.html

http://cu-pendulum.blogspot.com/2008/07/orchestration-and-extended-techniques.html

George Crumb - Voice of the Whale

George Crumb's Vox Balaenae (Voice of the Whale) 欣賞，
附此曲的線上樂譜、音樂

http://www.lunanova.org/WhaleFlash/whaleflash.html

pattrstorage 教學

pattrstorage 物件用來存取預設值，其還有預設值之間切換時，參數漸變的功能。youtube 上的教學如下。

我的互動音樂作品《飛蛾與火》(片段）

《飛蛾與火》給長笛與 Max/MSP 之互動音樂作品

這是繼《風的素描》之後的第二首互動音樂作品，對於我而言，比較像是互動音樂技術的實驗，這個作品中，多數聲音事件或效果器參數觸發，都是由電腦自動完成，手動更換 cue 點的時機較少，不超過十個 cue 點，也因此在形式結構上，反而變得較為鬆散、或者說是每次演出的結果都不太一樣，對我而言，並不能算成功的作品，只能說是一種實驗性作品。

此外，這個曲子當中，我自己也設計了一些即時效果器，包括每次聲音都有不同變化的 FM 合成、多聲部 FFT 延音效果器、loop 延音效果器、及粒子化合成似的亂數聲像偏移等，程式設計上是一個比較大的工程，大概花了一年時間去研究這些效果器的設計。反而是長笛的部份，大概只用了一週的時間就寫完，因此很難細緻，風格上也趨於傳統、旋律為主的風格。然而，後半段的粒子化效果器、Ring Modulation 的自動控制，我個人以為還蠻精彩的，下面這段就是音樂的後半段。

Jacob Druckman 的 Valentine 低音大提琴獨奏

Jacob Druckman 的 Valentine 低音大提琴獨奏，同一曲目的兩個不同版本。我以為這是一首非常具有創意的作品，可惜我還沒機會看到這首曲子的樂譜。其他著名的曲子，還有管弦樂作品 Windows （Pulitzer Prize 得獎作品），以及最常演出的 marimba 作品 Reflections on the Nature of water。

Enclosure for Amplified Cajon and Live Electronics

Enclosure: for amplified cajón and Live Electronics

程式設計者：Hugo Morales Murguia
Cajón 演奏者：Jose Pepe García

Kaija Saariaho - Changing Light

芬蘭作曲家 Kaija Saariaho 的多媒體表演作品。結合聲樂、電子音樂、影像。

Kaija Saariaho - Lonh (給女高音與電子音樂）

Kaija Saariaho 結合多媒體影像、電子音樂、現場演出的聲樂作品。

Kaija Saariaho 作品程式碼

芬蘭當前最有名的現代音樂作曲家，
Kaija Saariaho 作品程式碼：
http://image.auditive.free.fr/saariaho/NewMaxPatches.html

目前其作品以樂譜、程式碼CD的方式來出售。由線上資料顯示，這位女性作曲家，也以 max/msp 結合器樂之作品為其重要的表現方式。儘管在 real-time effects 上，我以為其並沒有很複雜的設計，不若 Cort Lippe 的設計豐富，但是卻能以器樂本身獨樹一格。

PS: Cort Lippe 還是我的印象中，目前互動音樂的技術與創意上，最為精湛的一位。

國內音樂專業轉設計領域之案例整理

好奇之餘，想羅列一下音樂專業轉任設計科系專任教師的案例，結果發現有不少音樂博士轉任設計系，以下的專任教職，有的是鋼琴主修、聲樂主修、小提琴主修、音樂教育主修、作曲主修:


國立雲林科技大學「數位媒體設計系」：
專任助理教授：劉嘉伶 => 轉教電腦音樂
Doctor of Musical Arts in Piano Performance, UCLA, USA
美國加州大學洛杉磯分校 (UCLA)音樂藝術博士
Konzertexamen, Hochschule fur Musik "Hanns Eisler" Berlin, Germany
德國國立柏林Hanns Eisler高等音樂院音樂系鋼琴演奏博士
http://www.gcd.yuntech.edu.tw/pages/@crew/crew_ftime.html
(2010 年轉任台灣藝術大學多媒體動畫藝術學系）

國立虎尾科技大學「數位媒體設計系」：
專任 副教授 李蕙敏 => 轉教電腦音樂
最高學歷 - 義大利國立米蘭威爾第音樂學院音樂研究所音樂最高文憑
現任 - 國立虎尾科技大學多媒體設計系副教授、台灣數位媒體設計理事
http://multimedia.nfu.edu.tw/pages/teach.html

靜宜大學資訊傳播系
專任助理教授
彭宇薰 （留美鋼琴博士）=>轉教電腦音樂、音效設計
http://www.csce.pu.edu.tw/introduce_c.php


龍華科技大學「多媒體與遊戲發展科學系」
專任講師：劉富源
英國作曲碩士 => 轉教電腦音樂
http://140.131.15.17/newweb/About.php?about=teacher

中國科技大學資訊傳播系
專任助理教授；李慧玟 （留美豎笛博士）=> 轉教數位音效處理
http://ccnt1.cute.edu.tw/dic/teacher_2.htm



開南大學「資訊傳播系」
專任助理教授：朱育佑
留美音樂博士，主修小提琴 => 轉教電腦音樂
http://www.knu.edu.tw/ic/index_ch.htm


銘傳大學「數位媒體設計系」：
專任講師：林炳興 （打擊樂演奏碩士）=> 轉教授電腦音樂、樂理
http://www.dmd.mcu.edu.tw/all-teacher.html



嶺東科技大學「視覺傳達設計系」：
專任助理教授
陳韻竹 美國哥倫比亞音樂與音樂教育博士 => 轉教電腦音樂、樂理
http://www.ltu.edu.tw/%7Ecd/vcd/



嶺東科技大學「數位媒體設計系」：
專任助理教授
鍾思明 Texas Tech University Visual & Performing Art College 博士（音樂主修？) => 轉教電腦音樂
http://faculty.ltu.edu.tw/P093014/?fid=01&page_name=option&id=1

嶺東科技大學「數位媒體設計系」：
陳子雲助理教授 The University of Texas at Austin 留美鋼琴博士 ==> 轉教電腦音樂
http://faculty.ltu.edu.tw/P092025/



親民技術學院「數位媒體設計系」：
專任助理教授
吳樹正：輔仁大學音樂研究所鋼琴演奏碩士學位 => 轉教電腦音樂、樂理
http://www.chinmin.edu.tw/onweb.jsp?webno=333333212;


台南科技大學「多媒體與電腦娛樂科學系」：
專任助理教授
林佩儒：留美音樂教育博士 => 轉教電腦音樂、樂理
http://www.mes.stut.edu.tw/mes/Faculty/Faculty-message.php?T_NO=5

Philippe Manoury 互動聲樂作品 en Echo

作曲者︰Philippe Manoury （1952- )，法國作曲家，為互動音樂作曲的開創者之一，曾於 1980 加入 IRCAM，現任 U.C. San Diego 作曲系教授。

Hans Tutschku 的給鋼琴與 Max/MSP 互動音樂作品

哈佛大學作曲教授 Hans Tutschku 的給鋼琴與 Max/MSP 互動音樂作品，完整的樂譜說明與影片，可以由下列連結取得。為多聲道的互動音樂，網路上只能欣賞到立體聲版本。

http://www.tutschku.com/content/works-Zellen-Linien.en.php

Youtube 上的檔案則只有作品的片段：

Kaija Saariaho 的長笛互動音樂作品 Noa Noa

Kaija Saariaho 為芬蘭當代重要的作曲家，作曲重要獎項如 Grawemeyer Award (2003), Nordic Council Music Prize (2000), Ars Electronica Prize (1989), Kranichsteiner Prize (1989) 。作品以電子音樂結合器樂為主。此曲為其長笛與 Max/MSP 結合之互動音樂作品。



有趣的是，也有人把這首曲子直接吹，不加上任何電腦效果。如下：

我的互動音樂作品 《風的素描》

以下是我第一次(2005)創作的互動音樂作品，雖然在互動技術上並沒有使用很高深的技巧，但是整體上的佈局，我自己還蠻喜歡的。之後寫的一些互動作品，反而是注重互動技術的突破，但音樂本身卻不夠精緻，未來有機會改良之後，再分享其他作品。



樂曲解說：
欣賞自然界的風雨蟲鳥常帶給我一種出塵的想法，此時此刻，彷彿世俗的理想、現實的侷限、身心的苦痛都可以暫時消融，身體不復存在、思想不復輾轉，只有風的印象與禪心的自然映照。此首曲子及基於這樣的感受，將薩克斯風作為「風」、電腦即時聲音分析與互動的手段作為「心的映照」，放棄大量使用預錄的聲音檔案之搭配，而以即時回饋為電腦音樂部分主要的設計，企圖表達異鄉遊子獨坐聽風，靜待內心矛盾與無奈的繁雜心情沈澱、消融在風與禪心的反照中之心情。

程式設計部分，分為五大部分：聲音播放與收錄、混音器、音樂姿態分析（gestural control）、效果器、Qlist自動化控制。藉由麥克風現場即時將聲音透過Max/MSP收錄到電腦之中，並將聲音透過軟體混音器的控制，發送到每個效果器。利用音樂樂句姿態分析的結果，驅動效果器的內部參數，配合少數預先錄製的聲音片段，由薩克斯風演奏者以MIDI踏板透過Qlist來做整體操控，使之能與薩克斯風即時呼應，產生音樂性地結合。

「即時互動音樂」程式設計架構

一般製作互動音樂，有兩種方式，一種是全自動的方式，一種是使用MIDI踏板來切換每個階段的參數更動。

互動音樂的程式架構包含三部分：

(1)音樂姿態分析、聲音元素的分析：一般而言，最常用的是fiddle~這個物件，可以使用這個物件偵測獨奏樂器的音高，以及音量。有了音高、音量，更可以進一步分析出「樂句」（利用樂句之間的靜音來偵測出樂句的長短等）甚至「節奏型」、「音類集」。全自動的互動音樂，非常需要這一部份，寫曲子時要特別安排，例如當第一次遇到某一個音高時、或樂句長度超過某種長度、或節奏型恰巧符合某種節奏、或音類恰巧符合某種音類、或音量大於某一程度、或音域在某一範圍，就打開gate 物件，使其觸發某一事件（如觸發聲音檔案的播放、效果器的開啟、或軟體音源）。但這一部份是最複雜的，且會讓你的音樂材料使用上有所限制，所以不建議初學者使用這種全自動的互動音樂。
此外，由於演奏場地的不同，麥克風的不同，我認為初學者除非有專業老師指導，否則這部分大概要揣摩好一陣子。初學者可以改用MIDI 的 sustain pedal，透過control message 以及counter 和 select 物件的運用，將每一個音樂片段的指令事先用select 物件設定好，等待sustain pedal 推進 counter ，進而使select依照所收到訊息，送出你所設定的各種即使效果器、聲音播放的開關、各種參數漸變等。

(2) 準則控制：將第一部分輸入聲音經過音高、音量等分析的結果，加以處理、比較、過濾，而決定何時要開啟效果器、或將fiddle~分析出的參數於串連於效果器中的參數中，即時互動控制。此部分常使用邏輯判斷、比較、運算等的物件來操控效果器的一切運作。這部分的巧思可以使得一般常用的效果器化腐朽為神奇。且在技術上的學習，較不會有太多物理、電子、數學等先背知識不足的瓶頸，很適合作曲家、藝術家放較多的心力去學習與構思。

(3) 樂器模組：樂器模組可以是即時效果器、或軟體音源、聲音播放裝置等。當第一部分的訊息觸發了預設的指令之後，進而打開樂器模組，產生聲音，或用第一部份的音量分析結果與第二部分的各種準則，來控制某個效果器的參數與相關運作。例如音量大到某個程度，便開啟某個聲音檔案的播放等。又例如設定不同的音域範圍來驅動不同的預設參數。關於樂器模組本身，網路上有免費的 external object。你也可以透過vst~物件，去使用商用軟體的vst plug-in，cycling74網站最近已經貼出vst plug-in 的使用說明教材及 rewire 的教材。然而若要深入研究此部分，製作自己的軟體樂器和效果器，則通常要花非常多的時間去研究物理、數學等理論，但也唯有如此，才能讓你更能雕塑出獨特的音色或音樂織度。

(4) 聲音輸出：這個部分很簡單，只要利用receive~ 或 send~ 物件，或直接用線連接，將沒有效果器的樂器輸入、效果器出來的聲音等，全部都做在一個版面上，並利用 receive 及 send 物件，接受第一部份所傳來的各種參數（如音量的漸強漸弱等），以便於演奏時調整方便。另外，也可以善用 matrix~ 物件串連每個模組之間的輸入輸出。

架構就是如此囉，第一部份觀眾並不會太注意，所以我以為初學者可以用踏板驅動或用自動分析來推進，也可以達成相似目的，只是效果器的使用如果純靠踏板來控制，一方面容易使演奏者分心，一方面也若沒有很細微的控制，很容易造成效果器的過度使用，使得音樂產生強烈的段落區隔，產生結構上拼貼式的粗糙。後者則除了讓現場聽眾產生驚喜，更可以使得效果器的操控更為細緻而不需要演奏者反覆練習。而在第二部分中，若能善用max 的功能來做效果器的自動控制，則每個效果器依照自動控制程式的設計，彼此按照不同的規則做姿態上的起落，則常可以造就出非常令人驚豔的音樂織度。至於第三部份，常用的效果器就是那些，包括 reverb, harmonizer, delay, granular，或一些physical modeling 的軟體音源，以及多個聲音文件同時播放的裝置。想要更深入研究的人，也可以研究各種相關的樂器模組、即時效果器模組等，以便於有能力在同中求異。

初學者，可以多用聲音檔案和一些別人寫好的物件來做第二部份，來簡化製作過程，否則真的要深入研究效果器與虛擬樂器的製作，大概需要四年以上的苦工，和名師的指導。

互動音樂創作者，除了平時要多收集有效果的樂器模組（虛擬樂器、即時效果器等）之外，指導老師也很重要，有很多模組以及音樂姿態分析的程式碼，就像密技一樣，每個優秀的老師都有獨到的方法，學會、弄懂原理之後，就慢慢變成自己可用的語言，或許稍加修改，就可直接套用囉。當然若能自創效果器，總是比較有機會跟別人不一樣，特別是此部分，我以為完全自學，實在進步有限。不過 max/msp 文件夾中有很多不錯的patch，倒是不錯的研究材料。

有其他看不懂的地方，再提出問題吧。

Gerard Grisey與頻譜音樂

「Gerard Grisey與頻譜音樂」由章朝盛所翻譯，文章來源網站已經消失，幸好大陸網站轉貼了這篇文章，對於想了解頻譜主義音樂的人，是很好的資料。

(簡體）
http://www.douban.com/subject/discussion/1032921/

(繁體）
http://www.bh2000.net/bbs/musicnews/hisdetail.php?id=222

Tristan Murail - Barque Mystique

Tristan Murail 被視為「頻譜主義」(spectralism) 的現代音樂作曲家。以下是其作品 Barque Mystique 的演奏片段。

MaxMSP 的複音音高偵測器

transcribe~ 是 Max/MSP/Jitter 音高偵測器可以偵測複音的音高，不過我沒使用過，應該是會耗費不少 CPU資源。要付費的IRCAM 的 Suivi 物件，也是可以用來偵測複音音高。以下為 transcribe~ 的連結。

http://cosmal.ucsd.edu/arshia/index.php?n=Main.Softwares

其他偵測單音音高的物件還有 fiddle~, yin~, pitch~, analyzer~ 等。本來我一直以為鋼琴的音高，難以精準偵測，後來發現單音音高，仍然可以偵測，之前的實驗，跟最近再交大做的實驗，結果竟然不一樣。令我驚訝，不知道是何種因素，造成兩次實驗結果不同，過一陣子有空再檢查以前的測試程式碼看看是否有需要改進的地方。

北京國際電子音樂節網頁連結

每年九月至十月間由北京中央音樂院所舉辦的國際電子音樂節，內容包含演講、作品發表、電子音樂創作比賽等。
http://www.musicacoustica.cn/

我的新部落格

一直很想建立自己的部落格，作為自己學術研究過程的筆記。現在網路這麼發達，許多學術工作得仰賴網路，做音樂科技有關的研究，更是如此。有時候有一些瀏覽過的網站，或網站上的相關資訊，也很希望可以藉由我的部落格，再轉提供給學生。