Max/MSP/Jitter 線上互動課程（原文）

很訝異有人開始提供這種付費的 Max/MSP 線上課程。
不過目前無法得知內容的深度。
http://www.klankwereld.org/home/announcing-programming-max-5-interactive-course


Max/MSP/Jitter 的學習，初級其實還算容易，物件使用上，也已經可以符合多數音樂相關之創作需求。等到進階部分，難免牽扯一些演算法，例如 phase vocoder、真實世界的聲音模擬技巧等。這部分便無系統化資料。（Pd 則有較多相關書籍文獻）

Jitter 的即時影像部分，則目前幾乎可以找到的系統化教學資料，都落在基本的物件運用，有很多圖學的基本知識和演算法，對於圖學或OpenGL原理不理解的人，往往很難進入。話說回來，如果這些程式設計的方法與技術取得如此容易，
那麼這些技術便即將失去其價值的。

Tom Wexler 的 Max/MSP/Jitter 裝置作品

無意間在 Viemo 找到幾個 Tom Wexler 的互動作品，這些作品皆是以 max/msp/jitter 設計而成，採用熱感偵測的技術，結合投影來完成作品。或許這是互動表演藝術的另一個可行的方向，以熱感偵測來取代紅外線偵測，後者必須打紅外線的光，但前者似乎只需一個昂貴的器材，便可分辨人與非生物。下面這個作品，在流體的設計也非常美，但 Max/MSP/Jitter 的相關作品或範例中是很難得看到的，不過至少可知 Max/MSP/Jitter 在即時影像上仍有些潛力。

Waves (Southend, UK) from Tom Wexler on Vimeo.

Sketch: Smoking Camera from Tom Wexler on Vimeo.

Max/MSP/Jitter 中消除過高或過低的數據之方法

常有人問我要如何讓感應器的數據不要波動太大或過於不穩定。以前在美國學習音樂偵測技術時，我的主修老師 Andrew May 說了一堆關於「線性回歸」的方法，當時似懂非懂，最近又把他所題的方法重新拿來檢視，重新思考一次他所用的方法。

在 Max/MSP/Jitter 中，最簡易的柔化數據變化的方法是使用 bucket 物件，把最近收集到的數據算出平均值（使用 mean 物件）。我的老師則提供了另一種方法，是以線性回歸的方式，他設計了一套線性回歸 ( linear regression ) 的物件組 ( regression tool )，可用來將一系列的數據，計算出一個最佳的直線或曲線 ( best fitting line )，使得每個點與這條線的距離 (error of prediction) 之的總和為最小，其中包含下面幾項工具：

m_line：用來將存在於預設大小的 buffer 中的數據，計算出最佳直線（包含斜率、y 軸截距等數值）

m_avg ：用來計算 buffer 中的數值之平均數。

m_para：用來將存在於預設大小的 buffer 中的數據，計算出最佳曲線）

regress：與 m_line 的功能類似，但是所取的數值是從開始計算起至當前所累積的數據。

regress2：與 m_para 的功能類似，但是所取的數值是從開始計算起至當前所累積的數據。

註：以上這幾個物件中，最常用的是 m_avg 的平均值（用來柔化數據）以及 m_line 的斜率數據（用來判斷新近的資料是否與多數數據差距過大）。
註：回歸分析的簡介可參考：http://onlinestatbook.com/index.html

互動 VJ 表演系統 (2010) vs Nexus 跨領域表演計畫

此系統是2010 年為了進行與台灣藝術大學「林珮淳 + 數位藝術實驗室」所合作的跨領域表演計畫「Nexus」(聯結）所特別設計。該計畫結合了舞蹈、錄像、即時影像、聲音藝術，並將影像透過三台投影機投影至三個延伸的螢幕。此次計畫由我負責程式設計與音樂、音效設計。以下將針對該 VJ 系統做簡易說明。

此 VJ 系統主要採用 Max/MSP/Jitter 的 GPU 相關物件與 OpenGL 的功能，以便使用更高的效率來執行即時影像效果器，並解決高解析度的錄影檔案播放時，影像掉格的缺陷。此外，為便利演出的進行，也設計了特殊的全螢幕切換方式，使得正式演出時，可以使用延伸螢幕投影，而電腦本身仍能夠看到原本的操作介面，以便於即時操控。此系統亦加入 Event List 的設計，使得與時序相關的表演得以更順利而流暢的進行。此系統中也使用即時音量偵測，來控制各種效果器的參數。相關使用到的效果器包括：影像延遲、旋轉、扭曲、顏色校正等。此表演計畫雖然已經暫告一個段落，但此VJ 系統將可再依照未來不同的表演需求持續更新與發展。（以下展示的片段，使用我自己的聲音藝術作品「The Journey」來即時操控各種影像參數。臨時演員：我、我的小狗）



以下是 Nexus 實際演出錄影片段與介紹，採用三個投影機及一台攝影機，由一台電腦上的 Max/MSP/Jitter VJ 系統，來控制即時影像、錄像、影音即時互動。



以下是採排過程中的互動殘影實驗片段：

CPU vs GPU 與互動多媒體表演

最近忙著投入一個跨領域的演出計畫，可以說是首次有機會把 Jitter 的相關技術應用在實際的表演上，自己覺得很興奮，也因為這次的參與，讓我獲得了許多實務上經驗，包括如何將影像投射至多重投影機、如何架構一個互動影音表演系統等，都在此種動機的驅使下被嘗試出來。

另外一個使我再度關切 Jitter 的功能可說是來自董老師在「數位音樂與多媒體表演研討會」中的即興表演之啟發，讓我感受到此種影音互動現場表演的強烈表現力與對於聽眾的吸引力。

以往我對於結合互動影像的表演藝術，都抱持懷疑的態度，一則是因為質疑有結構的音樂是否仍有結合影像的必要性，一則是因為難以構思出能與音樂結構完美結合的影像。我自己很多時候在即時影像技術的研究，僅是為了教學的需求，但近年來開始有越來越多影音結合的表演很吸引我，使我開始有興趣想嘗試此類創作。有些保守派作曲家可能會覺得互動音樂，推到極致就變成了魔術表演，加了互動影像之後，又更為魔術化，而可能偏離音樂的本質。但我覺得若利用其他的媒體，能強化音樂本身的結構性，例如用同步的影像，來強化音樂本身的姿態、張力起落，使得聽眾可以更直接的感受到抽象性的音樂結構，未嘗不是一種優點。

此次參與的跨領域表演計畫，由於有合作的團隊，因此提高了其可行性、也減輕自己獨立創作時的負擔，給自己有一個技術成長與實驗的機會。其中，技術上，由於表演藝術需要時間來呈現，時間的流展使得多重的變化設計成為必要，也加重了電腦資源的負擔，因此效能成為一件重要的事。這次的參與，讓我深深體悟到 Jitter 的陣列式處理影像的方法，實際上是難以用於此類表演，甚至連播放影片而不會掉格的目標都無法達到，因此使用 OpenGL 物件來達成播放影片的目的，並置換各種陣列式的影像特效物件，已經成為勢在必行。可惜 Jitter 在此方面的說明手冊，著墨有限，對於內建  shader 的說明也非常不足，並且沒有陣列特效轉換成 OpenGL 的特效之 shader 對照表，因此有些一般熟悉的陣列式的特效，一時之間很難知道要去哪裡找 shader 來用。

由於 OpenGL 物件可使用 GPU 資源，執行效率上實在快得太多，而陣列式特效、影片播放等，遇到複雜的串接設計時，幾乎很難不使電腦過載，表演時對於系統穩定性的絕對要求，已經使 OpenGL 的模式成為不可不學的技術。此次參與跨領域的表演計畫，最大的收穫大概是瞭解這個問題並更加熟悉 OpenGL 特效的使用吧。或許過一陣子等理論性的東西弄熟一些，就可以與學生分享這些經驗與技術。

影像延遲特效的目錄

下面這個作品，集結了各種影像延遲特效，雖然是在 openframeworks 中完成，但是實際上在 Max/MSP/Jitter 中也可以做得出來。在這個影片的內容中，也分別陳述每種延遲特效的變形與原理，可以提供對於互動表演藝術有興趣的人做參考：

1. 簡易延遲
2. 較長的延遲
3. 亂數擷取 buffer 中存在的畫格
4. 即時錄影並循環播放錄製的片段（loop)
5. 改變 loop 的播放速度
6. 利用正向、逆向播放即時錄製的影片
7. 三重影像重疊
8. 多重影像重疊

其中第七、八類，不知是把延遲影片都相乘在一起，或只是一般的 feedback delay ？有趣的是這些技巧跟即時聲音特效常用的技巧都很相似，例如第三項如同聲音處理技巧中的「粒子化合成」。除了延遲特效之外，影片說明中也提到作者利用顏色偵測原理來製作控制器。

Wii 的連接 Max/MSP 與 Wii 的 Laptop 樂團

在 Youtube 上可以找到不少 拿Wii 拿來控制 Max/MSP 所產生的音樂或聲音，原先是由日本人研發的物件，不過目前 Virginia Tech 音樂系 http://disis.music.vt.edu/main/faculty.html 任教的 Ivica Ico Bukvic 將它再度更新。利用藍牙傳輸，目前僅有 Mac 的物件。下載處在此：

http://ico.bukvic.net/Max/

Ivica Ico Bukvic (b.1976)http://ico.bukvic.net/ 是我在美國看到的一位非常傑出的年輕作曲家，器樂作品已經好得無話說，有一次在 SEAMUS 會議中聽到，已經非常令我訝異，但後來知道原來他還是位程式設計高手。目前他手邊改寫完成的 Max/MSP 物件還包括 Unity 與 Max/MSP/Jitter 結合的物件。

以下是他帶學生做的 Wii 的電子樂團：



Wii 的 infrated camera 用處也頗多，以下這個連結是不可錯過的：
http://johnnylee.net/projects/wii/

舊版 wii 的 Max 物件：
http://www.iamas.ac.jp/~aka/max/

Wii 與影音軟體的溝通：
http://www.osculator.net/

互動音樂的音量控制問題

其實兩次在台灣演出給長笛與 max/msp 之「飛蛾與火」的曲子時，錄音的品質都很有問題。這使我不得不開始重新思考收音端的問題、以及內部效果器可能暫時性音量過大而造成破音的問題。演出現場，自己可能在專注中無法注意音質的問題。昨天拿到 WOCMAT 2009 的 DVD，破音很嚴重，只好重新思考避免破音的方法。

當日演出，一方面可能是硬體的錄音端未加上 limiter，另外也有可能是我的軟體收音端，當日為了考量長笛進入電腦的音量過小（似乎是長笛距離麥克風太遠所致），所以在軟體端特別加大聲所致，這造成一個危險，便是長笛演奏者與麥克風的距離並非從頭到尾相同，有時會忽然過度大聲，那麼可能就立刻在輸入端造成音量過載。解決的方法，是使用 lavalier mic 排除聲源與麥克風距離不定的問題，第二個方法則是在軟體輸入端加上 limiter，至於軟體輸出端是否要加上 limiter 就不得而知，如果在初出端聲音破掉，大概是在效果器處理時就已經破音，因此在輸出端加上 limiter 可能聲音早已破過一次，或許也沒有太大作用，此外音量的調整也應該以輸出端做放大，或者以混音器上做放大更為安全。

以前做博士論文時，在互動音樂系統設計上，並沒有特別考量到破音的問題，當時認為如果聲音輸入或輸出端加上 limiter，有可能會使樂器音量的對比性變小，此外，limiter 的確也很耗費系統資源。但如今重新思考，暫時做了下列結論：

1.真正演出時，獨奏樂器的音量對比性，在擴大系統中，相對上其實已經沒有太大的重要性，因此加上 limiter 應該算 OK。

2. 透過軟體來作乾的音量之控制，會受制於數位的 dynamic range 的限制，因此乾溼音量平衡由現場調整混音器或許更為方便，也避免軟體系統中事先已經破音。

3. 由輸出端加大的音量有一定的限制，若想從輸入端加大聲，則在進入效果器之後破音的危險更大。

max/msp/jitter 互動影音工作坊內容介紹

目前為台北數位藝術中心所規劃的 max/msp/jitter 之互動影音設計之工作坊，軟體部份課程內容分為三階段來進行︰

初級課程主題：
(1)MIDI應用
(2)合成器設計
(3)即時效果器設計
(4)影音擷取與播放
(5)基本偵測、分析與互動

進階課程主題：
(1)poly~ 應用（包括多重聲音、影像之播放設計）
(2)畫格色差偵測
(3)顏色追蹤
(4)時序控制

目前初級課程已經開辦多次，每次的主題下，會略微更動課程內容，慢慢的我會把更有趣與實用的內容加進來。
進階課程也將開始，課程內容除了程式設計之外，有許多時候是來自網路上的相關影片之靈感，因此在此特別把這些靈感的來源轉登出來，以便於學員參考或更深入發展。

初階課程中的效果器設計集中再延遲效果器的運用、變聲器的使用、endless looper 、random panning 的特殊技巧等。（endless looper 、random panning 為近期新加入的內容）

初級課程中，會讓學員設計一個由音量偵測控制音樂的音量，由電腦鍵盤控制音高的一個簡易樂器，其靈感來自這段 iphone 的虛擬樂器設計（一樣使用音量偵測，作為樂器音量的控制）



初級課程會教到 endless looper 的設計方法，在表演時可以用來產生聲音拉長延音的效果，也可用來作為音樂 pattern 的疊加。Todd Reynolds 的小提琴演出，是使用 ableton live 來處理，但 max/msp/jitter 中可以輕易設計出來類似的音樂逐次疊加的效果。



我的薩克斯風作品 Wind Sketch 當中的開頭片段，便是使用 endless looper 的方法。



進階課程中，會提到畫格色差的偵測與應用方法，這是最簡易的偵測「動能」的方法，以前在教明道大學設計系碩士班學生時，用這個方法製作了很多的相關的教學範例，以下是其中一個：



進階課程中，也會提到關於時序控制與音量偵測的主題，會製作一個跟下面這個範例極為類似的互動播放裝置：



進階課程也會提到比較複雜的「顏色追蹤」程式設計方式，追蹤某個色塊在畫面中的移動座標，我以為顏色追蹤可能比 blob 追蹤更為穩定些，但是 現有物件導向 blob 追蹤的技術，倒是可以同時追蹤好幾個 blob 的座標，對向下投影，並偵測使用者的影子的應該很有用（例如觸發地面上投射出來的水波）。不過 blob 的偵測留待到作品指導的工作坊再談。以下是顏色追蹤運用在表演中的範例：



另一個利用顏色偵測控制聲音特效的範例：



此文章，日後會隨新課程的內容持續更新。

Max for Live

Max for Live 其實指的是 5.1 版的 max/msp/jitter，只是必須要 Ableton Live 8.1 的版本才可以發揮全部的作用，亦即可以在 Ableton Live 8.1 以及 max crossgrade 授權完成之後，便可以在 Ableton Live 中找到 max 樂器與 max 特效，其中的樂器與特效主要是來自 pluggo 的內容，這些 max 樂器與 max 特效都可以在該模組右上角之處的按鈕按下後，叫出 max/msp/jitter 程式編輯視窗，jitter 物件也可在其中呼叫出來，但這個視窗所存的檔案並不是一般 max/msp/jitter 所存的檔案，亦即界面相同，卻是一個掛在 ableton live 中的 max/msp/jitter 之程式編輯界面。

當初在美國學習互動音樂時，這些特效可真是非常不容易得到，因此博士論文的研究過程，有許多時間都在學習特效的程式設計，而且資料非常少，很多時候必須仰賴老師的指導。但目前看來，這些特效程式碼與外掛物件，已經越來越容易取得，果真如我的博士班指導教授所言，電腦音樂作曲家的工作，更重要的是研究偵測、與互動的方式，才更有意義。

至於互動音樂系統能否建立在 ableton live 中，尚在評估當中。 ableton live 中可編輯的部份僅有 cycling74 所附加的效果器、虛擬樂器，並不包含整個混音界面，是否能納入 qlist 來操控所有的界面還需要再了解。

openframeworks

最近對於 shader 在 jitter 中的使用產生興趣，但是我想我並沒有多餘的時間再去研究這些 code 怎麼寫，只是想搜尋一下有沒有有趣的 code 可以在 jitter 中使用，看看是否能夠設計一個可以用在表演藝術中的互動影音系統。影像的程式設計似乎比聲音更複雜，jitter 當中，還是必須學習寫 shader 才能做出更多的變化，我以為現成被分享的可用在 jitter中的影像特效物件或 shader 似乎也並不是很豐富，但 processing 的 code 卻已知可以修改一下拿到 jitter 用，只是好像又必須了解另一個新的東西才行。

無意間連結到 openframework 的網站。上次台北數位藝術節中，我們與 Grame 電子音樂研究中心的工程師 聊天時，他認為 Jitter 在影像的部份，並不是很有效率，因此推薦了另一套處理即時影像的軟體，叫做 openframeworks，這套軟體可以包括聲音與影像的部份，在 PC, Mac, Linux, iPhone 上皆可執行，是一套 C++ 的 library。下面這個往站有許多相關資料及作品影片範例，目前也有專書來討論如何使用 openframeworks。有興趣的人可以參考一下。


http://www.openframeworks.cc/about






PS1: 第二個影片，是來自網路上公開分享的 processing 的 fluid 程式碼，結合 openframeworks 而成，已經有人把他轉到 jitter 中可以運用的程式碼，所以我想後者在 jitter 中是可以做到的。

PS2: 不過科技藝術家該怎樣定位自己的角色與時間分配，真的令我困惑。似乎永遠有學不完的東西，那麼真正藝術創作的時間呢 ？技術不斷革新，那麼追求各種技術之後，可留下比較久的是什麼 ？這或許是許多藝術家仍不願意跨入新科技的重要原因。

Max for Live 應用於互動音樂

Max for Live 才出來沒幾天，已經有人拿來做互動音樂作品了，我對 live 還沒開始研究，只知道是模組化、非線性的創作與現場演出的工具，不過 max for live 的 pluggo 的特效似乎讓人不得不買這套。從下面這個範例看來，左下角有 Miller Puckette 寫的 fiddle~，中間有 IRCAM 的 gesture follower，右邊則是 pluggo 效果器，似乎要整個取代 max/msp/jitter 的功能了。max for live 也可以跑 jitter，只是官方說法是並沒有特別測試 jitter 功能。

不過除了 pluggo 之外，我還是比較相信自己寫的互動程式界面。不知道除了 pluggo 之外，max for live 有什麼其他好處可以幫助互動音樂系統的界面設計 ？我想界面這麼漂亮，大概 CPU 資源也佔用不少。再等等...

Max for Live 將於11月 23 日開賣

Max for Live 將於11月23日開賣，目前已經開放下載 beta 版，11月 23 日之後，將連同 max 5.1 一起更新。若要享受到 Max for Live 的新功能，必須還同時具備 max 5.1, max for live, ableton live 8。我看過價格，大約要 2 萬台幣，為了 max for live ，等於要多買兩套軟體。

對我而言，最大的好處大概是可以從這裡取得一整套的 pluggo 的程式碼，因為據說在 max for live 中，將有一整套的 pluggo 插件，而且是可以編輯的，因此有可能把這些插件移植成 max/msp 的 patch，也可將之作為研究特效的程式碼之用。至於 ableton live 8 可以怎麼樣用於現場互動電子音樂演出，會對於互動音樂界面設計上有何影響，是很難預想的，大概是他的 sequencer 跟 mixer 界面吧？可能得實際操作過這幾套軟體才知道其用途。目前先靜觀其變，等個幾個月風評出來後，再考慮是否購買。

flash 與 max/msp/jitter 之間的溝通

youtube 的影響力真的不能小看，真感謝有人願意貢獻這樣的教材影片，大致說明了 flash 與 max/msp/jiter 相互溝通的步驟。當然，action script 的東西還是得學，才能做出成熟的作品。







影片教學檔案的作者：Tim Poulin
http://timpoulinartist.com/category/flash/

Eowave 無線感應器系統 Eobody 2 HF vs. Arduino ＆ DIY

科技藝術、科技音樂創作，在國際上越來越受到重視，但此類藝術家，常必須不斷學習使用各式各樣的軟硬體，有時的確在創作上造成很大的負擔。因此當有別的選擇，可以讓科技藝術家、音樂家減少學習科技的負擔時，我會寧願多花錢，把一些過於技術性的工作，盡量讓更專業的人來作吧？我會希望藝術家的重心，僅在於使用這些工具、或負責互動作品中，後段回饋的機制，例如動畫處理、音效設計等，而非將大半的力氣放在界面的設計上。max/msp/jitter 的學習，有其必要，因為相關的程式設計，已經成為創作的一部份。但硬體的感應器的相關連接，我則有些趑趄，畢竟感應器的感應模式是固定的，若有廠商願意生產可以輕易使用的硬體，我可能便直接選購。

Eobody 2 HF 從網路上的資料顯示，似乎是未來可以選購的產品之一，其為一個無限感應器的系統，包括一個迷你基地台、感應器連接埠兩項裝備，只需要將該系統之基地台（接受器），以 usb 的方式連接到電腦上，在電腦上便會被視為 midi 裝置，因此可以在 max/msp/jitter 直接透過 max/msp 當中的 midi 的相關物件來接收外部感應器的訊息。而外部感應器則透過 3-pin 的連接頭，連接無線的感應器連接埠，由表演者攜帶在身上，感應器所接受的訊息，便會由表演者身上的感應器連接埠（同時也是發射器），透過無線方式，回傳給連接電腦的基地台（接受器）。因此使用者並不須懂任何焊接、電路等技術，也一樣可以玩各類感應器。

儘管如此，感應器的部份，似乎接線、接頭的部份，還是需要自己去製作才行，加上國內確定買不到此種小眾文化中所使用的產品，還是頗令人頭痛的問題。

目前售價如下：
Eobody2 HF 感應器無線接受器、發射器系統： 499 美金 （或 399 歐元）
http://www.eowave.com/products.php?prod=57

http://shopping.netsuite.com/s.nl/c.365211/it.A/id.568/.f

感應器必須是 3 pin 的那種，因為比較小，可以接到 16 個感應器。現有相容的種類如下：

2D-GForce sensor： 60 歐元
n/off 180° detection sensor 40 歐元
flexion sensor 40 歐元
light sensor 15 歐元
movement sensor 15 歐元
position sensor （50cm) 50 歐元
pointmeter 15 歐元
pressure sensor (18cm) 50 歐元
pressure sensor (46cm) 35 歐元

female jack to 3 pins connector adapter 10 歐元 （3-pin sensor 轉接頭）

另外有 starter kit (140 歐元），包含各種初學者常用的 sensor，但尚須轉接頭轉成 3-pin，才可以用在無線的 Eobody2 HF 系統：
1 distance 20/80
1 2,6mm pressure sensor
1 light sensor
1 mouvement sensor
1 position sensor 30 cm
1 switch sensor
1 potentiometer sensor


我以為這個價格比起幾年前出品的 Kroonde Gamma 無線感應系統，一台要價六萬多台幣，Eowave Eobody HF 已經便宜許多。

但是若是真的很想省錢，願意花許多時間去研究怎樣連接感應器與電腦，那麼倒是可以選擇 Arduino Duemilanove
，售價才 1090 台幣，不包含感應器，所有感應器還要自己加工，研究怎麼連上去，怎麼收訊號。
台灣買得到Arduino Duemilanove:
http://www.aroboto.com/shop/goods.php?id=109


為了幫學校詢價，因此特別做了以上這些記錄囉。不過目前看來，無論是 arduino，或 eowave 的產品，並非理想中的「隨插即用」，那麼投入電子零件的連接，又成了互動藝術家不得不學習的技術。不過或許另一個方式就是採用訂做的方式，據尋訪結果，這兩家國內的工作室，有專門為顧客訂做感應器相關器材：

藝科資訊
http://www.aroboto.com/shop/

飆機器人 Play Robot

http://www.playrobot.com/home_index.htm

花錢省時間、省錢花時間。跨領域的研究或創作，好像很多時候都面臨相似的問題。

score follower 測試

以前博士班 max/msp 課程當中，探討 score follower 時，就被老師的複雜的程式搞得頭昏腦脹，老師自己有一套自己寫的 score follower 程式，Richard Dudas 用的那套由 Cort Lippe 利用 detonate 物件寫出來的 score follower，我也有一份，但理解上可說是極度複雜。IRCAM 這套已經物件化的 score follower 則界面上已經乾淨許多，也被多數人推薦與應用，或許是值得探索的，據文獻說明，它是可以被「訓練」的，以便適合不同的樂器。除此之外，其實去年還有人發展出一套號稱更好的 score follower，宣稱可以定義各種音樂事件，而不只是音高而已，這套被稱為 Antescofo score follower。最近為了能趕上年度電腦音樂學會的徵曲，再度把以前的互動作品拿來修改，想把 IRCAM 的 score follower 的新技術融入我的 max/msp 程式當中，以求得更細緻的參數自動化。

IRCAM 的產品向來就是缺乏清楚的文字說明，因此這個物件也是一樣。首先遭遇到的問題是如何把 Finale 的檔案輸出成逼真的MIDI檔。儘管 Finale 已經有 Human playback 的功能，但在按照記譜的符號，轉變成真正的 glissando 或 trill 時，仍然會有些許瑕疵，因此 Finale 的 midi 檔可能還必須在另一個編曲軟體中修改成更逼真的 midi 參數，才有辦法作為 score follower 中的 score。

接下來要把 midi 載入到 IRCAM 的物件當中，這個物件在修改上似乎頗為困難，要刪除一個音沒問題，但要增加一個音，就不像一般編曲軟體中的圖畫式編輯器拿麼好用，這裡的界面無法用滑鼠拉長或縮短音符、也無法用滑鼠雙擊點入音符或移動音符。試了半天，才發現 apple + 滑鼠點擊可以增加一個新的 midi 音，但所有的小節線都是對應錯誤的，因此必須要對著原來的紙本樂譜，一個音一個音的檢查，遇到 trill 或重複音，都必須把他設定為 trill 事件，而不當作單音來看。重複音可以將 interval 設定為 0， trill 則可將 interval 設定為 1，似乎軟體本身會自動幫你設定好 interval，並不需要自己手動修改。要做的工作只是手動去找樂曲當中所有的重複音、trill 等。由於瀏覽的界面不好控制，做了數個小時，終於把這些部份的修改工作完成一半，厭倦之餘，我便開始測試其穩定性。由於手邊沒有真的 flute 的演奏錄音，只好把 Finale 轉好的有瑕疵的電腦演奏之 wave 檔拿來測試，對應的情形大致良好，但遇到快的音群，就不太靈光，神奇的是沒有對應到的音，過了幾個樂句之後，有可能又再度對應上，Hidden Markov Models (HMM)的設計，果然有其妙用。


然而再演出上，對複雜的現代音樂來說，我以為穩定性仍然不夠，不過或許可以在對應情況較佳的片段（如慢的段落）直接用 score follower 控制，快的地方則由人手動來對應樂譜，但這還必須花時間去思考怎樣的設計才是對使用者最友善的，排除同一個 cue 點被同時觸發兩次的設計是必要的，否則自動化的 score follower 與人為的觸發事件，便有可能重疊，導致音樂進行的時序錯亂。再者，結合局部的聲音偵測與互動回饋機制，分析各種音樂事件如樂句、音符密度、重音、音域等等，雖然困難，但在現階段或許仍是必要的，因為由人來直接觸發聲音事件，在速度快的情況下，失誤率可也不低。似乎無論是完全手動、半自動（配合局部的偵測與回饋）、全自動（使用 score follower 對應每個音），都無法完美，需要有一個辦法結合各種手法，相互截長補短。Antescofo score follower 不知道有沒有更好的解決之道。但音樂創作者能放在技術層面的研究時間實在有限，或許等有更多其他人嘗試過 Antescofo score follower 之後，再來加入嘗試的行列吧。

以下是新發展出來的 Antescofo score follower 的示範影片，據 Antescofo 的設計者指出其CPU 的用量僅在CPU 用量在 5% 左右，看來似乎不錯。但唯一讓人不願意嘗試 Antescofo 的原因，是因為必須購買 NoteAbility Pro （約 6000 多台幣），來作為轉檔工具，因為 Antescofo 與 midi 檔案不相容。NoteAbility Pro 是一套電腦記譜軟體，但一般人都用 Finale，很難讓人願意買一套非主流電腦記譜軟體，卻僅只為了將MIDI轉成 Antescofo 可用的檔。

傳統記譜法已經可以出現在 max/msp 當中

max/msp 中所內建的五線譜顯示系統，並無法依照傳統的記譜方式顯現節奏記譜，
節奏的顯示只能透過方格式的圖形界面來顯示。
但2008年起，國外的研究者已經發展出可以在 max/msp 編寫傳統記譜的外掛物件。此套物件，也提供使用者將在 max/msp 當中編寫的樂譜，輸出成 Finale 或 Sibelius 的檔案。
詳細資訊可見於此。
http://www.algomusic.com/maxscore/

儘管這個 maxscore 物件是免費的，卻無法單獨靠著 max/msp 執行，而是需要取得 Java Music Specification Language 的使用者界面系統之授權，授權費用為 120 美金。


http://www.algomusic.com/jmsl/index.html

我以為對於有興趣利用 max/msp 發展互動音樂教學軟體的人，應該是一大福音。

給Max/MSP 初學者的一些有趣的程式碼

http://oak.cats.ohiou.edu/~phillipm/#MaxMSPresources

一些初級 DSP effects 的程式碼

一些簡單的 DSP effects 的程式碼，適合教學目的或初學者之學習。

http://www.esbasel.ch/

日本人寫的四個音色合成、節奏製作之程式碼

很專業且很有趣的 max/msp 程式碼，
其中有兩個甚至有很棒的影音介面。
是很好的聲音合成與節奏製作的教材或學習資料。

http://www.audiooo.com/jp/freestuff/index.html