最近在構想舞蹈與影像、音樂結合的可能性，預錄電子音樂的演出很難被多數人接受，但如果加上視覺效果，就很不一樣。我以為最佳的組合，便是同時結合視訊與舞者。以下這幾個是網路上找到的其他相關範例：
下面這個例子看來是使用類似像是紅外線的偵測技術？粒子化或流體的特效在 jitter 中雖然很難做到那麼漂亮，但倒還是值得嘗試。
time and space, motion and physics - augmenting the dance (in realtime) from noisepoetry on Vimeo.
底下這個範例，在 max/msp/jitter 就應該很容易做了，只是單純的延遲特效之控制而已。但其實視覺效果也不差，音樂、舞蹈反而因為單純的視訊特效，而成為焦點：
2010年1月31日 星期日
Samsara《輪迴》影音作品 （2004-2005)
Title: Samsara (electroacoustic music with video) 《輪迴》
Date: finished on August 12, 2004
Duration: ca. 6 min.
Program Notes:
Date: finished on August 12, 2004
Duration: ca. 6 min.
Program Notes:
Samsara means “cycle of existence” (cycle of life and death) in Buddhism and Hinduism, where life is nothing but an illusion (maya), and the material world is a place fragmented and constantly changing through the repeated process of formation, existence, destruction, and emptiness.
In the accompanying video, the same footage of flowers is repeatedly used through the distortion, reposition, and rotation of the pixels sampled from the original images. This helps to achieve visual coherence. The different scenes are arranged in a special order to represent the repeated life and death of flowers, symbolizing the endless cycle of birth, age, illness, and the death of all creatures.
In the music, sound samples of water drops, the traditional Chinese bamboo flute, and the Chinese zither are used mainly through the techniques of convolution and granular synthesis to create a dreamy ambiance and to symbolize the fleeting and illusionary life. Besides, pentatonic scales are also intentionally applied to create the mysterious impression of oriental religion and philosophical thinking.
影像與音樂結合之數位作品Samsara，以藝術的手法呈現佛教「輪迴」的概念，以花開花落、夕陽西下、烈火、灰燼、水波等意象，表達凡人眼中所能感受或觸摸的萬事萬物，其實都逃不了「成、住、壞、空」的過程，而此生或許曾有過絕美的一刻或叱吒風雲的一時，也不過如幻象一般，疾逝如旋開旋滅、方生方死的水波。
在影片的處理上，主要使用花開花落的影片片段為軸心素材，運用各種數位影像特效的處理，將其透過扭曲（distortion）、重置（reposition）、旋轉（rotation）及光影的特殊處理來重新呈現，以期達到藝術的集中性（coherence）。每個場景也經過特別的順序安排與連接表達生、老、病、死無盡的循環。
在音樂處理上，則將水滴、中國笛、古箏等聲音，透過音色互融（convolution）、粒子化合成（granular synthesis）等技術，來營造夢幻般的氣氛及表達生命的虛幻短暫。五聲音階也被刻意運用其中，以營造東方宗教哲學之神秘色彩。
隻手之聲互動影實驗架構圖
其實不需要依賴硬體感應器，max/msp/jitter 就可以玩這種魔術遊戲。這個實驗，是利用影像畫格色差的數值，來觸發軟體音訊合成，包含FM, RM, Harmonizer, Reverb 等。為了考慮效果，所以我也加了幾個預置聲音檔案，以強化聲音藝術本身的結構性。以上實驗，純粹教學用途，談不上偉大的表演，我個人還是偏好以互動技術結合器樂演出與電子音樂來創作音樂作品。
進階互動影音工作坊結束感言
Max/MSP/Jitter 互動影音進階工作坊，在今天終於告一個段落，自己也暫時鬆了一口氣。下一期台北數位藝術中心所舉辦之 Max/MSP/Jitter 互動影音工作坊進階課程之詳細時程與課程內容請見 http://www.dac.tw/workshop/WorkShop_100320.html
這幾次的工作坊，除了在學學生之外，還有不少公私立大學任教的老師與專業藝術家，其實我覺得最有意思的還是透過這個機會跟各個領域的朋友們交換藝術創作的心得，瞭解到有好多人是熱衷於藝術創作的，我並不是那麼孤獨。此外，我也開始願意嘗試跨領域的創作與合作，雖然我仍然熱衷於學院派的音樂創作，但是跨領域的結合，也的確是一條值得嘗試的路，尤其是即時影像部分的運用與創作合作，是我目前最想嘗試部分，有了一定的Max/MSP/Jitter 基礎後，再針對創作目標去找程式設計的方法，思維的過程，會使得技術與創作同時進步，因此目前結合表演藝術與即時影像的創作合作機會，是我目前很想做的。
這次工作坊，有人問我說 Max/MSP/Jitter的程式碼要去哪下載，其實有很多地方都可下載 Max/MSP/Jitter 的程式碼，只是對創作者而言究竟有沒有用、是否是好的程式碼範例，在篩選上比較是問題，因此很多時間有可能是花在蒐集、測試、篩選各種程式碼，並且須試著理解之，最後才能變成自己的技能，並為創作帶來新的養份。然而，一般而言，當程式碼已經變成創作的一部份時，通常創作者都不太願意分享程式碼，這也是為何有效而優化的程式碼是很珍貴的，有人解釋給你聽更是很難得的機會。這幾次工作坊中，我其實已陸續分享了一些秘訣於其中，例如資料接收的速度控制法、spike 的偵測法、亂數分配聲音位置的方法等、poly 的節能方法等，這些都是手冊中沒有或說不清楚的東西。這些技巧是讀了一堆程式碼、paper、努力K手冊、隨時隨地想互動的點子，所慢慢累積與篩選出來的。有時為了理解一個有趣的程式碼，會讓我枯坐一整天，試著瞭解許多物件個別功能之後，仍然不解程式碼的原理，然後只好投降（jitter 裡頭最多這種難懂的東西）；有時候過了一段時間的沈澱之後，看到以前自己寫的程式碼，會忽然又想到其他的方法優化或簡化之。 我的老師 Andrew May 及 Butch Rovan 給了我許多的關於互動與聲音設計程式上的啟發與密技，我的同學王晶也分享給我許多好點子，還有一些互動音樂的名家 Cort Lippe、Richard Dudas、Peter Elsea 等人都幫助過我，從同領域的人得到技術或程式碼，是最省時間也最有效的方法。否則程式碼的設計方向與目的不計其數，參數上千種，沒有目標的學習，有時候蠻費時間的。我自己則通常只專注於跟互動表演藝術相關的技術。
話說回來，對於初學者而言，不問其目的是否有利於創作，任何程式碼都值得研究，好比學英文要多讀文章一般，除了貴人相助之外，苦工是免不了的。國內有些藝術家或學院派創作者認為技術性的東西不應該花太多時間鑽研，但我認為這跟「書到用時方恨少」的道理一樣，沒有經過一番技術的淬鍊，哪裡能知道哪些是技術上可以輕易達成的而可以用在創作上，哪些則又是技術上難以做到的，使得創作時不得不技巧性的迴避這些意圖。但不可忽略的，只學技術而不應用在創作的人，幾年後新的技術或新的物件出來，這些努力可能變得完全沒有價值了，這也是為何國際上不少老一輩的電腦音樂專家，若沒有過優秀的音樂作品，價值總是隨著年紀而遞減；傳統的器樂作曲家，則常常是身價隨著年紀而遞增。有鑑於此，我最近想要把 Jitter 的技術也拿來做創作運用，免得淪為平白浪費時間於這種更新快速的技術上。
這次工作坊遇到國立台南大學的林豪鏘老師，有趣的是他覺得 processing 比 max/msp/jitter 容易，因為前者是 step by step 的設計法，這讓我想到 max/msp/jitter 的模組化設計，或許更適合藝術家慣於跳躍式的思考。不過，我也蠻想找個時間學習 opengl、java、或 processing 程式設計，因為這些程式碼其實是可以轉到 max/msp/jitter 使用的，我看過許多非常美的 max/msp/jitter 程式碼，多半移植自其他的程式語言而來。不知有哪些地方可學？這幾次的工作坊，除了在學學生之外，還有不少公私立大學任教的老師與專業藝術家，其實我覺得最有意思的還是透過這個機會跟各個領域的朋友們交換藝術創作的心得，瞭解到有好多人是熱衷於藝術創作的，我並不是那麼孤獨。此外，我也開始願意嘗試跨領域的創作與合作，雖然我仍然熱衷於學院派的音樂創作，但是跨領域的結合，也的確是一條值得嘗試的路，尤其是即時影像部分的運用與創作合作，是我目前最想嘗試部分，有了一定的Max/MSP/Jitter 基礎後，再針對創作目標去找程式設計的方法，思維的過程，會使得技術與創作同時進步，因此目前結合表演藝術與即時影像的創作合作機會，是我目前很想做的。
這次工作坊，有人問我說 Max/MSP/Jitter的程式碼要去哪下載，其實有很多地方都可下載 Max/MSP/Jitter 的程式碼，只是對創作者而言究竟有沒有用、是否是好的程式碼範例，在篩選上比較是問題，因此很多時間有可能是花在蒐集、測試、篩選各種程式碼，並且須試著理解之，最後才能變成自己的技能，並為創作帶來新的養份。然而，一般而言，當程式碼已經變成創作的一部份時，通常創作者都不太願意分享程式碼，這也是為何有效而優化的程式碼是很珍貴的，有人解釋給你聽更是很難得的機會。這幾次工作坊中，我其實已陸續分享了一些秘訣於其中，例如資料接收的速度控制法、spike 的偵測法、亂數分配聲音位置的方法等、poly 的節能方法等，這些都是手冊中沒有或說不清楚的東西。這些技巧是讀了一堆程式碼、paper、努力K手冊、隨時隨地想互動的點子，所慢慢累積與篩選出來的。有時為了理解一個有趣的程式碼，會讓我枯坐一整天，試著瞭解許多物件個別功能之後，仍然不解程式碼的原理，然後只好投降（jitter 裡頭最多這種難懂的東西）；有時候過了一段時間的沈澱之後，看到以前自己寫的程式碼，會忽然又想到其他的方法優化或簡化之。 我的老師 Andrew May 及 Butch Rovan 給了我許多的關於互動與聲音設計程式上的啟發與密技，我的同學王晶也分享給我許多好點子，還有一些互動音樂的名家 Cort Lippe、Richard Dudas、Peter Elsea 等人都幫助過我，從同領域的人得到技術或程式碼，是最省時間也最有效的方法。否則程式碼的設計方向與目的不計其數，參數上千種，沒有目標的學習，有時候蠻費時間的。我自己則通常只專注於跟互動表演藝術相關的技術。
話說回來，對於初學者而言，不問其目的是否有利於創作，任何程式碼都值得研究，好比學英文要多讀文章一般，除了貴人相助之外，苦工是免不了的。國內有些藝術家或學院派創作者認為技術性的東西不應該花太多時間鑽研，但我認為這跟「書到用時方恨少」的道理一樣，沒有經過一番技術的淬鍊，哪裡能知道哪些是技術上可以輕易達成的而可以用在創作上，哪些則又是技術上難以做到的，使得創作時不得不技巧性的迴避這些意圖。但不可忽略的，只學技術而不應用在創作的人，幾年後新的技術或新的物件出來，這些努力可能變得完全沒有價值了，這也是為何國際上不少老一輩的電腦音樂專家，若沒有過優秀的音樂作品，價值總是隨著年紀而遞減；傳統的器樂作曲家，則常常是身價隨著年紀而遞增。有鑑於此，我最近想要把 Jitter 的技術也拿來做創作運用，免得淪為平白浪費時間於這種更新快速的技術上。
今天 DAC 還送給我這幾年台北數位藝術節的 DVD 共三張，也算是另一種收穫吧。
2010年1月29日 星期五
2010年1月26日 星期二
Moth and Fire 互動音樂 wocmat 2009 演出影片
Title: Moth and Fire for Flute and Interactive Computer Music System (revised in 2009)
Program Notes:
This piece is inspired by the irony and sadness in the relationship between moth and fire - a moth tends to be attracted by the flame of fire in the darkness and eventually falls into the blaze. In this piece, the flute is intended to symbolize the moth and the computer the flame. The interactivity between the two are achieved by various real-time effects mainly including FFT freezer, spectral delay, granular delay, and reverse delay controlled by different algorithm based on the audio analysis of the flute performance. Different real-time effects and processed sound files of the flute are layered in various combinations to represent the image of the moth going in and out of the fire before its inevitable death in the fire.
《飛蛾與火》這首作品主要靈感來自飛蛾撲火的典故：「過去有佛，欲令眾生厭舍五欲，而說偈言：譬如飛蛾見火光，以愛火故而競入，不知焰炷燒然（燃）力，委命火中甘自焚」（《心地觀經·離世間品第六》）。 有感於生命的無奈乃在於無論你用何種方式去過，也都將走向結束，只是不同人選擇不同的方式去經歷它而已。 此曲乃藉由音樂呈現不願庸碌無為者，寧葬身火中也要擁有瞬間粲然的勇氣與此中無奈。長笛主要用來象徵飛蛾翩然，電腦部分則代表火焰灼灼，藉由互動科技將器樂與電腦即時數位效果器兩者緊密結合。其中使用的主要DSP技術包括快速傅立葉轉換（FFT）產生的踏板效果及頻譜延遲技術、結合粒子化合成之延遲效果、反相延遲技術，並由電腦偵測現場器樂演奏的各種姿態數據來控制上述效果器的各類參數。藉由不同起落的即時效果器，搭配預先錄製、變形處理過的相似音色，疊合出各種絢麗繽紛的音色與織度，飛蛾在化為灰燼前來往穿梭於熾熱火焰間的景象，乃歷歷呈現。
前半段：
後半段：
Program Notes:
This piece is inspired by the irony and sadness in the relationship between moth and fire - a moth tends to be attracted by the flame of fire in the darkness and eventually falls into the blaze. In this piece, the flute is intended to symbolize the moth and the computer the flame. The interactivity between the two are achieved by various real-time effects mainly including FFT freezer, spectral delay, granular delay, and reverse delay controlled by different algorithm based on the audio analysis of the flute performance. Different real-time effects and processed sound files of the flute are layered in various combinations to represent the image of the moth going in and out of the fire before its inevitable death in the fire.
《飛蛾與火》這首作品主要靈感來自飛蛾撲火的典故：「過去有佛，欲令眾生厭舍五欲，而說偈言：譬如飛蛾見火光，以愛火故而競入，不知焰炷燒然（燃）力，委命火中甘自焚」（《心地觀經·離世間品第六》）。 有感於生命的無奈乃在於無論你用何種方式去過，也都將走向結束，只是不同人選擇不同的方式去經歷它而已。 此曲乃藉由音樂呈現不願庸碌無為者，寧葬身火中也要擁有瞬間粲然的勇氣與此中無奈。長笛主要用來象徵飛蛾翩然，電腦部分則代表火焰灼灼，藉由互動科技將器樂與電腦即時數位效果器兩者緊密結合。其中使用的主要DSP技術包括快速傅立葉轉換（FFT）產生的踏板效果及頻譜延遲技術、結合粒子化合成之延遲效果、反相延遲技術，並由電腦偵測現場器樂演奏的各種姿態數據來控制上述效果器的各類參數。藉由不同起落的即時效果器，搭配預先錄製、變形處理過的相似音色，疊合出各種絢麗繽紛的音色與織度，飛蛾在化為灰燼前來往穿梭於熾熱火焰間的景象，乃歷歷呈現。
前半段：
後半段：
2010年1月25日 星期一
音樂會錄影的影音後製
每次在台灣的演出，拿到音樂會的錄影、錄音，都很令人失望，後製的公司的素質往往很差，從每年的 WOCMAT DVD 成品可以得知。常會發生影音檔有 clipping，或影音檔過於小聲，有一年我是拿 mpeg 檔給她們，原本檔案完全沒有 clipping，但後來出來的DVD是一堆 clipping 所造成之聲音扭曲。現場演出的錄影，更難有好的錄音結果。之前師大音樂系前系主任訪問北德州大學時，曾送給我他的作品的出版CD，我一聽很詫異，CD 聲音小到非常小，應該是完全沒有後製就交差了。這些後製工作室大概專門欺負學院裡頭念傳統音樂、不懂數位音樂後製的人。
錄音要處理很容易，但錄影要處理可就很麻煩。這次 WOCMAT 的錄影也是很多問題，現場錄製時，clipping 之後就難以補救了，但有些工作還是得做的。這次我還是得將DVD的聲音重新修過，作法如下：
1. 先用 Aimersoft DVD Studio 中的 DVD ripper 將影片檔從 DVD 擷取下來，預設值為 320 X 240 ，可以直接上傳 youtube。但 youtube 官網建議使用 640 X 320 品質更佳。如果是要日後再燒成 DVD，則擷取時應該使用 720 x 480 的標準 NTSC 格式。（有些影片轉檔軟體，會使 Finale 製譜軟體無法開啟）(輸出到 youtube 的格式設定可參考 http://www.aoamedia.com/dvdclip-youtube.htm）
2. 利用 Adobe audition 或 Soundtrack Pro 叫入影片檔，再針對聲音的部分做修改。通常仍須再加上一些 compressor 和 reverb，也需要 normalize，此外，立體聲象的寬度也可以稍微調整。廉價的後製公司不會幫你做這個處理。如有必要也需降噪，可用 adobe audition 的 noise reduction，但小心也會破壞一部份的音質，樂器聲音可能聽不太出來，但一旦錄音時，有掌聲、腳步聲，可能降噪處理後會變得很不自然，因此有時後必須把音樂前後的準備片段影片減掉。有 clipping 時，是無法補救的，頂多只能加上一點點 EQ 的調整，減低 clipping 產生的刺耳，目前宣稱能夠彌補 clipping 的軟體功能，似乎沒甚麼太大作用。（此階段只能處理聲音部分，且難以直接與影像合成一個檔案，因此聲音檔常需獨立存取。）
3. Adobe auditoin 可以直接將影像跟聲音結合，但在 apple 電腦上的 soundtrack pro 或其它聲音軟體，則似乎沒有此功能。Adobe audition 也常會出現影像無法輸出的難題，此時便需要 adobe premiere 來處理。
4. 以 adobe premiere 導入影片，若是為了 youtube 的處理，則選擇 desktop 格式，自訂為 640 x 480 來作為 project 的大小。若是為了日後轉燒成 DVD 專輯，則仍須使用 NTSC 標準大小 720 X 480。（ DVD ripper 得到的檔案若與 Premiere 的 project 檔案大小不合，則輸出時會留下黑邊。）
5. 將處理過的聲音檔案也導入，原始聲音檔案與處理過的聲音檔案，必要時可以做 crossfade，使得降噪後不自然的鼓掌聲，改由原檔案取代。premiere 中的音量曲線變化，要用 keyframe 的方式設定 （command + click) 。輸出時若只要輸出工作區域的內容，則必須在輸出設定中更改，預設值為輸出整個完整檔案長度，而非 workarea 的部份。工作區的 in-point, out-point 設定，可以用 alt + [ 及 alt + ] 來設定。
5. 由 adobe premiere 輸出最後的 mov 檔案，壓縮方式可選 mpeg-4 效果較佳。此時建議輸出成較高品質的影像檔，以作為未來製作 DVD 時使用。若曲子過長，又想上傳 youtube，那麼則需要把檔案在此切割成兩部份輸出。 youtube 只容許 10 分鐘以內的影片。
6. 利用 apple 電腦的 quicktime player 可以將 mov 案轉成適合傳上 youtube 的 mp4 檔 (640 x 480 或 320 X 240)。
錄音要處理很容易，但錄影要處理可就很麻煩。這次 WOCMAT 的錄影也是很多問題，現場錄製時，clipping 之後就難以補救了，但有些工作還是得做的。這次我還是得將DVD的聲音重新修過，作法如下：
1. 先用 Aimersoft DVD Studio 中的 DVD ripper 將影片檔從 DVD 擷取下來，預設值為 320 X 240 ，可以直接上傳 youtube。但 youtube 官網建議使用 640 X 320 品質更佳。如果是要日後再燒成 DVD，則擷取時應該使用 720 x 480 的標準 NTSC 格式。（有些影片轉檔軟體，會使 Finale 製譜軟體無法開啟）(輸出到 youtube 的格式設定可參考 http://www.aoamedia.com/dvdclip-youtube.htm）
2. 利用 Adobe audition 或 Soundtrack Pro 叫入影片檔，再針對聲音的部分做修改。通常仍須再加上一些 compressor 和 reverb，也需要 normalize，此外，立體聲象的寬度也可以稍微調整。廉價的後製公司不會幫你做這個處理。如有必要也需降噪，可用 adobe audition 的 noise reduction，但小心也會破壞一部份的音質，樂器聲音可能聽不太出來，但一旦錄音時，有掌聲、腳步聲，可能降噪處理後會變得很不自然，因此有時後必須把音樂前後的準備片段影片減掉。有 clipping 時，是無法補救的，頂多只能加上一點點 EQ 的調整，減低 clipping 產生的刺耳，目前宣稱能夠彌補 clipping 的軟體功能，似乎沒甚麼太大作用。（此階段只能處理聲音部分，且難以直接與影像合成一個檔案，因此聲音檔常需獨立存取。）
3. Adobe auditoin 可以直接將影像跟聲音結合，但在 apple 電腦上的 soundtrack pro 或其它聲音軟體，則似乎沒有此功能。Adobe audition 也常會出現影像無法輸出的難題，此時便需要 adobe premiere 來處理。
4. 以 adobe premiere 導入影片，若是為了 youtube 的處理，則選擇 desktop 格式，自訂為 640 x 480 來作為 project 的大小。若是為了日後轉燒成 DVD 專輯，則仍須使用 NTSC 標準大小 720 X 480。（ DVD ripper 得到的檔案若與 Premiere 的 project 檔案大小不合，則輸出時會留下黑邊。）
5. 將處理過的聲音檔案也導入，原始聲音檔案與處理過的聲音檔案，必要時可以做 crossfade，使得降噪後不自然的鼓掌聲，改由原檔案取代。premiere 中的音量曲線變化，要用 keyframe 的方式設定 （command + click) 。輸出時若只要輸出工作區域的內容，則必須在輸出設定中更改，預設值為輸出整個完整檔案長度，而非 workarea 的部份。工作區的 in-point, out-point 設定，可以用 alt + [ 及 alt + ] 來設定。
5. 由 adobe premiere 輸出最後的 mov 檔案，壓縮方式可選 mpeg-4 效果較佳。此時建議輸出成較高品質的影像檔，以作為未來製作 DVD 時使用。若曲子過長，又想上傳 youtube，那麼則需要把檔案在此切割成兩部份輸出。 youtube 只容許 10 分鐘以內的影片。
6. 利用 apple 電腦的 quicktime player 可以將 mov 案轉成適合傳上 youtube 的 mp4 檔 (640 x 480 或 320 X 240)。
2010年1月22日 星期五
電子音樂 - 海底尋夢
Title: Under the Sea (stereo tape piece) 《海底尋夢》（2006 年台灣藝術教育館線上創意競賽「音樂/音效類」首獎。）
這首曲子是來自閱讀法國作家 Jules Verne 所著之科幻小說《海底二萬浬》所得之靈感。 此曲藉由 convolution (兩種聲音的音色參數相乘而得之新音色之聲音合成技巧)、ring modulation （一種頻率調變的聲音合成）、granular synthesis （粒子化聲音合成）、time stretching（聲音延展）、spectral filtering （頻譜濾波處理）等聲音變形與合成之技巧，將鋼琴聲、玻璃碎裂聲、電腦鍵盤的打字等聲音重新合成或變形，並依照音樂發展的需要與音色變化的需求，將聲音檔 案相互疊合或歷時排列，用以描繪幻想中乘坐潛水艇至深海中探險時，所見聞之海底聲響世界以及探照燈照耀之下海中光影的變化。 此曲並透過 reverb（殘響）的聲音處理，營造一種神秘的色彩，而樂曲中張力的驟然起落，則代表著海底歷險所帶來的各種驚奇。樂曲尾聲以持續變化的長音及其音量淡出的方式，表達後續未完的一連串更精彩的海底歷險。
Date: finished in April 22, 2005
Duration: 6 min.
作品片段
Program Notes:
Program Notes:
This piece is inspired by Jules Verne’s novel, Twenty Thousand Leagues Under the Sea. In this piece, sound samples from piano, glasses, and a computer keyboard are transformed through convolution, ring modulation, time stretching techniques to represent the imagined soundscape of a submarine and waves. The piece is also intended to portray the shimmering scenes under the sea when an imagined submarine passes through, flashing the light around for illumination. Reverberation effects are used in this piece to give the impression of mystery, and the sudden surge of textural density and velocity is also used several times to create different surprises in this adventure. The piece ends with a fade-out drone to represent the continuation of the journey toward more adventures under the sea.
這首曲子是來自閱讀法國作家 Jules Verne 所著之科幻小說《海底二萬浬》所得之靈感。 此曲藉由 convolution (兩種聲音的音色參數相乘而得之新音色之聲音合成技巧)、ring modulation （一種頻率調變的聲音合成）、granular synthesis （粒子化聲音合成）、time stretching（聲音延展）、spectral filtering （頻譜濾波處理）等聲音變形與合成之技巧，將鋼琴聲、玻璃碎裂聲、電腦鍵盤的打字等聲音重新合成或變形，並依照音樂發展的需要與音色變化的需求，將聲音檔 案相互疊合或歷時排列，用以描繪幻想中乘坐潛水艇至深海中探險時，所見聞之海底聲響世界以及探照燈照耀之下海中光影的變化。 此曲並透過 reverb（殘響）的聲音處理，營造一種神秘的色彩，而樂曲中張力的驟然起落，則代表著海底歷險所帶來的各種驚奇。樂曲尾聲以持續變化的長音及其音量淡出的方式，表達後續未完的一連串更精彩的海底歷險。
電子音樂作品 - 三摩地
Title: Samadhi (2-channel Tape Music) 《三摩地》(2005 年台灣藝術教育館線上創意競賽「電腦音樂創意類」首獎）
Duration: 6 min 10 sec
Date: finished on November 5, 2003 (revised in May 2006)
作品片段：
Program Note:
Duration: 6 min 10 sec
Date: finished on November 5, 2003 (revised in May 2006)
作品片段：
Program Note:
Samadhi, a terminology in Buddhism and Hinduism, is a state of deep meditation contemplation which leads to higher consciousness. Inspired by the thinking of Buddhism and with my personal experiences and preference of practicing meditation, I try, in this piece, to convey an imagery of deep meditation and concentration and to create a mysterious atmosphere of oriental religions. However, I did not draw the raw materials directly from real sounds recorded in oriental temples. Instead, only a male’s talking, noises produced by a cart, and school bells recorded from regular life are used. Through the techniques mainly including convolution, granular synthesis, time-stretch, morphing, spectral filtering and etc., the raw materials are transformed into different sounds but at the same time in some way bear the resemblance to the original to be identifiable and are rearranged musically to achieve coherence.
This newly composed piece has been programmed recently to be presented in the International Electroacoustic Music Festival “Primavera en La Habana” on March 21, 2004, held by the the Cuban Institute of Music and the National Laboratory of Electroacoustic Music.
三摩地，或稱三昧，譯為等持、正定。即遠離心之浮沉，而得平等安詳之修行境界。此曲乃由於佛教思想與個人靜坐經驗所啟發，藉由聲波編輯的技巧，包括convolution （多種聲音檔案之特質相乘而產生新音色之技術）, granular synthesis（粒子化合成）, time stretch（聲音在時間上的延展之技術）, pitch change（音高改變之技術）, morphing（既有的聲音檔案在時間軸上漸變成另一個既有的聲音檔案之技術）, 及spectral filtering（頻譜上的濾波處理），將一些擷取於日常生活中的聲音（包括說話聲、手推車的聲音、學校鐘聲等）經過上述技巧做聲音變形並按照音樂美學上的原則，重新組合混音而來，藉以呈現東方宗教的神秘色彩及禪定中的神秘境界。此曲曾獲選於2004年古巴Primavera en La Habana國際電子音樂節、第八屆Santa Fe國際電子音樂節等發表。
《雪咒》（為二胡、長笛、鋼琴與大提琴與Max/MSP的四重奏 互動音樂）
Snow Spell for Flute, Erhu, Cello, Piano, and Max/MSP
Title: Snow Spell (Real-time for Erhu, Flute, Cello, and Piano, and Max/MSP)《雪咒》（為二胡、長笛、鋼琴與大提琴與Max/MSP的四重奏 互動音樂）
Duration: ca. 18 min.
Finished Date: March 25, 2007
片段 1
片段 2
片段 3
Program Notes:
This one-movement piece, Snow Spell for erhu, flute, cello, piano and Max/MSP, is intended to depict the beauty of a snow scene mixed with eastern cultural association and related personal fantasy by presenting four different impressions of snow through music, The First Snowflake, Footprints Vanishing in the Storm, A Soliloquy in the Snow, and The Past Melts from the Window Panes. The four impressions of the snow scene will be presented in order in music through different textures, timbres, and temporalities. Transitions will obscure the demarcation between the four different sections. Pentatonic scales, traditional erhu glissandi, embellishment, and pizzicato techniques, and quotations from Chinese folk tune River of Sorrow are incorporated to evoke Chinese folklore as a context for the images of snow. The pitch structure focuses on the interval of a third, used both diatonically and chromatically in (0 1 4) or (0 1 4 5) pitch sets in order to combine the elements of eastern pentatonic materials, and western atonal techniques as a whole.
給二胡、長笛、大提琴、鋼琴、Max/MSP 之四重奏單樂章作品《雪咒》(Snow Spell) 之創作靈感源於欣賞雪景之時所喚起之夾雜著文化聯想、個人情感與幻想的四種對雪的印象（英文標題因文化之不同，僅以相似的意象命名之） — 「初雪晶瑩落地融」 (The First Snowflake)、「漫天飛雪掩孤墳」 (Footprints vanishing in the storm)、「雪夜獨白」 (A Soliloquy in the Snow)、「雪疏風杳記憶殘」 (The Past Melts from the Window Panes)。樂曲依照此四個雪的印象為段落標題，依序發展。每個段落之間，或以音樂過渡相連結而模糊了標題段落的區分，或以織度對比、張力起落、和聲的穩定度及不同的音樂時間感傳達不同的標題意象，彼此串連成曲。樂曲中並運用二胡的各種傳統滑音、裝飾音的技巧，結合不同撥絃技法，藉以傳達中國文化的意象；此外，也藉由引用二胡名曲《江河水》的音樂片段於「雪夜獨白」的段落中，呈現《雪咒》一曲所要表達的對於往事陳跡之無奈與感傷，並引發對於中國文化中各種淒美印象的聯想。全曲運用三度音程為主要動機，轉換於調性與無調性之間，以期將東方素材及西方的創作技法融合為一。
2010年1月17日 星期日
互動音樂的音量控制問題
其實兩次在台灣演出給長笛與 max/msp 之「飛蛾與火」的曲子時，錄音的品質都很有問題。這使我不得不開始重新思考收音端的問題、以及內部效果器可能暫時性音量過大而造成破音的問題。演出現場，自己可能在專注中無法注意音質的問題。昨天拿到 WOCMAT 2009 的 DVD，破音很嚴重，只好重新思考避免破音的方法。
當日演出，一方面可能是硬體的錄音端未加上 limiter，另外也有可能是我的軟體收音端，當日為了考量長笛進入電腦的音量過小（似乎是長笛距離麥克風太遠所致），所以在軟體端特別加大聲所致，這造成一個危險，便是長笛演奏者與麥克風的距離並非從頭到尾相同，有時會忽然過度大聲，那麼可能就立刻在輸入端造成音量過載。解決的方法，是使用 lavalier mic 排除聲源與麥克風距離不定的問題，第二個方法則是在軟體輸入端加上 limiter，至於軟體輸出端是否要加上 limiter 就不得而知，如果在初出端聲音破掉，大概是在效果器處理時就已經破音，因此在輸出端加上 limiter 可能聲音早已破過一次，或許也沒有太大作用，此外音量的調整也應該以輸出端做放大，或者以混音器上做放大更為安全。
以前做博士論文時，在互動音樂系統設計上，並沒有特別考量到破音的問題，當時認為如果聲音輸入或輸出端加上 limiter，有可能會使樂器音量的對比性變小，此外，limiter 的確也很耗費系統資源。但如今重新思考，暫時做了下列結論：
1.真正演出時，獨奏樂器的音量對比性，在擴大系統中，相對上其實已經沒有太大的重要性，因此加上 limiter 應該算 OK。
2. 透過軟體來作乾的音量之控制，會受制於數位的 dynamic range 的限制，因此乾溼音量平衡由現場調整混音器或許更為方便，也避免軟體系統中事先已經破音。
3. 由輸出端加大的音量有一定的限制，若想從輸入端加大聲，則在進入效果器之後破音的危險更大。
當日演出，一方面可能是硬體的錄音端未加上 limiter，另外也有可能是我的軟體收音端，當日為了考量長笛進入電腦的音量過小（似乎是長笛距離麥克風太遠所致），所以在軟體端特別加大聲所致，這造成一個危險，便是長笛演奏者與麥克風的距離並非從頭到尾相同，有時會忽然過度大聲，那麼可能就立刻在輸入端造成音量過載。解決的方法，是使用 lavalier mic 排除聲源與麥克風距離不定的問題，第二個方法則是在軟體輸入端加上 limiter，至於軟體輸出端是否要加上 limiter 就不得而知，如果在初出端聲音破掉，大概是在效果器處理時就已經破音，因此在輸出端加上 limiter 可能聲音早已破過一次，或許也沒有太大作用，此外音量的調整也應該以輸出端做放大，或者以混音器上做放大更為安全。
以前做博士論文時，在互動音樂系統設計上，並沒有特別考量到破音的問題，當時認為如果聲音輸入或輸出端加上 limiter，有可能會使樂器音量的對比性變小，此外，limiter 的確也很耗費系統資源。但如今重新思考，暫時做了下列結論：
1.真正演出時，獨奏樂器的音量對比性，在擴大系統中，相對上其實已經沒有太大的重要性，因此加上 limiter 應該算 OK。
2. 透過軟體來作乾的音量之控制，會受制於數位的 dynamic range 的限制，因此乾溼音量平衡由現場調整混音器或許更為方便，也避免軟體系統中事先已經破音。
3. 由輸出端加大的音量有一定的限制，若想從輸入端加大聲，則在進入效果器之後破音的危險更大。
2010年1月10日 星期日
max/msp/jitter 互動影音工作坊內容介紹
目前為台北數位藝術中心所規劃的 max/msp/jitter 之互動影音設計之工作坊，軟體部份課程內容分為三階段來進行︰
初級課程主題：
(1)MIDI應用
(2)合成器設計
(3)即時效果器設計
(4)影音擷取與播放
(5)基本偵測、分析與互動
進階課程主題：
(1)poly~ 應用（包括多重聲音、影像之播放設計）
(2)畫格色差偵測
(3)顏色追蹤
(4)時序控制
目前初級課程已經開辦多次，每次的主題下，會略微更動課程內容，慢慢的我會把更有趣與實用的內容加進來。
進階課程也將開始，課程內容除了程式設計之外，有許多時候是來自網路上的相關影片之靈感，因此在此特別把這些靈感的來源轉登出來，以便於學員參考或更深入發展。
初階課程中的效果器設計集中再延遲效果器的運用、變聲器的使用、endless looper 、random panning 的特殊技巧等。（endless looper 、random panning 為近期新加入的內容）
初級課程中，會讓學員設計一個由音量偵測控制音樂的音量，由電腦鍵盤控制音高的一個簡易樂器，其靈感來自這段 iphone 的虛擬樂器設計（一樣使用音量偵測，作為樂器音量的控制）
初級課程會教到 endless looper 的設計方法，在表演時可以用來產生聲音拉長延音的效果，也可用來作為音樂 pattern 的疊加。Todd Reynolds 的小提琴演出，是使用 ableton live 來處理，但 max/msp/jitter 中可以輕易設計出來類似的音樂逐次疊加的效果。
我的薩克斯風作品 Wind Sketch 當中的開頭片段，便是使用 endless looper 的方法。
進階課程中，會提到畫格色差的偵測與應用方法，這是最簡易的偵測「動能」的方法，以前在教明道大學設計系碩士班學生時，用這個方法製作了很多的相關的教學範例，以下是其中一個：
進階課程中，也會提到關於時序控制與音量偵測的主題，會製作一個跟下面這個範例極為類似的互動播放裝置：
進階課程也會提到比較複雜的「顏色追蹤」程式設計方式，追蹤某個色塊在畫面中的移動座標，我以為顏色追蹤可能比 blob 追蹤更為穩定些，但是 現有物件導向 blob 追蹤的技術，倒是可以同時追蹤好幾個 blob 的座標，對向下投影，並偵測使用者的影子的應該很有用（例如觸發地面上投射出來的水波）。不過 blob 的偵測留待到作品指導的工作坊再談。以下是顏色追蹤運用在表演中的範例：
另一個利用顏色偵測控制聲音特效的範例：
此文章，日後會隨新課程的內容持續更新。
初級課程主題：
(1)MIDI應用
(2)合成器設計
(3)即時效果器設計
(4)影音擷取與播放
(5)基本偵測、分析與互動
進階課程主題：
(1)poly~ 應用（包括多重聲音、影像之播放設計）
(2)畫格色差偵測
(3)顏色追蹤
(4)時序控制
目前初級課程已經開辦多次，每次的主題下，會略微更動課程內容，慢慢的我會把更有趣與實用的內容加進來。
進階課程也將開始，課程內容除了程式設計之外，有許多時候是來自網路上的相關影片之靈感，因此在此特別把這些靈感的來源轉登出來，以便於學員參考或更深入發展。
初階課程中的效果器設計集中再延遲效果器的運用、變聲器的使用、endless looper 、random panning 的特殊技巧等。（endless looper 、random panning 為近期新加入的內容）
初級課程中，會讓學員設計一個由音量偵測控制音樂的音量，由電腦鍵盤控制音高的一個簡易樂器，其靈感來自這段 iphone 的虛擬樂器設計（一樣使用音量偵測，作為樂器音量的控制）
初級課程會教到 endless looper 的設計方法，在表演時可以用來產生聲音拉長延音的效果，也可用來作為音樂 pattern 的疊加。Todd Reynolds 的小提琴演出，是使用 ableton live 來處理，但 max/msp/jitter 中可以輕易設計出來類似的音樂逐次疊加的效果。
我的薩克斯風作品 Wind Sketch 當中的開頭片段，便是使用 endless looper 的方法。
進階課程中，會提到畫格色差的偵測與應用方法，這是最簡易的偵測「動能」的方法，以前在教明道大學設計系碩士班學生時，用這個方法製作了很多的相關的教學範例，以下是其中一個：
進階課程中，也會提到關於時序控制與音量偵測的主題，會製作一個跟下面這個範例極為類似的互動播放裝置：
進階課程也會提到比較複雜的「顏色追蹤」程式設計方式，追蹤某個色塊在畫面中的移動座標，我以為顏色追蹤可能比 blob 追蹤更為穩定些，但是 現有物件導向 blob 追蹤的技術，倒是可以同時追蹤好幾個 blob 的座標，對向下投影，並偵測使用者的影子的應該很有用（例如觸發地面上投射出來的水波）。不過 blob 的偵測留待到作品指導的工作坊再談。以下是顏色追蹤運用在表演中的範例：
另一個利用顏色偵測控制聲音特效的範例：
此文章，日後會隨新課程的內容持續更新。
Max for Live
Max for Live 其實指的是 5.1 版的 max/msp/jitter，只是必須要 Ableton Live 8.1 的版本才可以發揮全部的作用，亦即可以在 Ableton Live 8.1 以及 max crossgrade 授權完成之後，便可以在 Ableton Live 中找到 max 樂器與 max 特效，其中的樂器與特效主要是來自 pluggo 的內容，這些 max 樂器與 max 特效都可以在該模組右上角之處的按鈕按下後，叫出 max/msp/jitter 程式編輯視窗，jitter 物件也可在其中呼叫出來，但這個視窗所存的檔案並不是一般 max/msp/jitter 所存的檔案，亦即界面相同，卻是一個掛在 ableton live 中的 max/msp/jitter 之程式編輯界面。
當初在美國學習互動音樂時，這些特效可真是非常不容易得到，因此博士論文的研究過程，有許多時間都在學習特效的程式設計，而且資料非常少，很多時候必須仰賴老師的指導。但目前看來，這些特效程式碼與外掛物件，已經越來越容易取得，果真如我的博士班指導教授所言，電腦音樂作曲家的工作，更重要的是研究偵測、與互動的方式，才更有意義。
至於互動音樂系統能否建立在 ableton live 中，尚在評估當中。 ableton live 中可編輯的部份僅有 cycling74 所附加的效果器、虛擬樂器，並不包含整個混音界面，是否能納入 qlist 來操控所有的界面還需要再了解。
當初在美國學習互動音樂時，這些特效可真是非常不容易得到，因此博士論文的研究過程，有許多時間都在學習特效的程式設計，而且資料非常少，很多時候必須仰賴老師的指導。但目前看來，這些特效程式碼與外掛物件，已經越來越容易取得，果真如我的博士班指導教授所言，電腦音樂作曲家的工作，更重要的是研究偵測、與互動的方式，才更有意義。
至於互動音樂系統能否建立在 ableton live 中，尚在評估當中。 ableton live 中可編輯的部份僅有 cycling74 所附加的效果器、虛擬樂器，並不包含整個混音界面，是否能納入 qlist 來操控所有的界面還需要再了解。
Max/MSP/Jitter 互動影音工作坊（進階課程）
本月底數位藝術中心將再開設互動影音工作坊，為 max/msp/jitter 進階課程。
內容將集中在 poly~ 的使用、影像偵測（畫格色差偵測、顏色追蹤）、時序控制、影像特效等主題。
http://www.dac.tw/workshop/WorkShop_100123.html
報名時間為明天（1/11-1/15)起五天。
有意報名者請洽 www.dac.tw 網站。
內容將集中在 poly~ 的使用、影像偵測（畫格色差偵測、顏色追蹤）、時序控制、影像特效等主題。
http://www.dac.tw/workshop/WorkShop_100123.html
報名時間為明天（1/11-1/15)起五天。
有意報名者請洽 www.dac.tw 網站。
2010年1月4日 星期一
Moritz Eggert 的「一人樂團」作品
無意間看到 Moritz Eggert 的「一人樂團」作品頗為有趣，舞台表演的效果也很不錯，以下是旅美的鋼琴家丁曉雯老師的演出（http://shiauuending.com/index.html），丁老師常演出各種不同風格的現代鋼琴作品，尤其投入鋼琴結合電子音樂的演出而獨數一格，有別於一般只能演奏古典音樂的演奏家們。最近我才了解不是每個傳統古典音樂演奏家在技術上都有能力演奏現代音樂，能夠演出現代音樂的演奏家們，不但古典演奏的能力需要很好、視奏能力要好，在其他技術上與反應能力上，還要好到能夠配合新音樂作曲家的各種不同演奏要求，才能勝任現代音樂演出的艱鉅任務，因此我對於此類的演奏家不得不佩服。
訂閱：
文章 (Atom)