CPU vs GPU 與互動多媒體表演

最近忙著投入一個跨領域的演出計畫，可以說是首次有機會把 Jitter 的相關技術應用在實際的表演上，自己覺得很興奮，也因為這次的參與，讓我獲得了許多實務上經驗，包括如何將影像投射至多重投影機、如何架構一個互動影音表演系統等，都在此種動機的驅使下被嘗試出來。

另外一個使我再度關切 Jitter 的功能可說是來自董老師在「數位音樂與多媒體表演研討會」中的即興表演之啟發，讓我感受到此種影音互動現場表演的強烈表現力與對於聽眾的吸引力。

以往我對於結合互動影像的表演藝術，都抱持懷疑的態度，一則是因為質疑有結構的音樂是否仍有結合影像的必要性，一則是因為難以構思出能與音樂結構完美結合的影像。我自己很多時候在即時影像技術的研究，僅是為了教學的需求，但近年來開始有越來越多影音結合的表演很吸引我，使我開始有興趣想嘗試此類創作。有些保守派作曲家可能會覺得互動音樂，推到極致就變成了魔術表演，加了互動影像之後，又更為魔術化，而可能偏離音樂的本質。但我覺得若利用其他的媒體，能強化音樂本身的結構性，例如用同步的影像，來強化音樂本身的姿態、張力起落，使得聽眾可以更直接的感受到抽象性的音樂結構，未嘗不是一種優點。

此次參與的跨領域表演計畫，由於有合作的團隊，因此提高了其可行性、也減輕自己獨立創作時的負擔，給自己有一個技術成長與實驗的機會。其中，技術上，由於表演藝術需要時間來呈現，時間的流展使得多重的變化設計成為必要，也加重了電腦資源的負擔，因此效能成為一件重要的事。這次的參與，讓我深深體悟到 Jitter 的陣列式處理影像的方法，實際上是難以用於此類表演，甚至連播放影片而不會掉格的目標都無法達到，因此使用 OpenGL 物件來達成播放影片的目的，並置換各種陣列式的影像特效物件，已經成為勢在必行。可惜 Jitter 在此方面的說明手冊，著墨有限，對於內建  shader 的說明也非常不足，並且沒有陣列特效轉換成 OpenGL 的特效之 shader 對照表，因此有些一般熟悉的陣列式的特效，一時之間很難知道要去哪裡找 shader 來用。

由於 OpenGL 物件可使用 GPU 資源，執行效率上實在快得太多，而陣列式特效、影片播放等，遇到複雜的串接設計時，幾乎很難不使電腦過載，表演時對於系統穩定性的絕對要求，已經使 OpenGL 的模式成為不可不學的技術。此次參與跨領域的表演計畫，最大的收穫大概是瞭解這個問題並更加熟悉 OpenGL 特效的使用吧。或許過一陣子等理論性的東西弄熟一些，就可以與學生分享這些經驗與技術。