2013年1月20日 星期日

[教學]子母畫面教學



在「動態中心2.0」的作品裡,我嘗試把聲音的資訊透過分析轉譯成波形秀在子母畫面中,讓觀眾除了主體的視覺外,也能透過子母畫面的資訊,自由解讀作品。(Perfume 的Spring of Life和電影Prometheus都是我的靈感來源..)

子母畫面在puredata中的作法,請參考下面的patch圖。把子母畫面產生的資訊圖形繪製在[gemframebuffer]當中,並且透過[pix_snap]把圖形轉換成材質屬性存在[pix_buffer]的陣列裡,最後再透過[pix_read]的物件把影像重新繪製在物件[square]上即可。

在此同時,依然可以透過[gemhead]把影像繪製在[gemwin]裡,如右邊被[bang]區隔開來的區塊。






2013年1月10日 星期四

[數位音像][04]-視覺化的操控界面

圖-1,作品中的滑鼠行為 
在表演過程中,筆者透過滑鼠拖拉、點選等動作(圖-1),去喚醒觀眾自身的使用經驗,在電腦作業系統中,當滑鼠框選的範圍越大,代表選取的區域越多;在本創作的表現手法裡,框選的範圍越大,則建立的視覺圖像也越大,相對應的聲音能量振幅也愈大。點擊動作在經驗中通常代表觸發某事件,在本作品裡則是用來新增或移除圖像物件。拖拉施力動作則是在模擬現實中的彈簧,施力越大時,彈簧扭曲變形的越大,放開時瞬間的回饋力也越大,在作品裡則用來改變初始環境的作用力。

圖-2,攝影機的影響 
作品中的影像建構在「OpenGL」的3D的座標系,因此物件會處在虛擬的三維的空間中。現實世界中的聲音會因為距離或方向的差異衰減,因此在作品中的世界,當攝影機在不同位置時,左右聲道的「相位(panning)」 也會依據攝影機離中心點的距離增減;當攝影機「Zoom In」或「Zoom Out」改變焦距時,則會改變整體聲音的音質,鏡頭越遠時「迴聲(Echo)」 愈大音質顆粒愈大,越近時聲音愈清晰及「迴聲」越小。


2013年1月9日 星期三

[數位音像][03]-影像及聲音的配對

(C) 顏色與聲音頻率:色彩能帶給人們生理及心理反應,以及傳達訊息、意象。舉例來說:紅色會聯想到熱情、溫暖。在王威欽《運用影像分析實現電腦音樂創作之研究》一文中提到:「19世紀前半,色彩與音樂的研究在歐洲風行一時,當時德國一些物理學家經過多次協商,決定以聲音的震動數來比較光波長的變動數,作為轉化色彩屬性與音樂屬性(音高、音強、音色)的依據,音波和光波振動次數與其相互的關係,表格1。

音高
音波
顏色
光波
C
256(國際高度)258
暗赤
7360 A
C#
273(國際高度)274
6900 A
D
288(國際高度)290.3
赤橙
6428 A
D#
307(國際高度)307.5
6130 A
E
320(國際高度)325.8
5890 A
F
341(國際高度)345.2
黃綠
5520 A
F#
352(國際高度)365.8
5352 A
G
384(國際高度)387.5
青綠
4906 A
G#
410(國際高度)410.6
4600 A
A
427(國際高度)435
青紫
4416 A
A#
448(國際高度)460
4204 A
B
480(國際高度)488
暗紫
3920 A
C#
510(國際高度)517
不可視
3680 A 
表格 1:林書堯,色彩學[1]


Example Download and abstract

(D) 運動狀態與封包:物件運動時透過加速度去改變原本的線性移動,讓物件產生彈跳、加速、減速等效果,使運動的行為更為擬真。將物件的彈跳動作套用至聲音的封包上,能夠讓聲音產生「調頻」或是「調幅」的效果。
  •  封包套用在影像動態:利用加速度曲線去變更原本速度。
圖-1,調變運動速度。

  • 封包套用在聲音調變:利用封包產生的訊號,改變原本的「載波(carrier)」,產生調頻效果,圖-2;產生調幅效果,圖-3。
圖-2,調頻。 



圖-3,調幅。



[1]林書堯 著(1983)。《色彩學》。三民書局。

[數位音像][02]-影像及聲音的配對

在古希臘時期,人們就已經研究出「黃金比例」[1]中比值跟美感的對應關係,自然界中許多生物的造型都源自黃金比例,例如玫瑰花的花辦、鸚鵡螺、甚至大到星系之間的關係。畢達哥拉斯學派認為萬物皆為數字,宇宙中美好的秩序,皆源自於數學比例。比例除了可以構成良好外觀造型,也可以成為和諧聲音的來源,現今樂理常用的「十二平均律」就是透過數學計算而得。為了將影音有效聯結在一塊,所以筆者嘗試用聲音跟影像的基本要素,搭配數學比例去創作。以下是作品中運用到的影音聯結關係:

(A) 形體大小與聲音振幅:在畫面中,越大的物體越容易被關注,因此可以對成影像形體越大時振幅也較大,圖-1。
圖-1,影像大小與聲音振幅


(B) 物體造型與波形:形狀能象徵情感,舉例來說在交通號誌裡,三角形通常是警告標誌,因為三角形銳角的關係,容易讓人情緒緊張。在聲音的要素中,音色最容易描述情緒,電影配樂裡鼓聲常用來代表雄壯威武;弦樂器常描述情感糾結的狀態。因此透過形狀跟音色的聯結,便能更有效地表達情緒。以下是作品中視覺形狀跟聲音波形的對應: 
圖-2,物體造型與波形

  • 「方形」具有剛正,清楚明確的形象,對應成「方波(Square Wave)」。方波只有奇數次的泛音,聽起沒有鋸齒波嘈雜。[2] 
  • 「三角形」具有緊張、積極等形象[3],對應成「鋸齒波(Saw Tooth)」,鋸齒波是所有波型中擁有最多泛音的波形,包含了奇數與偶數的泛音,適合模擬弦樂器。 
  • 「圓形」具有輕快、流動性的形象,對應成「正弦波(Sin Wave)」。正弦波是沒有泛音的的音波,適合拿來合成電子舞曲的短高音、口哨聲 排簫聲。 
  • 「不規則形」可以用來詮釋各種情感,對應成「噪音(Noise)」。噪音聽起來充滿顆粒,頻譜分佈最均勻,適合模擬風吹、海浪等聲音。 


[1]黃金比例(Golden ratio),又稱黃金切割率,是一種數學的比例關係,比值為1:1.618
[2]吳樹正 著(2009),《數位聲音合成技術概論》。
[3]劉奇偉 著(1991),《現代繪畫基本理論》。雄獅圖書股份有限公司。

[數位音像][01]-影像及聲音的構成要素

論文寫完後,發現有些想法可以提出來跟大家分享,所以接下來的幾篇文章會分別討論「數位音像」中,影音聯結的關係我是如何看待及運用在創作上。討論影音的聯結關係前,首先必須先解構影音回基本組成狀態,以影像來說:


圖-1,朝倉直已對造型的構成要素[1]

王威欽指出:「視覺形態的構成要素大致可分為「形狀」、「色彩」、「大小」、「肌理四項」,它們必須相互依存,而任何視覺形態的形式和內容也都必須由這些要素來共同決定」[2]。可視的所有形體都離不開這些要素,透過這些要素可以形繪任何事情,傳達特定訊息。

舉例來說,顏色可以傳達多種語意,電影《英雄》中導演張藝謀將主要場景分為五種顏色去代表每個主角間的故事,例如「紅色代表激情、嫉妒;藍色代表浪漫;綠色代表回憶;黑色代表神秘;白色代表真實世界」[3]。透過色彩搭配能夠營造情感氛圍,例如傳統俚語所說:“紅配綠,狗臭屁”,就是意指不當的顏色搭配,會使得人們觀感不佳。

聲音的構成:
圖-2,聲音是空氣中縱波震盪產生的能量 


圖-3, 音波示意

聲音是在空氣中的縱波能量,當拍打桌面或者敲擊樂器時,能量的波動會引起空氣分子振動,使周圍的空氣產生疏密變化。聲音可以被解析為「振幅」、「頻率」、「波形」,圖-3。振幅指的是波的高度,振幅越大時代表音量越大;頻率週期越短聲音的音高越高 ;而音色則取決於「泛音(Overtone)」[4]的不同,因此在交響樂演奏時,同樣音高之下,我們還是可以辨識出鋼琴、小提琴等不同樂器間的差異。



[1] 朝倉直已 著(1985),呂清敷譯。《藝術設計的平面構成》,梵谷設計叢書,頁278。
[2] 王威嶔 著(2005)。《運用影像分析實現電腦音樂創作之研究》,國立台北藝術大學。
[3] 維基百科:http://zh.wikipedia.org/wiki/英雄_(电影)
[4] 泛音(Overtone),除了基頻外其他和基頻呈現倍數關係頻率的音頻。