[隨手玩]-演算圖像 3

[教學]子母畫面教學

在「動態中心2.0」的作品裡，我嘗試把聲音的資訊透過分析轉譯成波形秀在子母畫面中，讓觀眾除了主體的視覺外，也能透過子母畫面的資訊，自由解讀作品。(Perfume 的Spring of Life和電影Prometheus都是我的靈感來源..)

子母畫面在puredata中的作法，請參考下面的patch圖。把子母畫面產生的資訊圖形繪製在[gemframebuffer]當中，並且透過[pix_snap]把圖形轉換成材質屬性存在[pix_buffer]的陣列裡，最後再透過[pix_read]的物件把影像重新繪製在物件[square]上即可。

在此同時，依然可以透過[gemhead]把影像繪製在[gemwin]裡，如右邊被[bang]區隔開來的區塊。

Example Download

[隨手玩]-演算圖像 2

[隨手玩]-演算圖像 1

[隨手玩]電子培養皿 29

File Download

[隨手玩]電子培養皿 28

File Download

[數位音像][04]-視覺化的操控界面

圖-1，作品中的滑鼠行為 

在表演過程中，筆者透過滑鼠拖拉、點選等動作（圖-1），去喚醒觀眾自身的使用經驗，在電腦作業系統中，當滑鼠框選的範圍越大，代表選取的區域越多；在本創作的表現手法裡，框選的範圍越大，則建立的視覺圖像也越大，相對應的聲音能量振幅也愈大。點擊動作在經驗中通常代表觸發某事件，在本作品裡則是用來新增或移除圖像物件。拖拉施力動作則是在模擬現實中的彈簧，施力越大時，彈簧扭曲變形的越大，放開時瞬間的回饋力也越大，在作品裡則用來改變初始環境的作用力。

圖-2，攝影機的影響 

作品中的影像建構在「OpenGL」的3D的座標系，因此物件會處在虛擬的三維的空間中。現實世界中的聲音會因為距離或方向的差異衰減，因此在作品中的世界，當攝影機在不同位置時，左右聲道的「相位（panning）」 也會依據攝影機離中心點的距離增減；當攝影機「Zoom In」或「Zoom Out」改變焦距時，則會改變整體聲音的音質，鏡頭越遠時「迴聲（Echo）」 愈大音質顆粒愈大，越近時聲音愈清晰及「迴聲」越小。

[數位音像][03]-影像及聲音的配對

（C） 顏色與聲音頻率：色彩能帶給人們生理及心理反應，以及傳達訊息、意象。舉例來說：紅色會聯想到熱情、溫暖。在王威欽《運用影像分析實現電腦音樂創作之研究》一文中提到：「19世紀前半，色彩與音樂的研究在歐洲風行一時，當時德國一些物理學家經過多次協商，決定以聲音的震動數來比較光波長的變動數，作為轉化色彩屬性與音樂屬性（音高、音強、音色）的依據，音波和光波振動次數與其相互的關係，表格1。

音高	音波	顏色	光波
C	256（國際高度）258	暗赤	7360 （A）
C#	273（國際高度）274	赤	6900 （A）
D	288（國際高度）290.3	赤橙	6428 （A）
D#	307（國際高度）307.5	橙	6130 （A）
E	320（國際高度）325.8	黃	5890 （A）
F	341（國際高度）345.2	黃綠	5520 （A）
F#	352（國際高度）365.8	綠	5352 （A）
G	384（國際高度）387.5	青綠	4906 （A）
G#	410（國際高度）410.6	青	4600 （A）
A	427（國際高度）435	青紫	4416 （A）
A#	448（國際高度）460	紫	4204 （A）
B	480（國際高度）488	暗紫	3920 （A）
C#	510（國際高度）517	不可視	3680 （A）

表格 1：林書堯，色彩學[1]。


Example Download and abstract

（D） 運動狀態與封包：物件運動時透過加速度去改變原本的線性移動，讓物件產生彈跳、加速、減速等效果，使運動的行為更為擬真。將物件的彈跳動作套用至聲音的封包上，能夠讓聲音產生「調頻」或是「調幅」的效果。

•  封包套用在影像動態：利用加速度曲線去變更原本速度。

圖-1，調變運動速度。

Example Download

• 封包套用在聲音調變：利用封包產生的訊號，改變原本的「載波（carrier）」，產生調頻效果，圖-2；產生調幅效果，圖-3。

圖-2，調頻。 

圖-3，調幅。

---

[1]林書堯 著（1983）。《色彩學》。三民書局。

[數位音像][02]-影像及聲音的配對

在古希臘時期，人們就已經研究出「黃金比例」[1]中比值跟美感的對應關係，自然界中許多生物的造型都源自黃金比例，例如玫瑰花的花辦、鸚鵡螺、甚至大到星系之間的關係。畢達哥拉斯學派認為萬物皆為數字，宇宙中美好的秩序，皆源自於數學比例。比例除了可以構成良好外觀造型，也可以成為和諧聲音的來源，現今樂理常用的「十二平均律」就是透過數學計算而得。為了將影音有效聯結在一塊，所以筆者嘗試用聲音跟影像的基本要素，搭配數學比例去創作。以下是作品中運用到的影音聯結關係：

（A） 形體大小與聲音振幅：在畫面中，越大的物體越容易被關注，因此可以對成影像形體越大時振幅也較大，圖-1。

圖-1，影像大小與聲音振幅

Example Download

（B） 物體造型與波形：形狀能象徵情感，舉例來說在交通號誌裡，三角形通常是警告標誌，因為三角形銳角的關係，容易讓人情緒緊張。在聲音的要素中，音色最容易描述情緒，電影配樂裡鼓聲常用來代表雄壯威武；弦樂器常描述情感糾結的狀態。因此透過形狀跟音色的聯結，便能更有效地表達情緒。以下是作品中視覺形狀跟聲音波形的對應： 

圖-2，物體造型與波形

Example Download

• 「方形」具有剛正，清楚明確的形象，對應成「方波（Square Wave）」。方波只有奇數次的泛音，聽起沒有鋸齒波嘈雜。[2] 

• 「三角形」具有緊張、積極等形象[3]，對應成「鋸齒波（Saw Tooth）」，鋸齒波是所有波型中擁有最多泛音的波形，包含了奇數與偶數的泛音，適合模擬弦樂器。 

• 「圓形」具有輕快、流動性的形象，對應成「正弦波（Sin Wave）」。正弦波是沒有泛音的的音波，適合拿來合成電子舞曲的短高音、口哨聲 排簫聲。 

• 「不規則形」可以用來詮釋各種情感，對應成「噪音（Noise）」。噪音聽起來充滿顆粒，頻譜分佈最均勻，適合模擬風吹、海浪等聲音。 

---

[1]黃金比例（Golden ratio），又稱黃金切割率，是一種數學的比例關係，比值為1:1.618。
[2]吳樹正 著（2009），《數位聲音合成技術概論》。
[3]劉奇偉 著（1991），《現代繪畫基本理論》。雄獅圖書股份有限公司。

[數位音像][01]-影像及聲音的構成要素

論文寫完後，發現有些想法可以提出來跟大家分享，所以接下來的幾篇文章會分別討論「數位音像」中，影音聯結的關係我是如何看待及運用在創作上。討論影音的聯結關係前，首先必須先解構影音回基本組成狀態，以影像來說：

圖-1，朝倉直已對造型的構成要素[1]

王威欽指出：「視覺形態的構成要素大致可分為「形狀」、「色彩」、「大小」、「肌理四項」，它們必須相互依存，而任何視覺形態的形式和內容也都必須由這些要素來共同決定」[2]。可視的所有形體都離不開這些要素，透過這些要素可以形繪任何事情，傳達特定訊息。

舉例來說，顏色可以傳達多種語意，電影《英雄》中導演張藝謀將主要場景分為五種顏色去代表每個主角間的故事，例如「紅色代表激情、嫉妒；藍色代表浪漫；綠色代表回憶；黑色代表神秘；白色代表真實世界」[3]。透過色彩搭配能夠營造情感氛圍，例如傳統俚語所說：“紅配綠，狗臭屁”，就是意指不當的顏色搭配，會使得人們觀感不佳。

聲音的構成：

圖-2，聲音是空氣中縱波震盪產生的能量 

圖-3， 音波示意

聲音是在空氣中的縱波能量，當拍打桌面或者敲擊樂器時，能量的波動會引起空氣分子振動，使周圍的空氣產生疏密變化。聲音可以被解析為「振幅」、「頻率」、「波形」，圖-3。振幅指的是波的高度，振幅越大時代表音量越大；頻率週期越短聲音的音高越高 ；而音色則取決於「泛音（Overtone）」[4]的不同，因此在交響樂演奏時，同樣音高之下，我們還是可以辨識出鋼琴、小提琴等不同樂器間的差異。

---

[1] 朝倉直已 著（1985），呂清敷譯。《藝術設計的平面構成》，梵谷設計叢書，頁278。
[2] 王威嶔 著（2005）。《運用影像分析實現電腦音樂創作之研究》，國立台北藝術大學。
[3] 維基百科：http://zh.wikipedia.org/wiki/英雄_（电影）
[4] 泛音（Overtone），除了基頻外其他和基頻呈現倍數關係頻率的音頻。