聲音從哪來? What-Where Dissociation

在問卷調查中,有一題試問受試者,聲音在哪一邊?


如果您還沒有做過有趣的聽覺實驗,請點此測驗:


https://forms.gle/1Tse4hgb9CYLHDPb7






(防雷頁)














這兩個音檔兩邊聲道的聲音是一模一樣的,只不過其中一邊比另一邊慢了 1 毫秒(0.001秒),大部分的人都以為聲音只有在訊號領先的那一邊,但其實兩邊都有聲音。


人會利用兩耳收到聲音訊號的時間差 (Interaural Time Difference, ITD) 來判斷聲音的方位,假設室溫攝氏 25 度,聲速每秒 343 公尺,這兩個音檔左右聲道差 0.001 秒,也就是相當於 34 公分的差距,其實已超過一般人兩耳的間距。


實際上人耳在判斷聲源位置並不是只使用兩耳時間差,也會利用音量差 (Interaural Level Difference, ILD) 來判斷方位,尤其是較高頻的部分,因為高頻的聲波波長較短,容易被障礙物遮蔽 (註1),我們自己的頭也是障礙物。當然判斷聲源高度以及前後方位還需要更複雜的機制,其實這個實驗要真正判斷聲源方位的資訊並不足夠,但光是 ITD 就足以產生「錯覺」。


人耳一旦收到聲音訊號,大腦的 Anterior Belt 會感知 "what" — 聲音的內容,Caudal Belt 則會感知 "where" — 聲音的來向 (註2)。我們感知到的聲音是大腦已經整理過的訊號,感知到的聲音方位與內容可能並不是事實,而是基於我們的習慣與聯想。


工作坊活動中,討論到 Glissando Illusion 和 Chromatic Illusion 這兩個例子聆聽起來的空間感,大部分參與者都覺得聲音會隨著音調高低起伏而有上下、左右或前後移動的感覺,有些人的描述較詳細,形容聲音會以某種曲線或速度往特定方向移動或延伸、凝聚等等。這些音檔都只有單純的音高資訊,就足以產生與空間相關的聯想,並沒有像現在那些好玩的科技如虛擬實境或電影配樂之類的配音含有空間資訊的複雜編碼。


這裡有件很有趣的事,很多人總是將高音聯想到右方和上方,低音則聯想到左方與下方,這個特點也與音樂界的通則如鍵盤樂器的配置、樂團配置和錄音工具的習慣很一致,到底是我們天生就會這樣聯想,還是用習慣了這些工具才會這樣聯想呢?


另外,有一位聽覺問卷參與者表示自己是一位舞者,所以對音樂很感興趣,可惜我並不知道他是否有來參加工作坊,當天真的很希望可以和他交流,對於舞蹈動作與音樂的搭配有什麼特定的規則,也許上述這些聲音和空間的聯想,也會影響舞者肢體的律動與表達,是舞蹈與音樂互相搭配的重要角色呢。




註1:Kyriakakis, Chris. Fundamental and Technological Limitations of Immersive Audio Systems. Proceedings of the IEEE, vol.86, no.5, May 1998.

註2:Deutsch, Diana. Musical Illusions and Phantom Words (p. 33). Oxford University Press. (2019)

訂閱電子報

感謝提交!

​歡迎參加聽覺實驗