跳到主要內容

我知即所聽?-McGurk效應

我們生活中,充滿著各種因為語音解讀不一致而造成誤解的例子,最常見的就是口誤-一時搞錯音節的聲調、子音、母音、長度,或將音節對調,甚至從大腦中讀取出另一個完全不同的單字。假設這個世界裡每個人講話都「音節清晰」、「字正腔圓」,我們的耳朵也功能正常的話,肯定能不會再「講錯」、「聽錯」吧?

「不對,你確定你耳朵聽力正常嗎?」

為了讓讀者們也能安心閱讀,我們先做個小小的聽力測試。
請觀看下列影片,看著這位小哥,看他發的是什麼音?



好的,許多聽力跟我一樣敏銳的讀者,應該都聽得非常清楚了。

等等,這簡直太挑戰大家的智商了,在憤而關閉視窗前,請各位再播一次影片,這次我們閉上眼睛,聽他發的音究竟是什麼?

不知道各位發現了沒有?看著影片和閉上眼睛,所聽到的竟是完全不同的發音。

我們聽見的不一定真實

這個有趣的現象,我們稱作「McGurk效應」。此影片中的人聲其實說的是「baba, baba, baba」,[b]是一個雙唇音,我們在發這個音的時候,必須得閉上嘴巴、雙唇靠攏再放開才可,然而影片中的人並沒有如我們預想閉上雙唇,於是我們的大腦開始混亂。

事實上,這位男子的畫面,發的是「gaga, gaga, gaga」。但為什麼大多數的人會聽成[da],而不是依照視覺判斷為[ga]呢?

關鍵就在於,大腦即便混亂,也是有秩序地混亂。如果大腦這時恣意選擇,我們聽到的可能會是 rara、mama、nana、chiachia…等無限多種可能。但大腦並沒有這麼做,它選擇了對它而言最合理的音聲組合,無論是[ba]、[da]、[ga],他們的子音都是塞音-意即在發音時,必須先在口腔某部位阻擋氣流再使其放出,製造類似爆破的聲音。[b] 的發音位置在雙唇,[d] 是用舌尖靠在齒齦發出,[g] 則是用軟顎阻擋氣流所造出。

[b]、[d]、[g] 三個塞音的發音部位。


這些塞音的調音特性接近,而大腦在發現畫面與音聲不一致時,便選取了雙唇與軟顎兩種中間的 [d],這也是為什麼,雖然 [d] 和 [s] 同樣是舌尖音,我們卻很難會聽成 [s] 的緣故,因 [s] 是透過摩擦發出,特性與其 [b] 和 [g] 並不相同。

McGurk 效應簡言之便是大腦對視覺訊息及聽覺訊息的整合,以及兩者發生矛盾時所進行的「調和」,如剛剛的例子,大多數人都會有類似的判斷。而失語症患者、阿茲海默症或語言障礙者,該效應的作用則可能相當微弱甚至消失。另外,根據一些研究顯示,在刺激較短、需要高度依賴視覺資訊的狀況下,女性的 McGurk 效應會比男性來得強烈,不過上面影片的音聲相當完整,應不致於造成明顯的性別差異。

當然,McGurk 效應本身即為聽覺和視覺調和的結果,並不是每個人都會調和至[da]。少部分-如倚重聽覺情報的人,較不容易被視覺影響,而仍聽為[ba];或也有因某些因素,依賴視覺資訊,而聽為 [ga] 的人。

無論是心理語言學或是認知科學等,都有許多關於 McGurk 效應的研究,有興趣的人不妨到 youtube 尋找更多相關的影片。看來我們所聽到的,並不一定是真實的呢!

留言

這個網誌中的熱門文章

為什麼中文叫 "Mandarin" -滿大人?

讀者發問:「現代英語稱中文為 Mandarin,其實就是「滿大人」,當時的滿族官員威風凜凜,前來大清王朝的外國人聽到這詞,就把它直譯為英語-Man-da-rin。這是真的嗎?」

我們怎麼學外語?-Krashen 的五個假說 (Monitor Theory)

  人們究竟是怎麼學習第二語言,這是個直至今日都還在語言學界及語言教育界爭論不休的議題。不過,在諸多理論中,有一些較為代表性的理論,還是可以介紹給大家。今天要介紹的就是 Stephen Krashen的理論。

台語是不是「方言」?

台灣閩南語或客家話是一個語言嗎?