耳は口を見ている

1976年、テープを取り違えた実験室から始まった。

1976年の春、サリー大学の発達心理学研究室で、ハリー・マクガークと助手のジョン・マクドナルドは、乳児の言語知覚についての実験を準備していた。技術者に依頼したのは単純な作業だった——音声 [ba] を、口が [ga] を発音している映像に、手違いで重ねて再生した。二人が顔を見合わせたのは、その直後である。映像を見ながら聴くと、はっきりと [da] に聞こえる。目を閉じて音だけを聴くと、元どおり [ba] だった。

二人は実験を組み替えた。成人51名、3〜5歳児21名、7〜8歳児28名を集め、同じ映像を見せ、何に聞こえたかを記録した。結果は衝撃的だった。映像を見ながら聴いたとき、成人の98%が「違う音」を報告した。音声 [ba] + 映像 [ga] の組み合わせでは、大多数が「da」または「tha」と答えた。聴覚はそれまで、視覚とは独立した感覚だと信じられてきた。その前提が崩れた瞬間だった。

発見は意図したものではなかった。マクガークは乳児が母親の顔と声をどう結びつけるかに興味があった。視覚が聴覚を「書き換える」現象を探していたわけではない。しかし、技術者がテープのトラックを誤って組み合わせたおかげで、半世紀にわたって引用され続ける論文が生まれた。Natureへの投稿は1976年7月、受理は11月、掲載は同年12月23日。タイトルはHearing lips and seeing voices——「唇を聴き、声を見る」。

目を閉じて聴いたときと、開けて聴いたときで、音は変わる。

マクガーク効果は、説明を読むだけでは腑に落ちない。自分の耳で確かめる必要がある。以下の McGurk Lab には、マクガーク効果の研究(Proverbio et al., 2016)で実際に実験刺激として使われた動画を埋め込んでいる。この動画は Wikipedia 英語版・中国語版の McGurk 記事でも公式採用されている定番デモ刺激だ。まず「目を閉じて聴く」で音声だけ確認し、次に「映像あり で見る」で同じ動画を見ながら聴き直してほしい。同じ音声なのに聞こえ方が変わる瞬間が、マクガーク効果の体験だ。

Step 1 と Step 2 を試してみて、どうだっただろうか。目を閉じて聴いたときと、映像を見ながら聴いたときで、同じ音声なのに聞こえ方が変わった——もし変わったなら、それがマクガーク効果を自分の耳と脳で体験した瞬間だ。融合は自分で「書き換えるぞ」と意識して起きるわけではない。目を開けているだけで、視覚情報が勝手に聴覚を上書きする。意識がそれを検知することすらできない。

📊 図の見方(※筆者による簡易解析)

縦の赤線 = 破裂(burst)の瞬間

水色の実線 = この音声の実測 F2(第二フォルマント、~1400Hz)

白い破線 = 本来の /pa/ が持つべき F2 locus(~800Hz)

黒い上向き矢印 = F2 が本来より高く加工されている方向(/ta/ 寄りの ~1800Hz に近づけた中間値)

観察から示唆されること(100%の確定ではない)

• 破裂音のエネルギーは低周波に集中 → 両唇音 /p/・/b/ の典型的特徴(/t/ なら高域、/k/ なら中域が強くなる)
• したがって子音部は物理的に /pa/ と考えられる(Wikipedia キャプション「audio of [pa]」と整合)
• ただし F2 立ち上がりが ~1300Hz と、本来の /pa/(~800Hz)より高い
• これは /ta/ の F2 locus(~1800Hz)寄りに加工された中間値。Proverbio 論文の「子音情報を曖昧化」と符合
• 結果として、聴者によっては /pa/ とも /ta/ とも聞こえうる境界的な刺激になっている可能性がある

統合は、耳の中では起きていない。

音は鼓膜を震わせて蝸牛に届き、有毛細胞が電気信号に変換する。ここまでは純粋な聴覚処理だ。映像は網膜の光受容細胞から、視覚野(後頭葉)に送られる。別々の入力、別々の経路。しかし、この2つがどこかで合流するからこそ、マクガーク効果は起きる。合流地点はどこにあるのか——fMRIと経頭蓋磁気刺激経頭蓋磁気刺激 (TMS)
頭蓋外から磁気パルスを当てて、特定の脳領域の活動を一時的に抑制する手法。神経科学で因果関係を調べるのに使われる。(TMS)が、答えを教えてくれる。

◀ 前 後 ▶

上側頭溝 (STS)

視覚と聴覚の統合ハブ

左大脳半球の側面図。赤くハイライトされているのが上側頭溝(STS)——側頭葉の上・中2つの回(Superior / Middle Temporal Gyrus)を分ける溝だ。耳からの音情報は側頭葉上部の聴覚野へ、目からの視覚情報は後頭葉の視覚野へ入り、両者がこのSTSで合流する。

原図: Henry Vandyke Carter, Gray's Anatomy (1918) — Public Domain / STSハイライト: Wikimedia Commons user "Was a bee" (Public Domain)

上側頭溝上側頭溝 (Superior Temporal Sulcus, STS)
側頭葉の外側を前後に走る深いしわ。顔認識・生物的動き・音声の統合など、社会的情報処理の中心的ハブ。(STS) は、脳の側頭葉にある深いしわで、顔の動きや生物的な運動を処理する場所として知られていた。2010年、ボーシャンらは、被験者が不一致動画(/ba/音+/ga/口)を見ている最中にTMSでSTSの活動を抑制した。結果、マクガーク効果の発生率はほぼ半分に落ちた。STSを黙らせると、視覚は聴覚を書き換えなくなる。逆に一致動画(/ba/音+/ba/口)の認識には影響しなかった。STSは、クロスモーダルな錯覚の司令塔だった。

ここで重要なのは意識のタイミングだ。耳に届いた音が鼓膜を揺らしてから、意識に「何か聞こえた」と上るまで約200ミリ秒かかる。この200msの中で、脳は耳と目からの情報を突き合わせ、ズレていれば片方を書き換える。視覚は口の動きという強い文脈情報を持っているため、優先度が高い。結果として、意識に上る音は「耳に届いた音」ではなく「視覚で補正された音」になる。

もうひとつ、興味深い事実がある。融合の強さは、人によって驚くほど違う。同じ /ba/音+/ga/口 の動画を見せても、融合率が0%の人から100%の人までが存在する。健康な成人の中でも、この分布は広い。発達段階による差もある。5〜9歳の子どもは視覚の影響が弱く、音声のまま「ba」と聞き取ることが多い。視聴統合は、年齢とともに深まる技能だ。

個人差と文化差の存在は、マクガーク効果が固定した「仕組み」ではないことを示している。誰もが同じ割合で視覚に頼っているわけではない。幼少期の言語環境、顔を見る習慣、おそらくは眼球運動の癖まで、さまざまな要因がこの統合の強さを調整している。「脳は視覚を優先する」は平均的な話であって、個々人にそのまま当てはまるわけではない。

「聞く」と「見る」の境目を溶かした半世紀。

聞こえるという出来事は、顔とセットで起きている。

耳が音を拾い、脳が意味を付ける——それだけなら、話はシンプルだ。しかし現実には、脳は耳だけの信号を信じていない。話し手の口を見ていれば、口の動きを音素音素 (Phoneme)
言語の意味を区別する最小の音単位。/b//g//d/ のような子音はすべて音素。耳が受け取る物理音から、脳が抽出する分類ラベル。と突き合わせ、ズレていれば視覚を優先して音を書き換える。聞こえるという体験は、顔を見るという行為と、分かちがたく結びついている。

この発見が意味するのは、単に「視覚が強い」ということではない。聴覚という独立した感覚は、実のところ存在しないかもしれない、ということだ。進化の時間尺度で、人間は常に話し相手の顔を見ながら言葉を聞いてきた。耳と目は、常にセットで働く前提で設計されている。電話やラジオのように、音声だけを切り離して届ける技術は20世紀の発明に過ぎない。脳は、それに合わせて進化していない。

同じ理由で、マスクをつけた相手の声は聞き取りにくい。コロナ禍で多くの人が経験した通りだ。音量は変わっていない。なのに、理解の負荷が上がる。口の動きが見えないせいで、脳は普段使える情報源を一つ失い、耳だけで音を組み立てなければならない。「聞こえているけれど聞き取れない」という奇妙な感覚の正体は、ここにある。

マクガーク効果は、意識の端にある装置を可視化する。意識に上る音は、世界の物理的な事実ではなく、複数の感覚を突き合わせた後の「結論」だ。私たちは生のデータを聞いていない。耳と目が共同で作った編集済みの出力を、「聞こえたもの」として受け取っている。世界を直接知覚しているという感覚そのものが、実のところ幻影に近い。

e. Tamaki