写真提供：マイナビニュース

写真拡大

熊本大学は10月13日、目の前の相手の話を聞く際、日本人は声を聴くことに集中しており、まず相手の口を見てから声の聞き取りへと進む英米人とは情報処理様式が大きく異なることを明らかにしたと発表した。

同成果は、熊本大学文学部認知心理学研究室 積山薫教授、久永聡子研究員、同大学院先端科学研究部医用福祉工学分野 伊賀崎伴彦准教授、村山伸樹名誉教授らの研究グループによるもので、10月13日付けの英国科学誌「Scientific Reports」に掲載された。

対面で人の話し声を聞き取る際、口の動きについての視覚情報が音声の聞こえに影響を及ぼすことが知られており、たとえば、ムービーの吹き替えで声とは矛盾する口の動きの動画を同期させると、矛盾する口の動きに引きずられ音声トラックの音とは違う音に聞こえる「マガーク効果」が生じる。しかし日本人の場合には、このマガーク効果が英語圏で報告されているほどは強くないことがこれまでにわかっていた。

今回、同研究グループは、日本語を母語とする学生と、英語を母語とする留学生を対象に、それぞれの群で20名程度ずつ、視線パターン、脳波、音声判断速度などを調べた。

この結果、声と口の動きが一致している自然な音声の場合、英語母語者では音が始まる前から視線が話者の口に集中しているのに対して、日本語母語者では視線が分散しており、口への集中は見られなかった。また、英語母語者では、音声のみの聴覚条件よりも口の動きが伴う視聴覚条件の方が音声判断が速くできたのに対して、日本語母語者では逆に、視聴覚条件で遅くなることがわかった。

また、脳波の推移を1/1000秒単位で観察して音声判断中の脳の働きを調べても、同様の結果が得られたことから、英語母語者は音が始まる数100mm秒前から動き出している口の情報から次に来る音の候補を絞っているのに対して、日本語母語者は聴覚重視で準備しているため、視覚情報があると余分な処理が必要になると考えられるという。

さらに、日本人の学生を対象に、口の動きと声が矛盾するムービーでマガーク効果の生起を調べ、「口を注視してください」と教示を与えておくことで、教示しない場合よりもマガーク効果を強く生起させられるかどうかを調べたところ、教示によって視線は口に集中するにもかかわらず、マガーク効果の生起には変化がなく、日本人で視覚情報の影響を強めることはできないことが明らかになった。

この結果について同研究グループは、口を注視して声を聞く経験は、幼少の頃から繰り返すことによってのみ、音声処理における視覚と聴覚を結びつける脳内の体制に結実するのではないかと考察している。

(周藤瞳美)