AIは顧客が商品を手に取った順番とその表情を解析し、効果的な商品陳列を提案できる可能性がある

写真拡大

 こんにちは。微表情研究者の清水建二です。

 近年、私たちの表情を分析し、感情を推定するAIの開発及び実用化が加速の一途を辿っています。本日は、表情分析の人間側の一専門家として、これからの表情認識AIの可能性について考えたいと思います。

 オーソドックスな表情分析の手順に沿って、人間の分析者がしていることとAIが出来ること・出来ないことのプロセスを簡略化して紹介及び考察します。

 表情分析の手順は、顔の動きの記述、顔の動きの意味付け、解釈という3段階があります。本稿では、消費者の表情と購買との関係性を明らかにすることを目的とした調査を仮定して説明します。

◆表情認識AIが結構できること――顔の動きの計測

(1)顔の動きの記述

 様々な消費者がA商品とB商品の二つを見て、どちらかを購入していきます。各商品を見ているときの消費者の顔の動きを表情分析の有資格者を持つ分析者が観察します。

 例えば、A商品を見ているときの一人目の消費者の顔の動きは「上まぶたが引き上げられている」、B商品のときは「眉が中央に引き寄せられる」+「唇が上下からプレスされる」、A商品を見ているときの二人目の消費者の顔の動きは…と言った要領で、消費者の全ての顔の動きを記録していきます。必要に応じてそれぞれの顔の動きの強さや顔に現れている時間も記録します。

(2)顔の動きの意味付け

 次にそれぞれの顔の動きについて感情などの意味付けをします。この意味付けのプロセスは、主にこれまでの科学実験から明らかになっている知見を利用します。

 例えば、「眉が中央に引き寄せられる」「唇が上下からプレスされる」動きは怒りあるいは熟考、「上まぶたが引き上げられる」は驚き、です。

 この(1)(2)の作業を人間の分析者が行うと分析の難易度によりますが、1分の表情動画に100分ほど時間がかかります。膨大な時間を消費する作業なのです。

 しかし、これらの作業を表情認識AIはリアルタイムでやってのけてしまいます。様々なメーカーが販売している表情認識AIのカテゴライズ可能な感情数は、おおむね幸福・軽蔑・嫌悪・怒り・悲しみ・驚き・恐怖の7種類です(中立を含めれば8種類あります)。

 ただ、まだ感情数に限りがあり、複合的な意味を持つ顔の動きを7つの感情に自動変換してしまうため、顔の動きの意味付けを誤解してしまうことがあります。例えば、「唇が上下からプレスされる」動きは怒りあるいは熟考の可能性がありますが、AIの出力結果だけを見ると、この動きが怒りとカテゴライズされてしまうことがあります。

 したがって現状においては、(1)(2)の作業を表情認識AIに任せつつも、AIの識別範囲を超える7表情以外の感情に関わる顔の動き(例えば、罪悪感・誇り・畏れ・欲望・恥など)や複合的な意味を持つ顔の動き(熟考・顔で行われる各種ジェスチャーなど)の意味付けには専門家の分析及びチェックが必要です。

◆もし、AIが感情の解釈までしてくれるようになったら……?

(3)解釈

 最後に、消費者の感情や認知過程の解釈をします。つまり、なぜ消費者はそのときその感情を抱くのか? を考える段階です。感情の原因を探る、いわゆる、心を読む、という段階と言えます。

 商品の売れ行きと全ての表情データを集計します。A商品よりもB商品が売れたとしましょう。またB商品を見ているときの消費者の顔の動きは熟考表情が大半で、A商品を見ているときの消費者の顔の動きは驚き表情が大半だったとします。

 したがって、商品購買と熟考表情とには関連がある、もっと言ってしまえば、驚きを引き起こす商品よりも熟考を引き起こす商品の方が売れる、という推論を下すことになります。