プロジェクションマッピングで「MRメイク」シミュレーションとは? コーセーと東工大が共同研究を国際化粧品技術者会連盟で発表
プロジェクションマッピングを用いてまるで実際にメイクをしているようなMR（Mixed Reality：複合現実）体験ができるメイクシミュレーション技術で、2023年9月4日〜7日にスペイン・バルセロナで開催された国際的な化粧品技術の研究発表会「第33回 国際化粧品技術者会連盟（IFSCC）学術大会」で発表。本発表は口頭発表応用部門におけるトップ10に選出された。
実際の顔を使った、よりリアルなメイク体験を生み出せないかという着想からプロジェクションマッピング技術に着目。メイクでは目や口といった表情による動きが大きい部分への投影が不可欠であるため、それらに対応できる高速投影技術を有する東京工業大学 渡辺義浩研究室との共同研究を実施。
さらに、狙った色をメイクとして反映させるために、当社にて肌の光反射特性を踏まえた色補正技術を開発。これらを組み合わせることで、動きのある顔上でも実際に化粧をしているような自然な仕上がりを実現できる没入感のあるメイクシミュレーターの開発に成功し、2023年1月に行われたCES2023にも出展した。
●発表の概要
●タイトル
プロジェクションマッピング技術による3Dデジタルメイクアップシステムで美しさを再発見する
Rediscovering your own beauty through a highly realistic 3D digital makeup system based on projection mapping technology
●発表者
●自分の顔にメイクを瞬時に投影できる「MR(複合現実)メイク」
メイクアップの魅力の一つは、色の組み合わせを楽しみ、自分に似合うものを見つけることにある。ファッションやトレンドによってメイクアップは移り変わるが、どのメイクが自分に似合うのかを判断するには自分の顔で試すことが重要であり、手間をかけずに短時間でたくさんのアイテムを試したいという要望は常に存在してきた。
これまでにもスマートフォンやタブレット上で動作するAR（拡張現実）メイクシミュレーターは存在しているが、よりリアルなメイク体験から納得できるアイテムの選択をするため、本研究ではプロジェクションマッピングを用いることで実際に自分の顔上にメイクを瞬時に投影できる、MR（複合現実）メイクの実現に挑んだ。
まず、実際の顔では目や口など、表情による動きが大きい部分へのメイク投影を自然に行う必要があるため、プロジェクションマッピングの高速追従技術を有する東京工業大学 渡辺義浩研究室との共同研究を行った。この技術をメイクシミュレーター用に最適化することで、ヒトがずれを感じると言われる6ms（msは1,000分の1秒）以内に投影画像を切り替え、自由な顔の動きに追従させることができる機能を実現した。
顔の動きに追従するMRメイクシミュレーション技術
さらに、どのような肌の色でも、実際のメイク時の色合いとずれが生じないように、投影した色と肌に反射して目に見える色との関係を分析し、独自の色補正モデルを開発しました。この色補正を適用することで、実際のメイクと見分けがつかないほどの精度を得ることに成功した。
●ARメイクシミュレーターとの比較
これらの技術を組み合わせたMRメイクシミュレーターを一般のメイクユーザーに体験してもらい、既存のARメイクシミュレーターと比較したところ、リアルさ、自然さ、商品カウンセリングにおける好ましさの点で優れた評価を得た。また、本シミュレーターでは数秒間でいくつものメイクを試すことができることから、新しい自己表現の可能性を感じたという評価も多く、自分ならでは美しさを再発見する機会にも繋がると考えている。
●今後の展望
今回開発したMRメイクシミュレーション技術は体験者が自分でメイクする手間もないことから、年齢や性別、これまでのメイク経験を問わず、どんなユーザーに対してもメイクを試す機会を提供できる。これにより、これまで気づかなかった自分ならでは美しさを再発見し、メイクや自己表現の楽しさを拡げることができる、とコーセーでは考えている。
本技術は2022年8月からコンセプトストア「Maison KOSÉ 銀座」にてビューティアトラクションとして展開しているメイクシミュレーター「COLOR MACHINE」に応用されており、今後も商品カウンセリングに活用するとともに、お客さまを拡げる活動への応用にも繋げていくとしている。
