カメラやセンサーで捉えた動きを架空の3Dや2Dのアバターに反映させてライブ配信を行うVTuber(バーチャルYouTuber)として活動するためには、専用のソフトやアプリを使う必要があります。Richさんが開発する「Kalidoface 3D」はウェブカメラさえあればブラウザから簡単にVTuberになれるウェブアプリで、無料で利用できます。

Kalidoface 3D - Face & Full Body Tracking

https://3d.kalidoface.com/

上記URLにアクセスすると、「Kalidoface」のロゴが表示され、しばらく待つと……



美少女の3DCGモデルが表示されました。ウェブカメラを接続した状態で、右下のカメラアイコンをクリックします。



ブラウザからカメラの使用許可を求められるので、「許可」をクリック。



すると、ウェブカメラに映る自分の動きに合わせて、3DCGモデルが動きます。初期状態であれば顔は動かず、動くのは腕や頭の傾きのみ。



右上の歯車アイコンをクリックすると、設定画面が表われるので、「Body Tracking Option」で「FACE/EYE」と「FULL BODY」をアクティブにすれば顔の表情も反映されるようになります。さらに、「Hide Camera Panel」のスイッチをオフにします。



実際にKalidoface 3Dを使うとどんな感じなのかは以下のムービーを見るとよくわかります。

ウェブカメラさえあれば美少女VTuberになれる「Kalidoface 3D」で受肉してみた - YouTube

「Hide Camera Panel」のスイッチをオフにすることで、ウェブカメラで捉えた顔のモーションがモニタリングされます。



右下にある画像アイコンをクリックすると、背景を変更することが可能。



以下のように背景をグリーンバックにすれば、ライブ配信ソフト上で合成して、本当にVTuberとして活動することもできそう。



また、以下のようにピクチャー・イン・ピクチャーとして表示することもできます。



Kalidoface 3DではVRM対応のモデルもアップロード可能。また、デジタルコードを使って他ユーザーとのボイス通話もできます。Kalidoface 3Dはそれなりにマシンパワーを使うようで、たまに動きがカクカクすることも。2D版であるKalidoface 2Dであればより軽量なので、環境に合わせて使い分けるのがよさげです。

Kalidoface - Live2D Face Tracking

https://kalidoface.com/