Stable Diffusionなどの事前学習済みモデルに対して、輪郭線や深度、画像の領域区分(セグメンテーション)情報などを追加して出力をサポートする技術が「ControlNet」です。このControlNetを使うことで、別途に読み込ませた画像に写っている線画や人の姿勢などを出力結果に強く反映させることが可能です。このControlNetを複数使用する「Multi ControlNet」で実写の映像を忠実にアニメ化したムービーが、オンライン掲示板のRedditで公開されました。

I transform real person dancing to animation using stable diffusion and multiControlNet : r/StableDiffusion

https://www.reddit.com/r/StableDiffusion/comments/12i9qr7/i_transform_real_person_dancing_to_animation/



Stable DiffusionとControlNetを合わせて使うことで、ポーズや構図を高い精度で指定することが可能になります。ポーズや構図をどれだけの精度で出力画像に反映できるのかについては、実際にControlNetを使ってみた以下の記事を読むとよくわかります。

ポーズや構図を指定してサクッと好みのイラスト画像を生成しまくれる「ControlNet」＆「Stable Diffusion」の合わせ技を試してみたよレビュー - GIGAZINE



Redditで公開されたムービーは以下から見ることができます。左上にはControlNetで追加された実写のダンス映像が流れており、アニメ映像も全く同じ構図と振付で踊っています。

画像生成AI「Stable Diffusion」とmulti ControlNetで実写映像を自動でアニメ化したムービー - YouTube

このムービーを公開したユーザーのneilwong2012さんによると、4つのControlNetを使って生成しており、パラメーターを調整しているとのこと。アニメは非常に滑らかですが、これは背景が固定されていることが大きく功を奏しているとneilwong2012さんは述べています。また、アニメ化に使ったという「animeLike25D」というモデルデータは、ノイズ除去強度が低くても実在の人物をキレイにアニメ化できるのが特徴だそうです。ただし、neilwong2012さんによると、animeLike25Dは激しく体を動かすような映像をアニメ化するのには向いていないとのこと。

neilwong2012さんは他にもYouTubeでMulti ControlNetを使ってアニメ化した映像を公開しています。例えば、リック・アストリーの「Never Gonna Give You Up」のMVをアニメ化した作品が以下。

《Never Gonna Give You Up》AI remake - YouTube

3DCGアニメ映画「アナと雪の女王」でエルサが「Let It Go」を歌うシーンを2Dアニメムービーにするとこんな感じ。

《Let it go》 AI remake - YouTube

ドラマ「ゲーム・オブ・スローンズ」の一場面をアニメ化したものが以下のムービー。1つの画面にたくさんの人間が映るシーンやドラゴンが空を飛ぶシーンでも、ちゃんとアニメに変換することに成功しています

《Game of Thrones》 AI animation - YouTube

VOCALOID曲「ポジティブ☆ダンスタイム」の踊ってみた動画をアニメ化するとこんな感じ。元のムービー中に出てくる書き文字の演出は、Stable Diffusionを介することで謎の文字らしきエフェクトとして出力されています。また、ダンスの動きが激しいためか、アニメ中のキャラクターが着ている服の動きに違和感を覚える瞬間もありました。

【AI animation】ポジティブ☆ダンスタイム (3d to 2d) - YouTube