Metaの人工知能(AI)研究所であるMeta AIのFundamental AI Research(FAIR)チームは、手描きのキャラクターをアニメーションに変換するオープンソースプロジェクト「Animated Drawings」を2023年4月14日にリリースしました。Animated Drawingsは無料でブラウザから体験することができ、頭と体と手足がハッキリしていれば、かなり雑な落書きでも超簡単に動かすことができます。また、Animated Drawingsはオープンソースで公開されているため、GitHubからダウンロードしてより詳細なオプションを設定することも可能です。

Animated Drawings

https://sketch.metademolab.com/



First-of-its-kind open source project brings your animated drawings to life

https://developers.facebook.com/blog/post/2023/04/13/meta-os-animated-drawings/



A new, unique AI dataset for animating amateur drawings

https://ai.facebook.com/blog/ai-dataset-animating-kids-drawings/

FAIR Animated Drawings: Home

https://fairanimateddrawings.com/site/home

GitHub - facebookresearch/AnimatedDrawings: Code to accompany "A Method for Animating Children's Drawings of the Human Figure"

https://github.com/facebookresearch/AnimatedDrawings

Animated DrawingsはMeta AIのFAIRチームがリリースしたアニメーション作成プロジェクトで、オブジェクト検出モデル、姿勢推定モデル、画像処理ベースのセグメンテーションを用いることで、手描きのイラストをデジタルに処理してアニメーションに変換しています。Metaはこのプロジェクトについて、「創造力を通じて人々とコミュニティをつなぐ機会と見なしています」とビジョンを語っています。

Animated Drawingsがどういうサービスなのかは、ブラウザで試せるデモからアニメーションを作成してみるとよく分かります。まず、サイトトップから「Get Started」をクリック。



次に、アニメーションにしたいキャラクターのイラストをアップロードします。この時、「手足が体に重なっていないこと」「シワや破れのない白い紙に描かれていること」「暗すぎたり影が入ったりしていないこと」「個人を特定できる情報、不快な内容、他人の著作権を侵害する絵ではないこと」というルールを守る必要があります。あらかじめ用意された「SAMPLE DRAWINGS」から選ぶこともできるので、王冠をかぶった少女のようなイラストを選択したら「Next」をクリック。



「Meta AIの研究に協力することを同意しますか？」というメッセージと共に、入力された内容が人間の研究者に見られる場合や、学術論文やプレゼンテーション等に用いられる場合がある旨が示されます。詳細な規約にいては「ABOUT THIS DEMO」から見ることができます。「Agree」をクリック。



枠を動かして、キャラクターの範囲を確定します。ブラウザのAnimated Drawingsは1キャラクターのみを動かすことができるため、複数のキャラクターが描かれた絵の場合は、トリミングして1キャラクターのみを指定します。指定できたら「Next」をクリックして次に進みます。



次に、読み込んだイラストに線を付け加えたり、一部を消したりといった簡単な変更ができます。絵の変更が完了したら「Next」。



最後に、アップしたイラストのパーツの位置を確定していきます。線でつながった丸をドラッグ＆ドロップすると動かすことができるため、頭の中心、左右の耳や目、手首、肘、肩、尻、膝、足先の位置をイラストに合わせて調整します。設定が完了して「Next」をクリックすると、イラストを数秒間スキャンします。



すると、腕をぐるぐる回しながらスキップするようなアニメーションが生成されました。



どのようなアニメーションが作成されるのかは、以下のムービーを見るとよく分かります。

Meta AIの「Animated Drawings」で落書きをアニメにしてみた - YouTube

アニメーションの動きは記事作成時点では「ダンス」「おもしろい動き」「ジャンプ」「歩く」など32種類が用意されているため、アニメーションを選択することでアップロードしたキャラクターにさまざまな動きをさせることができます。



よりしっかり描かれたキャラクターでもアニメーションにできるのか、マンガ「とにかくイジメたい朝日奈さん」の主人公である「朝日奈ひかる」を読み込ませてみました。



パーツの位置を細かく設定。



アニメーションを作成してみた結果、「歩く」アニメーションだと足の動きにかなり違和感がありましたが、「踊る」アニメーションだとキュートに手足を動かすところを見ることができました。



実際に朝日奈ひかるをさまざまな動きのアニメーションにしたムービーは以下から見ることができます。

Meta AI「Animated Drawings」でマンガ「とにかくイジメたい朝日奈さん」のキャラクターを踊らせてみた - YouTube

Animated Drawingsの開発をスタートした時、画像の指定した範囲を認識するバウンディングボックスや関節位置の設定などを学習するためのデータセットが存在していなかったため、2021年ごろからAnimated Drawings Demoを開始して、デモを体験する人がアップロードしたデータからモデルを作成し、ユーザーの許可を得てデータセットとして積み重ねていく方式を採ったそうです。Animated Drawings Demoでは最初の数カ月で160万枚を超える画像がアップロードされ、その中には指定したルールを超えたものも多かったため、より包括的なツールが望まれていることをMetaは認識したと語っています。

また、MetaはAnimated Drawingsのプロジェクトを通して、「新世代のクリエイターに刺激を与えるほか、人間の想像力を絵から分析して理解する研究などの助けになることを願っています」と語っています。

Animated Drawingsはブラウザでデモを体験できるほか、GitHubからインストールすることも可能です。インストールして作成する場合、背景透過GIFを作成したり、複数のキャラクターを同時に動かしたり、動くキャラクターとは別に背景を追加したりと、さまざまな追加オプションを利用可能となっています。各オプションの設定方法などは、GitHubページの「README.md」から見ることができます。

GitHub - facebookresearch/AnimatedDrawings: Code to accompany "A Method for Animating Children's Drawings of the Human Figure"

https://github.com/facebookresearch/AnimatedDrawings



全11話フルカラー＆描き下ろしマンガ＆先行収録もあり＆秘蔵のプロト版も読める「とにかくイジメたい朝日奈さん」単行本をリリースしました - GIGAZINE

1枚の画像からアニメを作れる動画生成AIアプリ「Animai」をStable Diffusion開発元が公開したので使ってみた - GIGAZINE

Stable Diffusion開発元が3Dアニメーション生成AI「Stability For Blender」を発表、アニメーション生成や3Dモデルのテクスチャ生成などが可能 - GIGAZINE

Metaが動画生成AI「Make A Video」発表、空飛ぶスーパードッグや自画像を描くテディベアの動画を公開 - GIGAZINE

無料で使えるムービー生成AI「Text2Video-Zero」が登場したので実際に使ってサクッとムービーを作ってみた - GIGAZINE

「自動ムービー編集」「ゲーム開発」「文章校正」「論文要約」などGPT-4がわずか3週間で生み出した14の画期的ツール - GIGAZINE