ディープラーニング&人工知能(AI)技術を使って、自動でムービーシーンを分析して主人公を識別して、その主人公ごとに最適化されたムービーを自動生成したり、3Dオブジェクトを合成してSFさながらのムービーを簡単に作ったりできる、とんでもない機能を持ったムービー自動生成アプリ「Story Remix」をMicrosoftが発表しました。Story RemixはWindows 10の次期大型アップデートと同時に配布される予定です。

Introducing Story Remix in Windows 10 - YouTube

赤ん坊を抱えたまま、子どもを追いかけるお父さん。



我が子のムービーを撮影しているようです。



ムービー作成アプリ「Story Remix」を起動させ……



撮影したムービーを読み込ませました。



自動でハイライトシーンが作成され、タグ付け&サムネイル化されます。



2人の子どもの世話をしながらムービーを作っているお父さん。



ムービータイトルを入力したら、「Remix」ボタンをタップ。



フォントが変更されました。



「できたよ!」



完成したムービーは、遠くのお母さんに送る模様。



文字を書き込んで……



母親のアイコンを選択して共有すると……



お母さんの端末にシェアされました。



お母さんは職場にいながら、自宅の出来事をすぐに確認できます。



一方、仕事中のお母さんは、犬がシャワーを浴びる様子を撮影してます。



撮影に使っている端末はiPhone 7 Plus。



iPhone 7 Plusでスローモーションムービーを撮影して、Story Remixに取り込みました。Story RemixではiOSやAndroid端末で撮影したムービーの編集も容易です。



タイトルを入力したり、写真やムービーを並べ替えたり……



さらにはGrooveのBGMをムービーに取り込むことも可能。



作成したムービーは、あっという間にSNSに投稿されました。



Story Remixでは、「Windows 10 Creators Update」で追加された3D機能を取り扱うことも可能。「Remix 3D」や「Paint 3D」などの3Dコンテンツをムービー編集に利用することも可能です。



ダウンロードした3Dコンテンツを編集して利用可能です。





ムービー内に3Dのティラノサウルスを貼り付けると……



映画のようなワンシーンに早変わり。



逃げるように走るシーンを別で撮影して……



3Dティラノサウルスと合成。



背景を選んで、編集画面内にドラッグ&ドロップすると……



太古の地球でティラノサウルスから逃げ回るというシーンが完成。



クラウド・ネイティブなStory Remixでは、同じムービーを複数人で同時に編集することも可能です。



「できたわ」



完成したムービーを、タブレットを使ってみんなで視聴。



SF映画のような映像を、簡単に作り出せます。



ムービーはSNSで共有可能。ムービーを見た人から「いいね」をゲットしました。



Story Remixは、専門的なムービー編集技術を持つプロだけでなく、誰もが簡単にムービーを作成でき、誰もが持っている「創造性」をかき立てるクリエイターズツールというわけです。



以上のようなムービー編集機能を持つStory Remixですが、本当にすごいのはディープラーニング&AI機能を使った自動編集&加工機能です。自動編集機能で作業する様子は、以下のBuild 2017のプレゼンテンションムービーで紹介されています。

Microsoft debuts Windows Story Remix to edit and organize your photos and videos - YouTube

Story Remixではライブラリに登録した写真やムービーを、ディープラーニング技術を活用した画像認識機能によって分析、分類できる機能が搭載されています。



例えば、サッカーのムービーをAIを使って自動編集すると以下の様なことが実現可能です。



ペンツールで画面に書き込んだ「See ya!」という文字をある選手に紐づけすると……



ムービーが再生されると、この選手を追いかけるように文字がついて回ります。



Story Remixではムービーのハイライトシーンを自動で検出できるだけでなく、登場する人物を識別できます。



また、ムービーの登場人物の1人を指定して、その人物を「スター(主役)」にしたムービーを自動編集することも可能。



スターに1人の選手を指定すると、その選手が主人公のムービーに編集されました。



また、BGMをAIに選ばせることも可能。



Grooveで音楽のジャンルを選択すれば、ムービーにぴったりのBGMを選んでくれます。



また、Remix 3Dの豊富な3Dオブジェクトをムービーに組み込むことも可能。



火の玉の3Dオブジェクトを選択して……



ムービー内にドラッグ&ドロップすると……



火の玉シュートの完成。ムービーを再生すると、ボールは火の玉となってゴールネットに突き刺さりました。







さらに、ゴールネットを揺らしたボールを、爆発させる演出も可能。「爆発」に関する3Dオブジェクトを表示させて……



一つを選択して、先ほどと同様にムービーに放り込むと……



炸裂した火の玉シュートは……



地面で爆発しました。



なお、同じイベントを複数人で撮影した場合、それらのムービーをStory Remixに取りこめば、カメラアングルを変更した別カットシーンを豊富に組み込んだムービーを作ることも可能。カット割りまですべてAIが自動生成してくれるので、プロの編集者が作る手の込んだムービーを、お手軽に作成することも可能だとのこと。

AI機能を使ってムービーを編集できるStory Remixは、無料アプリとしてWindows 10の次期大型アップデート「Fall Creators Update」に搭載される予定です。