画像AI「Stable Diffusion」の開発に携わったAIスタートアップのRunway Researchが、テキストからビデオクリップを生成する「Gen-2」を2023年3月20日に公開しました。

Gen-2 by Runway

https://research.runwayml.com/gen2

Generative AI’s Next Frontier Is Video - Bloomberg

https://www.bloomberg.com/news/articles/2023-03-20/generative-ai-s-next-frontier-is-video

Text-to-video AI inches closer as startup Runway announces new model - The Verge

https://www.theverge.com/2023/3/20/23648113/text-to-video-generative-ai-runway-ml-gen-2-model-access

今回発表された「Gen-2」でどのような映像が作れるのかは、以下のムービーから見ることができます。



「Gen-2」の前身は、Runway Researchが2023年2月に発表した、既存の動画から新しい動画を合成できるジェネレーティブAIの「Gen-1」です。「Gen-1」を使用すると、以下のようにお菓子の箱と水筒の動画を工場のような施設の映像にすることができます。



そして、今回発表された「Gen-2」ではこの機能がさらに発展し、テキストから映像を生成することができるようになりました。例えば、「砂漠の風景のドローン映像」とテキストで入力すると、荒涼とした風景の映像が出力されます。



「ニューヨークのロフトの窓からのぞく昼下がりの太陽」といった複雑な指示も可能です。同様のAIとしてはMetaの「Make A Video」やGoogleの「Imagen Video」などが先行していますが、Runwayはわずか45人のチームで開発されているという点で大企業のジェネレーティブAIとは一線を画しています。



デモクリップはいずれも3秒程度の長さで画質も荒く、フレームレートも低めです。また誰でも使えるわけではなく、これまでのところDiscord経由で登録して順番待ちリストに加えてもらう必要があります。Runwayの広報担当者によると、「Gen-2」は今後数週間のうちに幅広いアクセスが提供されるようになるとのこと。

また、RunwayのCEOであるCris Valenzuela氏はBloombergに、「『Gen-2』で生成された映像は無音ですが、将来的には音声も生成できるシステムを目指して、音声の生成に関する研究も行っています」と話しました。