自然言語処理と画像生成を組み合わせて、与えられた言葉から自動でイラストや写真を生成するAI画像ジェネレーター「DALL・E」の改良版「DALL・E 2(ダーリー2)」が登場しました。高解像度・低レイテンシで、新機能として既存の写真の一部領域を指定して編集を行う「inpainting」が加わっています。

DALL·E 2

https://openai.com/dall-e-2/

OpenAI’s DALL-E AI image generator can now edit pictures, too - The Verge

https://www.theverge.com/2022/4/6/23012123/openai-clip-dalle-2-ai-text-to-image-generator-testing

「DALL・E」は、「バイクに乗るピカチュウ」「アボカドの椅子」のように入力されたフレーズをもとにイラスト・写真を生成するジェネレーターです。研究者のPrafulla Dhariwal氏は、「DALL・Eは文章生成言語モデルGPT-3のアプローチを画像生成に応用しただけです」と述べています。

「バイクに乗るピカチュウ」「アボカドの椅子」など言葉から自動でイラストや写真を生成するAI「DALL・E」 - GIGAZINE



「DALL・E 2」は、人工知能研究団体・OpenAIが2021年に発表したコンピュータービジョンシステム「CLIP」をベースに作られています。

OpenAIが開発した画像認識AI「CLIP」の思考の特徴とは？ - GIGAZINE



公式サイトでは、実際にDALL・E 2でどういった画像が生成されるのかというサンプルが公開されています。

たとえば「宇宙飛行士」「馬に乗る」「写実的なスタイルで」という単語からは以下のような写真が生成されます。



こちらに駆けてくるかのような構図も。



そういうアート作品として作られたかのようですが自動生成です。



これが「宇宙飛行士」「馬に乗る」は共通で「アンディ・ウォーホル風」だと以下のようになります。





「inpainting」のサンプルも公開されています。たとえばベースになる写真は以下。



窓際の領域を指定して編集し、ソファを追加。普通の写真加工でも同等のことができますが、自動生成というのがポイント。



部屋の中央を加工した例。



さらに、既存の絵からバリエーションを生み出すこともできます。これはフェルメールの「真珠の耳飾りの少女」。



バリエーション例その1。構図とモチーフはそのまま、ターバンがよくわからない形状の帽子になっていて、「ぼんやりと覚えていた絵を再現した」みたいな感じに。



バリエーション例その2。ターバンは青のままですが左右反転。耳飾りは真珠ではない、よくわからないものに。



なお、この「DALL・E 2」は「DALL・E」と同様、研究者向けに提供されるもので一般人が利用することはできませんが、OpenAIはサードパーティアプリで利用できるようにしたいという考えを示しています。