日本のAI企業であるSakana AIが、日本を代表する美術のひとつである浮世絵を生成するAIモデル「Evo-Ukiyoe」と、浮世絵を彩色するAIモデル「Evo-Nishikie」を発表しました。

日本の美を学んだAI：浮世絵風画像生成モデルEvo-Ukiyoeと浮世絵カラー化モデルEvo-Nishikieを公開

https://sakana.ai/evo-ukiyoe/

浮世絵は世界的にも知名度が高く、モネやゴッホなど数々の巨匠に影響を与えたことでも知られています。しかし、既存の画像生成モデルは浮世絵を重点に置いた学習が行われていないため、多くの人が画像生成AIに浮世絵を出力させようとしたにもかかわらず、浮世絵らしい画像を生成することができませんでした。

今回Sakana AIが開発したEvo-UkiyoeとEvo-Nishikieは、同社が開発した日本語対応画像生成モデル「Evo-SDXL-JP」を基に、立命館大学アート・リサーチセンターが所蔵する浮世絵のデジタル画像2万4038枚による学習トレーニングを施したAIモデルです。

Evo-Ukiyoe開発のため、Sakana AIはまず具体例を与えて学習させるFew-shotプロンプティングという手法で浮世絵画像のキャプションを生成しました。そして、画像データとキャプションのペアを学習データセットとしてベースモデルのEvo-SDXL-JPをトレーニングし、LoRAによるファインチューニングを行いました。

こうして作られたEvo-Ukiyoeは桜、富士山、着物、鳥など、浮世絵でよく取り上げられる要素をプロンプトにすることで浮世絵に近い画像を生成できます。一方、パソコンやハンバーガーなど江戸時代には存在しなかったものをプロンプトに使うと、画像は生成できるものの浮世絵らしくないものになる可能性があります。



例えば、「植物と花がある。蝶が飛んでいる。最高品質の輻の浮世絵。」というプロンプトを使うと以下のようになります。なお、「輻の浮世絵」というフレーズは学習時に用いた特殊トークン、つまり特定の機能を付与するために通常の言葉とは異なる学習をさせたトークンです。



「鶴が庭に立っている。雪が降っている。最高品質の輻の浮世絵。」というプロンプトを使うとこんな感じ。



そして、以下は「着物を着ている猫が庭でお茶を飲んでいる。最高品質の輻の浮世絵。」というプロンプトで出力した結果です。



もうひとつの生成AIであるEvo-Nishikieは、Evo-Ukiyoeをベースとし、浮世絵画像にある虫食いやシミといったノイズを除去して作成した条件画像を学習データセットとしたモデルで、墨摺絵(すみずりえ)のような単色の浮世絵を多色摺(たしょくずり)の浮世絵、いわゆる錦絵にすることができます。

以下は、立命館大学アート・リサーチセンターに所蔵されていた単色の浮世絵(左)をEvo-Nishikieでカラーにしたもの(中央および右)です。



立命館大学アート・リサーチセンターの赤間亮センター長は「浮世絵をもとに創作活動を行う現代のアーティストが世界中にいます。Evo-Ukiyoeが作成する浮世絵は、そうしたアーティストの創作意欲をかき立てるだけでなく、一般の愛好者にとっても、古典としての本物の浮世絵の意味をより深く追求するきっかけを与えてくれるでしょう」と話しました。

なお、Evo-UkiyoeとEvo-Nishikieの開発者のひとりであるSakana AIのカラーヌワット・タリン氏は、AIくずし字認識アプリ「みを」に使われているモデルの「RURI(瑠璃)」を開発したことがある人物です。

AIくずし字認識アプリ「みを(miwo)」を使ってみた - GIGAZINE