![[画像] 実写動画がゴッホの絵画風に!? - Adobe MAX 2021で公開された驚きの新技術](https://image.news.livedoor.com/newsimage/stf/6/d/6d969_1223_4045797f2fe7e794dc103e0c18e108f3-m.jpg)
●実写動画がゴッホの絵画風に!? ー Adobe MAX 2021で公開された驚きの新技術
Adobeが年に1回開催しているクリエイターのためのカンファレンス「Adobe MAX」には、「MAX Sneaks」という絶大な人気を誇るセッションがある。このセッションでは、Adobeが絶賛研究中の未来の技術が一足先にお披露目されるのだ。2021年のAdobe MAXは10月27日と28日の2日間にわたってオンラインで開催された。そこで本稿では、2日目のSneaksセッションで発表された9つの新技術を紹介しよう。
Adobe MAX 2021 | クリエイティブカンファレンス
なお、Sneaksセッションで発表されるのは「将来的に製品に組み込まれるかもしれない技術」とされている。過去には実際にCreative Cloudの製品に搭載されたものも少なくない。しかし言い方を変えれば、あくまでも研究段階であって製品化される保証もないという意味でもあるので、その点は注意いただきたい。
ビデオの人物を笑顔にする「Project Morpheus」
ビデオに写っている人物の表情や容姿を修正したい場合、通常であればフレームごとに1枚ずつフィルターをかけなくてはならず、膨大な作業量が必要になる。「Project Morpheus」を使えば、その作業を一瞬で完了することができる。
下のスクリーンショットでは、左が元の映像で、右がフィルターをかけた映像になっている。髭を生やし、表情が笑顔になっている。
静止画であれば、Photoshopのニューラルフィルターを使って簡単に表情を修正できるが、Project Morpheusはその動画版のような技術と言えるだろう。
複数の静止画からアニメーションを作り出す「Project In-Between」
「Project In-Between」は、2〜3枚の静止画を読み込ませると、その間の情報を自動で補完してアニメーションを作成してくれる技術だ。次のスクリーンショットでは、上の2枚が元になる静止画であり、下に大きく映し出されているのが「Project In-Between」によって作成されたアニメーションになっている。
この図ではわかりにくいが、実際には間に当てはまる複数のフレームが生成されて3秒ほどのアニメーションになっている。3人の人物が写った写真や、犬の写真からもアニメーションを作成できる様子が披露された。
ポーズから写真を探す「Project On Point」
ストックフォトから人物の画像を探す時に、イメージ通りのポーズをとっている画像を探すのは意外と難しい。例えば、「右手を水平に上げて、片膝を立てて座っている人」を探したい場合、どんなキーワードを使って検索をかければいいのだろうか。
そんな悩みを解消してくれるのが「Project On Point」である。「Project On Point」では、人物のイラストや画像をアップロードすると、その人物と同じポーズの人が写っている画像をストックフォトの中から探して一覧表示してくれる。
アップロードした画像に対しては、そこに写っている人物のポーズを解析してボーン（骨格）情報を抽出し、検索に使用するという。ボーン情報は自分で編集して、好きなポーズにして再検索することもできる。「Project On Point」を使えば、制作物のコンセプトに合った素材を探す時間が大幅に短縮できそうだ。
●
2次元画像に自然な影を付けられる「Shadow Drop」
2次元の画像でも、影をうまく書き込むことで立体的に見せることができる。Photoshopにはこの影付けが簡単にできる「ドロップシャドウ」と呼ばれる機能があるが、現時点ではその向きや濃さが不自然になってしまって実用に耐えないことがある。
「Shadow Drop」はAdobe Senseiを駆使してより自然な影を生成してくれる技術だ。下の図の植物などにはもともと影が無かったが、「Shadow Drop」によって自然な形の影が作り出されている。
影の濃さや光源の位置を変えることで影の向きや長さを調整することもできる。実写の素材だけでなくイラストやアニメーションにも適用することが可能。次の2枚のスクリーンショットは、影を付ける前の元のイラストと、「Shadow Drop」で影を付けたイラストである。影を付けたことで、ベッドが浮いている様子がよくわかるようになった。
手書きイラストをベクター画像にして色付けまで提案してくれる「Project Sunshine」
「Project Sunshine」は、手書きのイラストをベクター画像として読み込み、その上でさまざまな編集機能を提供してくれる新技術である。まず、次のような手書きのイラストを読み込ませる。
すると、下図のようにきれいなベクターアウトラインに変換される。その上で、右側に見えているような配色を自動で作り出して提案してくれる。この配色は、Adobe Senseiによって全体の調和を乱さないように計算して作り出されているという。
さらに、次のようにキャラクターに自動で影を付けることもできるという。光源を移動させて影の付く方向を調整することも可能だ。影はパス情報になっているので、手動で簡単に修正できるという。
影だけでなく、ハイライト表現などを付け加えることも可能で、この機能を使ってコミック調のイラストを装飾するデモも披露された。
簡単に文字を装飾できる「Project Stylish Strokes」
ここ最近のSneaksセッションではタイポグラフィーに関する新技術も複数公開されているが、今年発表されたのが「Project Stylish Strokes」である。これは、指定したテキストに対して、フォントのアウトラインを分析した上で全体に対して一気にタイポグラフィーを適用できるというもの。通常であれば1文字ずつトレースするなどの作業が必要だが、「Project Stylish Strokes」であればクリックひとつで完了だ。
例えば、次のような画像で、フランスをテーマに「Paris」の文字をして装飾したいとする。
「Project Stylish Strokes」を使えば、メニューからタイポグラフィーを選択するだけで装飾できる。
「Project Stylish Strokes」では、すべての文字のアウトラインを解析して、類似する線に対して同じアートワークを適用するようになっているという。次の例では、縦の線、横の線、斜め線、カーブ、下線などに個別にアートワークを割り当てて、自分でタイポグラフィーをカスタマイズしている。
アートワークには、静止画だけでなくアニメーションを使用することもできる。セッションでは、レオナルド・ダ・ヴィンチをテーマにした動くタイポグラフィーなどのデモもあった。
●
実写画像を一発でベクター化する「Make It Pop」
実写の画像からベクター画像をトレースするのは、地味ながら意外と骨が折れる作業だが、「Make It Pop」ならばAdobe Senseiの技術によって自動的に行うことができる。例えば、次のような画像を読み込ませたとする。
「Make It Pop」は境界線などを適切に判別して、次のようにベクター画像化してくれる。
「Make It Pop」の驚くべきところは、腕や体、背景など、各コンテンツの意味をきちんと理解した上で、個別にパス化してくれることである。そのため、ベクター化した後で人物だけ抜き出したり、腕だけ角度を変えたりといった編集が簡単に行える。
次のスクリーンショット、右の渦巻きのようなシェイプを人物の周りに巻きつけるように配置しようとしている例である。
渦巻きのチェイプを人物に重ねるように移動させると、人物の手前側に表示される部分と、後ろ側に表示される部分が判別され、次のように自動で立体的な配置が行われる。「Make It Pop」は背景とオブジェクトの違いを識別できているため、このようなことが実現できるのだという。
動画を自動で絵画風に描き換えられる「Project Artful Frames」
写真を絵画風に変換するツールはすでに出回っているが、「Project Artful Frames」はそれを動画に対して行うことができる新技術になる。それも、参考画像として読み込ませた絵画と同じタッチに仕上げてくれる。
次の例は、左が参考画像として読み込ませたゴッホの『夜のカフェテラス』で、右が変換元の動画である。
これに対して「Project Artful Frames」を使うと、次のようなゴッホの油絵風のアニメーションが作成される。
油絵だけでなく、水彩画や鉛筆画なども参考画像に使えるという。次の例は、参考画像に鉛筆画を読み込ませている。先ほどの例だと、参考画像と元動画はどちらも夜の街並みという似たシーンだったが、今度の例はまったく別のシーンである。
「Project Artful Frames」では、ここから女性が歩く鉛筆画風のアニメーションを作成した。
参考画像と元動画の組み合わせを工夫することで、さまざまな新しい表現が可能になるという。
好きなポーズの写真を作り出す「Project Strike A Pose」
ストックフォトで写真を探している時、「服装はこっちの写真がいいけど、ポーズはこっちのほうがいいな」と思うことはないだろうか。あるいは、モデルを依頼してひと通りの写真を撮り終わった後で、「あのポーズも撮っておけばよかった」といった経験がある人もいるだろう。
そんな悩みを解決するのが「Project Strike A Pose」だ。これは、人物の顔や服装などを維持したまま、ポーズだけ異なる新しい写真を作り出す技術である。下の例の場合、左が元の写真、中央がポーズのための参考写真、そして右が新たに生成された写真になる。
顔や服装は元の写真のままで、ポーズだけ参考写真のものに置き換わっている。次のように、後ろ向きの写真を作ることもできる。
この技術を使えば、1枚の写真からいろいろなポーズの写真を簡単に作り出すことができる。参考写真はストックフォトなどで探してきてもいいし、自分でポーズを取ってモデルになってもいい。イメージに適したポーズの写真が手元に無い場合などに威力を発揮するだろう。
以上が、Sneaksセッションのハイライトとなる。冒頭で触れたように、Sneaksセッションで紹介されたこれらの技術は、Adobe社内で研究および開発が進められている段階で、実際にいつ製品に搭載されるのかなどの予定は一切立っていないものだ。過去のAdobe MAXで発表されたまま、数年経ってもまだ実用化されていない技術はたくさんある。それでも、「もし実用化されたら」という期待でワクワクさせてくれるのが。Sneaksセッションの魅力だ。
特に今年の発表は実用的なものが多く、すぐにでも使いたいというデザイナーは少なくないだろう。面倒な作業をツールに任せることができるようになれば、その分だけ人間はよりクリエイティブなことに使える時間が増える。Creative Cloudで使えるようになる日が待ち遠しい。