Premiere Proに今後実装されるAI機能の紹介動画

動画編集ソフト2強時代へ

4月13日から17日までの5日間、米国ラスベガスにて世界最大の映像機器展示会、NAB2024が開催された。多くのメーカーがこのタイミングに合わせて新製品を発表してくるが、今回は動画編集ソフトにフォーカスして、発表のポイントをまとめてみたい。

動画編集ソフトのシェアについては、Adobe Premiere Proがトップであるというデータは数多く見かけるところだ。一方で米国の映像クリエイター向け情報サイト「CineD」の調査によれば、DaVinci Resolveが半数を超える結果となっている(アンケート中のView Resultsをクリック)。映像業界と一口に言っても様々なセグメントやレイヤーがあるわけで、各分野ごとにメインストリームとなるソフトが違うという事だろう。

そんなわけで、Adobe Premiere ProとBlackMagic Design DaVinci Resolveの動向を押さえておけば、多くの人にメリットがあると思われる。

Firefly以外のAIに対応するPremiere Pro

昨今のAdobeの強みは、自社の生成AI「Firefly」があり、著作権的にもクリアな学習ソースでクリエイターからの支持も得られているというところだろう。Adobe Expressなど、クリエイターやデザイナー以外の人達にも、AIを活用してデザインワーク領域を拡張する取り組みを進めている。

同社のPremiere ProにももちろんFireflyの恩恵があり、すでに音声文字起こしによるテキスト編集機能などで業界をリードしてきた。アップデートはほぼ2カ月に1度行なわれており、最近も今年3月に新バージョン24.3がリリースされたばかりである。一方NAB2024では、今年導入予定の機能が発表された。したがってこれからご紹介する機能は、まだ現在配布中のベータ版にも含まれていない。

現在のFireflyは静止画の生成が可能だが、動画の生成についてはまだ開発中である。Bloombergが報じたところによれば、米Adobeでは動画生成モデルの学習用素材として、動画コンテンツの収集を開始、一部有料で動画を買い取るようだ。

動画の学習ソースも著作権がクリアされたものを使うという事ではあるが、現在収集中ということは、まだ開発までには時間がかかるという事でもあり、すでに公開中の他社の動画生成AIに遅れをとる事になる。

また動画生成AIと一口に言っても、動画表現自体が多岐に渡っており、1つのAIがすべての表現ニーズをカバーできるとは限らない。そこでAdobeは、自社製にこだわらず他社ともパートナーシップを組んで、選択できるようにするという方向性になったようだ。現在対応予定の生成AIは、自社のFireflyのほか、OpenAIのSola、RunwayML、Pika Labsの4つ。提供予定の機能として、「生成拡張」「オブジェクトの追加と削除」「Bロールの生成」の3つが紹介された。

「生成拡張」は、長さが足りないカットの続きを自動生成してくれる機能だ。実際プロの現場で長さが足りないなんてことがあるのか、と思われるかもしれないが、音楽の都合であと10フレーム欲しいとか、トランジションをかけるのにあと1秒足りないといったことはあり得る。こうした後から修正がかかった場合、素材からもう1回カラーグレーディングしたり、合成をやり直したりしている時間も予算もないという事もあるだろう。

またこうした微妙な修正の場合、オリジナルを作った編集者のスケジュールをもう一度おさえるのは困難なので、別の編集者に依頼するというのはよくある。編集者が変われば元データが手に入らないため、同じようなカラートーンが作れないということもあり得る。こうした場合のお助けツールとしては、プロだからこそ使い道が多いように思える。

「生成拡張」使用の流れ

「オブジェクトの追加と削除」は、静止画ではすでに実現しており、一般的にはGoogleの「消しゴムマジック」や、PhotoShopの「生成塗りつぶし」として知られている。これを動画で実現するわけだが、動画は文字通り位置が動いているので、オブジェクトトラッキングとの合わせ技となる。

「オブジェクトの追加と削除」のイメージ。宝石が増えた

動画としての連続性や、カラートーンやライティングと合うかといったところが注目ポイントになるだろう。もちろんテキストプロンプトで指示もできるので、それでどれぐらいカバーできるか、使い手側の能力も問われるところだ。

モノを差し替えるというのはかなり派手な機能だが、実際には削除のほうが使い出がある。撮影現場での「見切れ」がある場合、これまではカットを拡大して凌いでいたが、拡大すると前のカットとサイズ感が合わなくなるという事もあった。こうした小さい修正がAIで可能になるのは、小さくない話である。

「Bロールの生成」は、そもそもBロールという言葉から説明が必要だろう。一般的に映像は絵に音が付いているメイントラックを繋いで行くわけだが、これがAロールである。一方Bロールは、その上にかぶせていくカットで、説明のために入れたり、あるいはしゃべりのジャンプカットを隠すために挿入される。編集技法的に言えば、ビデオオンリーのインサートカットである。

無関係の映像は入れられないので、本来ならば本編撮影時に同じ環境で撮っておくのが一番いいのだが、編集時に急遽必要という判断になることもある。こうした場合に撮り直しはできないので、AIで生成させようというわけである。

ただこれはフルの映像を生成させることになるので、プロンプトで指示することになる。もっともこうしたBロール生成は、なにも編集ソフトに組み込まれなくても、どのみち動画生成AIサービス単体で利用されるだろう。

テキストから動画生成

編集ソフトに組み込まれる意味としては、参考カットとしてAロールの映像を参照できるのかというところだ。現在公開されているプロモーション動画では今のところ判然としないが、それができないとトーンが合わないので、利用価値が下がるだろう。

生成AIは、著作権の問題もさることながら、フェイク画像や動画生成といった悪用も考慮に入れなければならない。写真はすでに合成が簡単であることが認知されたが、動画はまだ信憑性が高いと思われている。

Adobeではコンテンツ認証情報より、こうした問題に対応しようとしており、今年からカメラにこの技術が搭載され始めている。またFireflyの生成画像にもデータが含まれている。いよいよAIが動画対応ということで、ますますコンテンツ認証情報は重要になってくるだろう。

生成より現場ニーズへ振ったDaVinci Resolve19

「DaVinci Resolve 19」Editページ

例年NABで大量の新製品を発表するBlackMagic Designだが、今年はおそらく最大ではないかと思われる大量のハードウェア製品が発表された。同時にDaVinci Resolveもバージョン19となり、実に100以上の機能アップグレードがある。とても全部はご紹介できないので、多くの人に関係しそうな進化点のみをピックアップする。現在パブリックベータ1が公開されており、一部の機能は試せるようになっている。

DaVinci Resolveは素材管理、編集、特殊効果、MA、カラーグレーディングといった専門ツールがすべて一体となっており、各パートの全然違う職種の専門家なのに使うソフトは同じ、という環境を構築している。Adobeで言えば、Premiere ProとAfterEffectsとAuditionとMediaEncorderが1つになっているようなものである。

「DaVinci Resolve 19」Colorページ

そんなDaVinci Resolveに、全く新しい機能が追加された。「Live Action Replay」は、ポストプロダクションで使うというより、ライブ中継で使う機能である。マルチカメラ映像をNASに収録し、そのファイルをDaVinci Resolveでアクセスし、リプレイしたいところを探してATEM(同社のスイッチャーシリーズ)経由でポンだしできる。専用のコントローラも新たに提供される。

これまで多くのリプレイ装置は、専用の収録機とコントローラが一体化した商品として提供されてきた。それをBlackMagic Designでは、同社のHyperDeckと専用コントローラ、ソフトはDaVinci Resolveを使うことでローコストで実現しようというわけである。

元々のDaVinci Resolveにはマルチカメラ収録素材の編集機能があり、複数ソースを同時に走らせてライブスイッチングのように切り換えて編集できたので、そのエンジンを使って別の機能に拡張したということだろう。スポーツライブ配信向けの機能だが、マルチソース上で同じ時間上に共通のPOI(Point of Interest)を打ってキャプチャできたり、リプレイで出した部分をタイムラインに追加していくこともできるようなので、マルチカメラ編集のワークフローは結構変わりそうだ。

DaVinci Resolveの独自AIエンジン「DaVinci Neural Engine」関係のアップデートとしては、オブジェクトトラッキングを行なった情報を元に、オーディオを自動パンニングできる機能が追加された。映画のアフレコなどでは、人物の動きに合った方向から声が聞こえるというパンニング作業を手動で行なう必要があったが、それを自動化していくわけだ。また「Music Remixer FX」機能は、挿入された音楽に対して、ボーカル、ドラム、ベース、ギター、その他に分解して、各ソースのレベル調整ができる。

映像関係の機能としては、Adobe同様オブジェクト除去ができるようになる。またシーン内のピクセルを使って不要部分を隠す「パッチリプレイサー」も搭載する。さらに顔をAIで認識し、特定の部分、例えば唇だけにグレーディングやレタッチを行なったり、肌のスムージングもできる。

AIと編集機能という点では、以前から動画音声を文字起こしして、文字ベースで動画を編集する事はできた。ただ文字起こしウインドウはタイムラインと同期しておらず、文字起こしからタイムラインへ一方向にクリップを追加するだけだった。新バージョンでは、文字起こしウインドウとタイムラインの現在地が同期するようになった。文字起こしの文字部分をクリックすると、そこに該当するタイムラインの時間へジャンプするし、タイムラインを再生すると、文字起こしウインドウ側でもしゃべっている部分をポインタが追いかけていく。

文字起こしウインドウがタイムラインと同期するようになった

文字起こしウインドウで文章を選択すると、その部分がタイムライン上ではIN点とOUT点で範囲指定される。テキスト上で選んでタイムライン側をカット、ということもできるようになった。また複数の話者がいる場合、話者を区別できるようになった。文字起こし編集機能としてはPremiere Proのほうが先行していたが、ようやく同水準に追いついたと言える。

AIによる音声分離機能も、少しずつ手が入っている。これまで単純にON・OFFするだけだったVoice Isolationも、背景ノイズとの配分量が決められるようになった。また音声レベルの自動調整を行なうDialogue Levelerも、単にスライダーで量が決められてあとは耳で聞くしかなかったが、新しくUIが追加されて視覚的に効果が確認できるようになった。

視覚的に効果が把握できるようになったDialogue Leveler

DaVinci Resolve最大の強みであるカラーページでは、新しく6軸でカラーグレーディングできるカラースライスというモードが追加された。実際には6軸+スキントーンがあるので、7軸である。あらかじめ影響する色範囲が「切って」あるので、目的の色の部分だけを調整する事ができる。

新しいグレーディングツール「カラースライス」

そのほかAppleのM系プロセッサやNVIDIA、AMDのグラフィックスエンジンへの最適化が進み、速度向上が見込めるようだ。

なおソフトウェア上の具体的な操作と効果については、正式版のリリースを待って僚「窓の杜」で筆者が連載中の「はたらく人のためのDaVinci Resolve」の中でご紹介できればと思っている。

働く人のための「DaVinci Resolve」

総論

2023年はテキストも静止画もまさに生成AIに振り回された年だったわけだが、今年はいよいよその領域がビデオに拡がってくる。AI開発元が直接提供するサービスからは、実写では撮影できないクリップや、○○風アニメーション作品みたいなものが登場するのも、時間の問題だろう。

一方、作るという能力に関して元々困っていないクリエイター向けツールにおいて、AIをどう使うかということが課題になる。これに関しては、「仕事」ではなく「作業」をさせる、という明確な線引きが感じられる。AdobeもBlackMagic Designも、クリエイターが相手のビジネスなので、その点は慎重に対応しているように見える。

クエリエイターにとってAIは、仕事を奪いに来るテクノロジーではなく、手作業を減らして、もっと考える時間を与えてくれる存在であるべきだ。コンテンツで感動するのは人間であり、まず作り手が感動しなければ作れない。ここが変わらない限り、人間が主でAIが従という関係は変わらない。

とはいえ、編集ソフト組み込みの機能はそうであっても、生成AIを使ってコンテンツそのものを作ろうとする試みはなくならないだろう。そこが一番おもしろい、というか、興味本位の怖いもの見たさ的なところだからである。

クリエイターが戦っていく相手は、AIではなく、人間の好奇心なのだろう。