画像の解像度を「2倍」にするPhotoshopの新機能「スーパー解像度」の使い方&仕組みはこんな感じ

Photoshopには、RAWファイル現像プラグイン「Camera Raw」が付属しています。2021年3月にリリースされた「Camera Raw3.2」には、カメラで撮影した画像の解像度を2倍にする機能「スーパー解像度」が追加されているので、実際に使ってみました。
新機能「スーパー解像度」の活用方法
https://blog.adobe.com/jp/publish/2021/03/10/cc-photo-from-the-acr-team-super-resolution.html
実際に「スーパー解像度」を使って、画像の解像度を2倍にしてみます。まずは、Camera Rawで編集したい画像のRAWファイルを読み込みます。なお、「スーパー解像度」は記事作成時点では、最大で長辺6万5000ピクセル、あるいは総画素数500メガピクセルまでの画像に対応しています。

次に、右クリックメニューから「強化」を選択します。

すると、「強化のプレビュー」ダイアログが表示されるので、「スーパー解像度」にチェックを入れ、「強化」をクリックすれば処理が始まります。

しばらく待つと、「(元のファイル名)強化.dng」と名付けられたRAWファイルが生成されるので、後は通常のRAWファイル同様に保存したり、Photoshopで編集したりできます。今回はオンボードグラフィックを搭載したノートPCで「スーパー解像度」を使ってみましたが、画像処理に約9分かかりました。なお、Adobeによると「スーパー解像度」はGPUを多く使う機能であるため、高性能なGPUを搭載しているPCなら数秒で処理が完了するとのこと。

「スーパー解像度」の適用前(上)のファイルサイズは56.1MBでしたが、適用後(下)は437MBと、ファイルサイズが約8倍になっています。

「スーパー解像度」の適用前(左)と適用後(右)の画像の一部を拡大して比較するとこんな感じ。適用前は白いドットの周囲がにじんでいますが、適用後は実際の見た目に近い自然な仕上がりです。
◆「スーパー解像度」の用途
「スーパー解像度」を開発したエリック・チャン氏によると、「スーパー解像度」は鳥や危険動物などの「近づくのが難しい被写体を遠くから撮影した画像」を後からトリミングする場合や、解像度の低いカメラで撮影した写真を看板やポスター用に編集する際に使うことを想定しているとのこと。

チャン氏は「全ての画像に対して『スーパー解像度』を適用する必要はありません」と述べています。例えば、以下のような解像度の高さを求められない画像には「スーパー解像度」を適用する必要はありません。

◆「スーパー解像度」の仕組み
スーパー解像度は、機械学習を用いて開発されています。開発チームは、以下のように「センサーが認識した光の情報(左)」と「データとして出力される画像(右)」をAIに入力することで、「あるピクセルの周囲のピクセルが、そのピクセルに影響を及ぼす関係性」を学習させました。この学習には畳み込みニューラルネットワーク(CNN)を用いたとのことで、チャン氏は「機械学習と聞くと、複雑な事に感じるかも知れません。しかし、ある意味では子どもに教えるのと似ています」「いくつか学習の筋道と十分な量の例を与えると、少し時間をおくだけで、あとは自分で学習を進められるようになります」と述べています。

以下は、学習初期(左上)から最終段階(右下)までの学習過程を示しています。学習初期の機械学習モデルが生成する画像は真っ暗で何も見えていませんが、学習が進むにつれて画像がクッキリとしていくことが確認できます。

学習の最終段階はこんな感じ。基準となる画像(左)と機械学習モデルが生成する画像(右)がほとんど同一の画像に見えます。

上記のような学習過程を経て、RAW画像の解像度を2倍にできる「スーパー解像度」が開発されたとのことです。
