スマホ写真を一眼レフ並みに改善するニューラルネットワーク技術。将来は雨でも「晴れの日」写真が残せる?

ニューラルネットワークを利用した画像処理は近年発達が著しい分野ですが、このしくみを応用し、スマートフォンなどで撮影した写真をDSLR(デジタル一眼レフ)画質に引き上げる技術を、スイス・チューリッヒ工科大学のコンピュータービジョンラボラトリーが開発しました。 

この技術は単純に、写真の画質を"DSLR品質"に見えるように加工するというためにニューラルネットワークを鍛えています。ただ、「みえるように」とあえて言うように、写真の画質そのものを一眼レフと同等レベルまで引き上げられるものではありません。

研究者らは、スマートフォンとDSLR、それぞれで撮影した同じ構図の写真セットを大量に用意し、それをニューラルネットワークに学習させるところから研究を開始、もとの写真をどのように仕上げればよいかを教え込みました。

必ずしも理想的ではないかもしれないものの、ニューラルネットワークによって出力された画像(写真の左半分)は元の画像(右半分)に比べて色と露出の補正が効いており、遥かに見映えのするものになっているといえます。サンプルによっては明瞭性が失われたりといった悪影響が僅かに出たり、(暗部など)もともとそこにない情報が補えないケースは残るもののの、全体的には多くの人々が見て改善したと感じられるような画質の変化が感じられます。

 



この技術を使えば、古い機種やエントリーモデルのスマートフォンが備えるプアなカメラであっても、ニューラルネットワークが高画質に改善してくれるアプリをすぐにも作れそうです。

 


ただし技術者たちの開発目標はここではなく、ニューラルネットワークが撮影条件にも自動的に手を加えられるようになることを望んでいます。それはたとえば、雨の状況下で撮影しても快晴に見せる技術などが考えられるとのこと。もし結婚や七五三などの記念日が天候に恵まれなかったとしても、「晴れの日」のきれいな写真として残せるようになれば、こんな良いことはありません。

最新スマートフォンの強化ポイントに常に挙げられるカメラ機能の進化は、主にセンサーやレンズといったハードウェアのものがほとんどですが、将来的にはニューラルネットワークの搭載が、廉価なスマートフォンのカメラ品質を補う特徴として活用されるかもしれません。