MITとGoogle、窓ごし写真の映り込み除去技術を発表。金網や水滴も消去
フェンスやガラス越しに撮影した風景画像から、フェンスそのものや窓に反射した自分の姿などを除去できます。複数の画像を撮影してサンプリングを行い、個々の画像に見られる特徴と視差効果を利用して遠景と近景を判断し、映り込みと風景を分離する仕組みです。
サンプリングは、カメラ（動画ではスマートフォン）を平行に動かし動画を撮影することで行います。キーとなるいくつかのフレームからエッジ部分の要素を抜き出し、異なる速度で流れる要素を解析することで、遠景と近景の判断を行っています。
とはいえ、ちょっとカメラを取り出して写真を撮りたい時にこうした対策を講じるのははっきり言って面倒だし、時間がかかります。本技術は、厄介な映り込みを簡単かつ自動的に処理できる点に価値があります。
なお、本技術ではフェンスや窓についた水滴なども併せて除去することが可能になっています。
今のところは写真の構図内に近景と遠景という2レイヤーだけが存在する場合のみ上手く機能するということですが、それでも映り込みを気にすることなく、車窓越しの風景を気軽に撮影できるようになる点ではかなり有用であることは間違いないでしょう。
現在はまだ実証実験と論文の段階で、一般向けのアプリとては提供されていません。ただし、将来的にはカメラの1機能や単体のアプリとして提供される可能性があります。
映り込みの除去には連続した複数の静止画（あるいは動画）が必要になるため、仮にデジタルカメラやスマートフォンなどのモバイル端末で使用する際は、動画から静止画を切り出すような形になることが予想できます。
Googleは純正の Google カメラアプリで、シャッターを切ってから端末を少し平行に動かすことで、視差を利用して一眼レフカメラのようなボケを再現するする機能「レンズぼかし」を提供しています。近景除去もこうした操作で利用できるようになるかもしれません。
論文は
A Computational Approach for Obstruction-Free Photography (Tianfan Xue, Michael Rubinstein, Ce Liu, William T. Freeman)
なお複数の画像を使わずガラス窓への映りこみを自動除去する方法としては、MITの別の研究者チームが今年5月に発表したアルゴリズムもあります。
こちらは断熱ガラスやある程度の厚さがある窓ガラスなどの場合、外側と内側で映り込みが微妙にずれていることを利用した方法。二重像に依存するため使える状況が限られますが、すでに撮影した一枚の画像にも適用できます。
