キヤノンが業界最高レベルのダイナミックレンジのCMOSイメージセンサーを開発 監視用途向け等に最適な映像技術のしくみを比較写真で解説
ダイナミックレンジに優れたイメージセンサーは、明暗差の大きい環境を撮影した時に、明るいところと暗いところの双方が明確に見える(白飛びや黒潰れがしにくい)。
新開発のCMOSセンサーによる撮影例（124dB程度の環境下）。運転手もナンバープレートもどちらも鮮明に写っていて視認できる
●ダイナミックレンジに優れたセンサー技術とは
一般の写真撮影では、自動で明るめの写真(暗いところが見やすい)と暗めの写真(明るいところが白飛びしにくい)の2枚(または中間も撮った3枚)を撮影し、自動で合成して明るいところと暗いところが両方視認できる写真に仕上げるHDR技術がデジタルカメラやスマートフォンなどを中心に用いられている。しかしパラパラマンガのように複数の写真を連続して記録再生する動画では、このHDR技術はセキュリティカメラなどの動画撮影ではデジタル処理が膨大になってしまっていた。
キヤノンのこの技術は、画面を736分割し、領域ごとに最適な露光を自動で決定できるため、一般的なハイダイナミックレンジ撮影で必要な合成処理が不要になり、HDR技術を使いながらデータ量の低減や移動する被写体の認識精度向上に貢献する。
●広いダイナミックレンジを実現する仕組み
・従来のセンサーでは、明るい部分から暗い部分まで自然に認識できるようにするため、露光時間を変えた複数の画像を合成し、1枚の画像を生成（下記の図の例では、1フレーム内で4種類の露光を実施）。
・開発した新センサーは、736領域それぞれに最適な露光条件を自動で決定することで、合成処理が不要。
近年、監視カメラの需要拡大に伴い、スタジアムの出入り口や夜間の道路など明暗差の大きい環境において高画質な画像を撮像できるイメージセンサーのニーズが高まっている。キヤノンが開発した新センサーは、こうした用途での使用を想定する。
広いダイナミックレンジを実現する仕組み
●領域別露光の仕組み
・2つ前のフレームと1つ前のフレームの差分から、被写体の動いている部分を検出（?動体マップ生成）。
・1つ前のフレームで、被写体の明るさを領域（※3）ごとに認識し、輝度マップを生成（?）。隣り合う領域の輝度差が大きくなりすぎないよう滑らかにした上で（?隣接露光量差低減）、動体マップの情報から露光条件を補正し、最終的な露光条件を決定（?）。
・決定した露光条件（?）を対象フレームの撮像に反映。
※実際には736領域に分割しているが、下図では簡略化。
領域別露光の仕組み
●具体的な特徴と写真での違いを解説
●1. 業界最高レベルのダイナミックレンジ148dB
監視用途向けのイメージセンサーでは業界最高レベルのダイナミックレンジ148dBを実現しており、約0.1lux（ルクス）から約2,700,000luxまでの撮像ができる。例えば、昼間の地下駐車場の出入り口で車両のナンバープレートと運転者の顔を同時に認識したり、スタジアムの出入り口で来場者の顔認証と背景の監視を両立したりするといった用途での活用が期待できる。
●2. 領域ごとの明るさに応じて最適な露光時間を自動で決定
明暗差の大きい環境下での撮影において、明部から暗部まで自然に見える画像を取得するために、一般的なハイダイナミックレンジ撮影では、露光時間を変えた複数の画像を合成する処理が必要。この処理を行うことで露光時間のずれが生じ、移動する被写体が重なって写ってしまう（モーションアーチファクト）という課題がある。
このセンサーは、画面を736分割し、領域ごとの明るさに応じて最適な露光時間を自動で決定するため、モーションアーチファクトが発生せず、移動する人物を撮影する場合でも顔認識の精度が向上できるようになる。
また、合成処理が不要となり、1フレームあたりの扱うデータ量が少なくなるため、約1,260万画素の多画素で約60fpsの高速な撮像性能を実現した。(30fps時のダイナミックレンジは148dB。約60fps時のダイナミックレンジは142dB)
●3. 設置環境や使用用途に応じて撮影条件をカスタマイズ可能
動画は静止画（1フレーム）の連続でできているが、1フレームの時間内で露光条件の設定を完了させないと、明暗が激しく変化する環境や、速い動きの被写体の撮影に追従することが難しくなる。このセンサーは、複数のCPUと専用の処理回路を内部に搭載しているため、1フレームの時間内で領域ごとの露光条件設定を同時に素早く処理することができるほか、撮影環境や使用用途に応じて撮影条件などをカスタマイズすることを可能にした。
速い動きの被写体を高精度に撮影するニーズのある道路や駅、明暗が激しく変化するスタジアムの入り口などの環境での使用が期待される。
●開発した新センサーによる撮影例
・昼間の地下駐車場入り口のように、一般的なカメラでは車両のナンバープレートが白飛びし、運転手が黒つぶれしてしまうシーンにおいて、ナンバープレートの文字と運転手の顔を同時認識することが可能。
・業界最高レベルのダイナミックレンジ148dBを実現しており、約0.1luxから約2,700,000luxまでの撮像が可能。満月の夜程度の明るさが0.1lux、電球や車のヘッドライトのフィラメントの明るさが500,000lux。
開発した新センサーの画像：
視認状況：運転手〇、ナンバープレート〇
輝度データの分布（ヒストグラム）
一般的な高画質センサー：
視認状況：運転手〇、ナンバープレート×(白飛び)
輝度データの分布（ヒストグラム）
一般的な高画質センサー：
視認状況：運転手×(黒潰れ/暗すぎる)、ナンバープレート〇
輝度データの分布（ヒストグラム）
