AIがノイズを低減 エッジカメラでもリアルタイムで高画質化を実現 LeapMindのAI推論アクセラレータIP「エフィシエラ」
●高画質化のしくみ
画像の高画質化などは演算の処理量が大きいため、エッジデバイスなどの比較的演算性能が高くない機器ではリアルタイム処理が困難だった。同社は、極小量子化技術によって軽量化を実現、Efficiera v2の性能スケーラビリティと組み合わせることで、動画カメラでのリアルタイム動作も可能となったとしている。
【従来の課題】：
性能面：エッジデバイス上では計算コストの高いAIによる画像処理のリアルタイム動作は困難画質精度：画像を入力し画像を出力するAI画像処理に対する極小量子化は、画質の劣化（色や解像感の再現など）があるまた、入力されたデータの中からいかに重要なデータを残して量子化するかとういう入力画像を複数チャネルの2ビットデータにエンコードする手法「Pixel embedding」技術により高画質化を実現し、通常用いられる32bit浮動小数点でのモデルと遜色ない画質を実現したという。その結果、部品コストの高い高感度センサーや大型レンズがなくてもAIによる画質改善ができ、画質重視のカメラはスマートフォンのようなAIによる高画質化が可能となり、産業用カメラ（監視カメラ、検査用カメラ）などの低照度下や十分な露光時間を取れない動画カメラでも、高画質化により物体認識や検査の精度を向上することができるようになる。
このモデルは2月より評価版として提供を開始。入手の希望者を募っている。
●極小量子化(1,2bit)モデルで32bit浮動小数点モデルと遜色ない画質を実現
入力画像 左: ISO51200, 1/800sec, F4.0で撮影、右: ISO102400, 1/320sec, F8.0で撮影
出力画像 : 32bit浮動小数点モデル
出力画像 : LeapMind 極小量子化モデル
●特長
・Raw入力・Raw出力のraw-to-rawノイズ低減モデル・Raw-to-rawのため、既存の画像処理パイプラインへの影響が最小限・ディープラーニングベースのノイズ低減処理・組込みアプリケーション向けに最適化されたState-of-the-art NRアルゴリズム・再学習可能な学習済みモデルをご提供・学習済みのノイズに加え、センサー固有のノイズの再学習により、モデルを最適化・リアルタイム動作可能な軽量処理・Efficiera v2の性能スケーラビリティにより、動画カメラでのリアルタイム動作にも対応
AI画像処理モデルの発表に際して、LeapMind取締役CTOの徳永拓之氏は、次のように述べている。徳永拓之氏
低ビット量子化モデルによるAI画像処理技術の製品化は我々が調べる限りでは世界初です。このモデルはハードウェアとソフトウェアの両面に注力しているLeapMindだからこそ実用化できた製品であり、極小量子化の新たな有用性を示すことができたと考えています。
●Efficieraについて
「Efficiera」とは、FPGAデバイス上もしくはASICデバイス上の回路として動作する、CNNの推論演算処理に特化した超低消費電力AI推論アクセラレータIP。量子化ビット数を1~2ビットまで最小化する「極小量子化」技術によって、推論処理の大部分を占めるコンボリューションの電力効率と面積効率を最大化するため、最先端の半導体製造プロセスや特別なセルライブラリを使用する必要がない。本製品を利用することで、家電製品などの民生機器、建設機械などの産業機器、監視カメラ、放送機器をはじめ、従来は技術的に困難であった電力とコスト、放熱に制約のある小型機械やロボットなど、様々なエッジデバイスへディープラーニング機能を組み込むことができる。製品公式サイトURL：https://leapmind.io/business/ip/
