パナソニックがロボット作業を止めないセンシング技術を開発 光沢などのノイズがあっても動く対象物を1ミリ秒以下で検出

パナソニック コネクトは、現場で動く対象物を光沢などのノイズがあっても高精度かつ1ミリ秒以下でカメラで検出、物流や製造現場のロボットによる作業を止めずに高効率化するセンシング技術を開発した。光沢などのノイズがあっても動く対象物を1ミリ秒以下で精度高くセンシングできる技術は、国際学会「ICIP 2024」において論文が採択された。

●動く対象物を検出してロボットの動作に反映するための課題は多数

近年の人手不足により、物流や製造の現場ではロボット導入が進んでいる。これまでの規定の動作を自動で止まらずに行うロボットに加え、近年カメラを利用し対象物を見て、検出することで現場に即した動作が行えるロボットのニーズが非常に高まっている。ただし動く対象物を検出してロボットの動作に反映するためには、画像検出からフィードバックまでにかかる時間を超低遅延で行える必要があり、それに付随した様々な課題がある。

●照明の角度によっては対象物の表面の光沢（白飛び）で検出が困難に

通常、指定対象物を検出するには、事前に登録した画像を比較対象として用意し、動かした際にカメラで撮影した対象物の画像が登録画像と一致するかどうかで検出する。しかしながら、照明の影響により対象物の表面に光沢（白飛び）などのノイズが生じ、登録画像と異なる画像と認識されるために指定対象物を検出できないといった問題が発生する。



これを解決するには照明の環境を整えたり、AIなどの高度な画像処理を行い光沢の抑制を行うなどの方法がある。しかし、照明環境の場合にはコストが増加し、またAIなどの高度な画像処理を使用する場合には処理時間が厖大になるといった課題がある。
また、AIなどの高度な画像処理を利用し時間をかけて光沢の抑制を行ったとしても、特定対象物が止まっている場合は登録画像と一致させることができても、動いている特定対象物の場合には、計算時間中に対象物が移動してしまい、撮影時とロボット動作時で対象物の位置が異なってしまい、必要な処理ができないといった結果になりがちである。

これらの課題を解決するため、パナソニック コネクトでは光沢の影響がある環境でも超低遅延で光沢検出を行い、リアルタイムでロボットの次の動作に反映できるセンシング技術を開発した。

●1ミリ秒以下の光沢検出技術を発表



画像データからロボットの動作に必要な情報を抽出し、ロボットにフィードバックして制御を行う場合、カメラ、プロセッサ、アクチュエータが必要になる。さらに、対象物の表面に光沢があると、画像から対象物を正確に検出するのが難しくなることがある。このような場面では通常CPUやGPUが装備されるパソコンを使った光沢検出が一般的に利用される。

画像認識を行う際には、ピクセル単位でカメラから転送されてきた画像の全てのピクセルが揃ったところで画像処理を開始するが、これによって画像転送や画像処理を行う際にカメラ、データや命令を処理するプロセッサ、ロボットを動作させるアクチュエータの間で、逐次メモリとのやり取りが発生する。具体的には、カメラ画像をキャプチャしメモリに保存、そのデータがプロセッサに送信されて処理されメモリで保存、さらにメモリから処理済みデータがアクチュエータに送信というプロセスが連続して行われる。この一連の処理の中で、メモリに依存した処理と、各処理にかかるプロセスが逐次処理になるため、全体として数十秒から数百ミリ秒の遅延が発生する。

パナソニック コネクトでは、FPGA（Field Programmable Gate Array：プログラムで機能を変更できる集積回路）を活用して、カメラから転送されるピクセル単位の画像データの転送速度に同期し、画像データの一部を使用して光沢検出する特殊なアルゴリズムを活用。それにより、順に転送されてきた画像データを即時に画像処理するため、データを保存するためのメモリが不要となり、低遅延な情報提供によって高速なロボット制御を可能とする技術開発を行った。この開発に当たり、毎秒1,000枚の画像データ（毎秒1,000フレーム）を撮影する高速カメラを使って実現したことにより、全ての処理が1ミリ秒以下で行えるという画期的な性能を達成した。

ただし、メモリを介さない処理を実現するために、転送されてきた画像データがすべてそろってから処理を開始するのではなく、転送されてきた画像データの一部を使用して光沢検出する特別なアルゴリズムであるため、処理遅延は短くなるが、検出性能が落ちてしまうという課題がある。

そこで今回開発した技術では、一般的なカメラ（毎秒60フレーム）と比べ、高速カメラ（毎秒1,000フレーム）ではフレーム間の情報変化が非常に小さい点に着目。毎秒60フレームのカメラでは、動く対象物の場合、フレーム間の情報変化が大きくなり、結果としてフレーム間の情報を利用しようとすると、情報を補完するなどの特別な処理が必要になる一方で、高速カメラでは動く対象物であっても、フレーム間の情報変化が小さいめ、ひとつ前のフレームで処理した結果を活用することが可能となる。



カメラから転送される画像データの速度に同期して、順に転送されてきた画像データを即時処理しつつ、高速カメラの特長を生かし、前フレームでの情報を活用するハイブリッドなアルゴリズムで1ミリ秒以下で正確な検出を高速処理で実現する。


この技術により、関連手法との比較でリアルタイムパフォーマンス上ではBest performanceを達成し、画像処理分野の世界最大規模の国際学会「ICIP 2024」で論文が採択された。

●今後の展開

人口減少や働き手の人手不足により現場の生産性の向上が待ったなしの日本のあらゆる現場において、動くモノを正確に検出し、ロボットにフィードバックできる本技術は、パナソニック コネクトが事業領域として注力しているサプライチェーンの領域、製造、物流、流通のあらゆる現場において自動化の効率向上に貢献できる技術であり、特に製造の分野では、生産ラインで加工しているアイテムが常に動いている自動車業界等でほぼリアルタイムの生産確認に利用でき、ラインを止めることなく高効率な生産に貢献することも可能になる。

今後は製造、物流現場で必要とされる様々な超低遅延センシング技術を開発し、人には見えない速さのセンシング技術によって現場の生産性と高品質の両立に貢献できる技術を目指して、技術開発を進めていくとしている。