【ドローン×AI×XR】AIスマートグラス「3rd-EYE」とドローンで捜索支援 実用化に向けて消防本部と連携 ロックガレッジ
ドローンやロボットの制御系開発を行う株式会社ロックガレッジは、これら一連の情報処理を自動化することで効率的な情報共有を行うことのできる捜索活動支援システム「3rd-EYE」を開発。茨城県が行っている、最先端デジタル技術を活用し、企業の生産性向上や新しい生活様式への対応など地域課題解決に向けた「DXイノベーション推進プロジェクト」事業の2021年度の採択を受けて、茨城西南広域消防本部と合同で、ドローン×AI×スマートグラスによる訓練形式の人命救助実証試験を実施したことを発表した。
複数回実施された一連の実証試験では、同システムの実用化に向けた性能検証と利便性追求のための評価試験を行った。なお、同プロジェクトの進行において、実際の捜索現場で活動を行う消防組織の関係者から直接意見を聞き、その声を反映することを最重要視している。現場で活躍するものづくりを目指しており、茨城県西南消防本部との合同訓練の実施や定期的な意見交換など、同システムの完成に向けて連携して開発を進めている。
●ドローン×AI×XRの融合による捜索支援システム「3rd-EYE」
同システムではドローン映像をAIで自動解析し、捜索対象(人間)の位置を特定、スマートグラスにその位置情報を空間表示する。また、捜索結果は指揮本部に設置される端末にも共有されるため、指揮命令者が指示を出す際にも利用することが可能。同システムにおいてスマートグラスを装着した隊員は、その視野の中でどこに捜索対象がいるのかを直感的に理解することができるようになる。これにより、隊員間または指揮本部との意思疎通を正確に行えるため、救助活動の迅速化が期待できる。
●要救助者をドローンが自動検知。結果を即座に部隊へ配信
ドローンで撮影した映像をAIがリアルタイム解析して人影を抽出。捜索隊員は映像でその状態を確認しながら救助に向かうことができる。
●スマートグラスが直感的に要救助者の位置を教えてくれる
表示をスマートグラスの現在位置と方位に連動させることで、要救助者が今見ている景色の中でどこにいるかが分かる。直感的な表示によって、隊員間の情報伝達のミスが無くなります。
●指揮本部用タブレットですべての情報を一元把握
指揮本部に設置されるタブレット端末にはすべての情報が集約されます。タブレット端末には以下の機能が実装されており、現在の捜査状況を正確に知ることができる。
【実装されている機能】：
・ドローンのリアルタイム映像表示機能・ドローン・AIによる人影検出結果地図表示機能・人による検知結果のダブルチェック機能・隊員の現在位置・移動軌跡表示機能
●地図表示機能 隊員の位置・移動軌跡表示
地図には隊員の現在位置がリアルタイム表示されるので、別動隊の行動を常に知ることが可能。また、一度捜索を行った場所がわかるため、同場所を二度捜索するという事が無くなり効率的に捜索を行うことができる。
●「3rd-EYE」を消防の捜索活動訓練に組み込む
今回の実証試験では、実用化版「3rd-EYE」を消防組織による捜索活動訓練に組み込んで使用する実証実験を行った。同実験にて、消防組織との度重なるヒアリングと実証実験の中で仕様と機能を最適化することで、これまでの指揮系統を崩すことなく効率良く捜索活動を行えることを確認できた。実用化版の同システムでは、指揮本部に設置されるタブレット端末にすべての情報が集約され、部隊の指揮権者が要救助者その他の情報を取捨選択したうえで、各部隊に指示を出すことができるようになっている。訓練では 「あと20メートル前方へ進め」などの指示が出され、従来の部隊指揮ではできなかった、より具体的な指示が可能となったことが確かめられた。
●今後の予定
今後は「3rd-EYE」の普及を進めるとともに、消防組織の活動がより便利に行うことができるよう改良を進める予定となっている。また、各種災害での利用の他、山岳遭難や徘徊老人の捜索、警備、害獣調査などにも同システムの応用が可能だ。
