ソフトバンクが自動運転向け「交通理解マルチモーダルAI」を開発 低遅延なエッジAIサーバーで動作
ソフトバンクのMEC（Multi-access Edge Computing）などのエッジAIサーバーで、マルチモーダルAIを低遅延かつセキュアにリアルタイムで稼働させることで、自動運転車の状況を即時に理解して自動運転を遠隔サポートすることができると考えているとのことだ。
ソフトバンクは、「交通理解マルチモーダルAI」を活用した自動運転の遠隔サポートソリューションの実証実験を、2024年10月に慶應義塾大学 湘南藤沢キャンパス（SFC）で開始。この実証実験では、自動運転車が予期せぬ事態に直面して走行が困難になった場合でもスムーズに走行を続けられるように、「交通理解マルチモーダルAI」が外部から自動運転をサポートできるかどうかを検証する。
●「交通理解マルチモーダルAI」の特長
自動運転車の前方映像（ドライブレコーダー映像など）と、現在の交通状況を問うプロンプトを入力することで、複雑な走行状況やリスクを判断し、安全な走行を可能にするための推奨アクションを生成。汎用的なAI基盤モデルに、交通教本や交通法規などの日本の交通知識に加え、一般的な走行シーンや予測が困難な走行状況におけるリスクと対処方法を学習させている。
これにより、自動運転車を安全に走行させるために必要な幅広い知識を習得し、交通状況と走行リスクを高度に理解できるマルチモーダルAIを構築した。
●自動運転の遠隔サポートソリューションの概要
このソリューションでは、自動運転車に搭載したカメラの映像を、5G（第5世代移動通信システム）ネットワークを通してリアルタイムでMECへ送信する。
MEC内のGPU（画像処理装置）で動作する「交通理解マルチモーダルAI」が、送信された映像などを基に自動運転車の走行中のリスクを即時に分析し、そのリスクと対処法をリアルタイムで言語化して、自動運転を遠隔サポートすることが可能。これにより、自動運転車がリスクを判断できない状況でも、「交通理解マルチモーダルAI」が遠隔サポートすることで、安全に走行を継続することが期待できる。
なお、現状では「交通理解マルチモーダルAI」が分析して言語化した情報を基に、遠隔監視者が自動運転車への指示を行うが、将来的にはマルチモーダルAIから自動運転車へ直接指示を行うことで、運行業務の完全無人化を目指すとしている。
●実証実験の一例
SFCで実施している実証実験において、「横断歩道の手前に停車中の車両がある状況での走行」というシナリオで検証を行った。
このシナリオでは、左側に停車中の車両の陰から横断しようとする人物を見落とす可能性があり、自動運転車が横断歩道に差しかかった際に、死角から飛び出す歩行者と衝突するリスクがある。道路交通法では、信号機のない横断歩道を通過する際、横断歩道の手前に停車中の車両がある場合は、その前方に出る前に一時停止することが義務付けられている。
このケースでは、自動運転車が横断歩道の手前で「走行速度が速い」「一時停止の動作をしない」といった走行をしている場合、遠隔監視者が介入して事故を未然に防ぐ必要がある。しかし、遠隔監視者は複数の車両を同時に監視しているため、危険をすぐに察知できない、適切に介入できないといったリスクがある。そこで、「交通理解マルチモーダルAI」が、現在の「交通状況」「走行リスク」「リスク対処のための推奨動作」を生成し、自動運転車に指示を出すことで、外部から自動運転を遠隔サポートする。
今回の実証実験では、自動運転車が停車中の車両と横断歩道に接近してリスクが高まると、「横断歩道の手前に停車中の車両がある。歩行者が飛び出してくる可能性があるため、一時停止してください」と生成し、外部から自動運転を遠隔サポートできることを確認した。
この自動運転の遠隔サポートソリューションは、MONET Technologiesが実施する自動運転技術を用いた実証などで、試験的に利用されている。実際の走行環境で発生する、予測が困難な走行リスクと対処方法を継続的に学習することで、マルチモーダルAIの精度を向上させていく。
●ソフトバンク執行役員 データ基盤戦略本部本部長 丹波廣寅 氏 コメント
ソフトバンクは、国内最大級のAI計算基盤の整備と国産大規模言語モデル（LLM）の開発を進めています。今回のソフトバンク独自の『交通理解マルチモーダルAI』の開発と、それを用いた自動運転の遠隔サポート向けソリューションの実証実験の成功によって、通信技術とAIの融合が社会課題を解決できる可能性を示すことができたと確信しています
