対話エージェントの概要
具体的には、「応答生成 AI」は、ユーザーの質問に対して『回答する場合の応答候補』、追加の情報をユーザーに入力してもらうために『問い返す場合の応答候補』のような複数のパターンの応答候補を生成。「応答評価 AI」は、各応答候補が、(a)質問文に対して正しい情報をだけを含むか、(b)冗長でないか、という二つの観点で回答の適切さを採点する。

次に、点数が最大となる応答候補をユーザーに対して応答する。

ユーザーの質問文が十分に具体的であった場合は、対話エージェントは“回答する場合”の応答候補の中から選んで回答を返すが、質問文が曖昧で具体化が必要な場合には“問い返す場合”の応答候補から選び、ユーザーへ問い返す。問い返された場合には、ユーザーは指示に従って追加の情報を入力する。このようなやり取りを行うことで、曖昧な質問でも的確かつ正確に知りたい情報が得られるようにサポートする。

東芝は、実際の設備の保守作業を想定し、作業中に生じる不明点を質問してその対処法を提示するユースケースにおいて、本技術の有効性を検証。本検証では、従来技術である「応答生成 AI」のみのチャットボットと、東芝が開発した対話エージェントを用いたチャットボットの性能を比較した。

困りごとを入力する際、情報を具体的に入力したパターン（「機器Ａの画面にエラーコード 1234 が表示されている」など）と、曖昧に入力したパターン（「動かな い」、「ジョブエラー」など）のそれぞれで検証した。



検証の結果、従来技術では具体的な質問での成功率が76.7%であったのに対して曖昧な質問では30.0%にまで低下したが、本技術では、曖昧な質問に対しても具体的な質問の場合とほぼ同等の73.3%の成功率を達成した。曖昧な質問文に答える際、従来技術は全て1ターン目で回答していたのに対して、本技術は平均で2.3 ターンのやり取りを行っており、この結果から、本技術が問い返しによる質問の具体化を通して適切に回答できていることを確認した。

●今後の展望

東芝は、2024年度中に東芝グループ内において、設備の保守作業の現場で問い合わせ業務の実証実験の開始を予定している。さらに社外へのサービス提供を目指し、研究開発を進めていくとのことだ。