Microsoftは9月24日(現地時間)、「Enhance the reliability of your generative AI with new hallucination correction capability」において、Azure AI Content Safetyで提供されているグラウンデッドネス検出の新機能として、検出後の修正を支援する「correction」機能を発表した。

グラウンデッドネス検出は、生成AIによって出力されたコンテンツから不正確、根拠がない部分を検出する機能。新たに追加された「correction」では、検出された不正確な出力に対してリアルタイムで修正が可能になる。

○グラウンデッドネス検出の新機能「correction」の概要

Azure AI Content Safetyは、アプリケーションやサービス内の有害なコンテンツをAIを使用して検出し、安全性を保つコンテンツモデレーション プラットフォーム。Azure AI Content Safetyには、生成AIが出力したコンテンツに対し、生成の元となったデータソースと比較して、不正確な部分や根拠がない部分を検出するグラウンデッドネス検出が備わっている。ユーザーは検出されたコンテンツをブロックすることで、アプリケーションやサービスの安全性を保てる。

新たに発表された「correction」機能は、グラウンデッドネス検出で検出されたコンテンツに対してブロックよりも一歩進んだ対策を提供するもの。「correction」を有効にした場合、根拠のない内容が検出された際にシステムがリアルタイムで書き換えプロセスを開始する。これによって不正確な部分はデータソースとの整合性が確保されるように修正され、ユーザーはその結果を利用できる。

不正確な出力を「correction」で修正する　出典：Microsoft

○「correction」の仕組み

「correction」が動作する仕組みは次のとおり。

根拠がない文章が検出されると、生成AIモデルに修正を求める新しいリクエストがトリガーされる

生成AIモデルは、根拠のない文章をデータソースに照らし合わせて評価する

データソースに関連する内容がまったく含まれていない場合は、対象の文章は完全にフィルタリングされる可能性がある

データソースに関連するコンテンツがある場合は、モデルは元の内容と一致するように文章を修正する

Microsoftでは、生成AIの出力に対して不正確な部分をフィルタリングすることは、必ずしも意味のある緩和策とは限らないと指摘している。単純なフィルタリングでは編集されたコンテンツが意味不明なものになり、ユーザー エクスペリエンスを低下させる可能性があるからだ。「correction」はそのような問題を解決する有効な手段となる。