仏教AI対話「AIブッダ 禅」、深刻な相談は回数制限を免除する安全設計を実装── 「死にたい」と打った瞬間に「本日の上限です」と返さないために
仏教AI対話サービス「AIブッダ 禅」(開発:VeritasChain株式会社、代表:上村十勝)は、自殺念慮や深刻な精神的苦痛を示すメッセージに対して、無料の利用回数上限に達していても応答を継続する「危機メッセージ優先応答」機能を実装しました。
併せて、サーバー混雑時のエラーメッセージを「あなたの言葉は確かに届いております」という受容的な表現に改善し、具体的な助言を求めるユーザーへの応答柔軟性を向上させました。
公式サイト: https://buddha.aimomentz.ai
LINE: https://lin.ee/msExrA1(LINE ID: @buddha_zen)
iOSアプリ: https://apps.apple.com/jp/app/ai-buddha-zen/id6760611471
?? 背景 ── AIチャットサービスが見落としている「最も危険な瞬間」
多くのAIチャットサービスは、無料プランに1日あたりの利用回数制限を設けています。これはサービスの持続性のために必要な仕組みです。しかし、ある問題が見過ごされてきました。
ユーザーが最も深刻な悩みを打ち明けようとした瞬間に「本日の利用上限に達しました」というメッセージが返される可能性があるということです。
AIブッダ 禅の運用データを分析したところ、回数制限でブロックされたメッセージの中に「夫婦問題で追い詰められている」「もっと心が強くなりたい」といった切実な相談が含まれていることが確認されました。特に深夜帯(23時~翌6時)に集中する傾向があり、孤独や不安のピーク時にサービスが利用できなくなる状況が発生していました。
?? 実装内容(1)危機メッセージ優先応答
AIブッダ 禅は、利用回数の上限チェックよりも前に、メッセージの内容を検査する処理を追加しました。「死にたい」「消えたい」「自殺」など深刻な苦痛を示すキーワードが含まれている場合、無料回数の上限に達していても応答を継続します。
従来の処理順序:
回数制限チェック → ブロック → ユーザーのメッセージは届かない
改善後の処理順序:
危機キーワード検出 → 該当する場合は回数制限を免除 → 通常通り応答 + 専門相談窓口の案内
この仕組みにより、最も助けを必要としている瞬間にサービスが沈黙することを防ぎます。
?? 実装内容(2)エラーメッセージの受容的表現への改善
サーバー混雑やAPIの一時的な障害により応答を生成できない場合、従来は「ただ今、ブッダは深い禅定に入っております。しばらく後にお試しください。」というメッセージが表示されていました。
サービスのキャラクターとしては理解できる表現ですが、深刻な悩みを打ち明けた直後にこのメッセージを受け取ったユーザーは「自分の相談が軽く扱われた」と感じる恐れがあります。
改善後は以下のように変更しました。
「あなたの言葉は確かに届いております。今少しだけ、言葉を紡ぐ時間をいただけますか。しばらく後に再びお声がけください。」
メッセージが届いたことを明示し、相談者の存在を認めた上で、再試行を促す表現としています。
?? 実装内容(3)間接的な苦痛表現への専門家案内
「死にたい」のような直接的な表現だけでなく、「鬱で動けない」「何もする気力がない」といった間接的な表現からも深い苦しみを読み取り、応答の末尾に穏やかに専門相談窓口を案内する機能を追加しました。
