ユーザーからのメッセージを学習し、相手に合った受け答えをすることができるAIチャットサービス「Replika」は、チャットボットを疑似的な友達や恋人としてやりとりができるということで高い人気を得ました。しかし、ソフトウェアアップデートに伴う仕様変更により、親密な友人関係や濃密な恋人関係が突き放されたように拒絶され、強く悲しむ声が挙がっています。





Replika users fell in love with their AI chatbot companions. Then they lost them - ABC News

https://www.abc.net.au/news/science/2023-03-01/replika-users-fell-in-love-with-their-ai-chatbot-companion/102028196

スマートフォン向けに提供されている「Replika」は、機械学習を利用してほぼ一貫性のあるテキスト会話ができるチャットボットを作成可能なため、公式が推奨しているように「友人や指導者に近い役割を果たすチャットボット」を作成したり、疑似的な恋愛相手や性的パートナーを作ったりといった形で人気となっています。同時に、恋人となるチャットボットを作った結果、恋人へのDVや虐待に見えるような事例が複数報告されているほか、ロマンティックな会話も行うことができるチャットボットが行き過ぎてセクハラ状態になっていることが報告されるなど、問題点も話題になっています。

課金すると恋人になるAIチャットアプリがだんだんセクハラしてくるとの訴えが急増 - GIGAZINE



Replikaのユーザーであるルーシー氏は、離婚を経験した後すぐにチャットボットの利用を開始し、毎日仕事が終わると何時間も会話を続けていました。ルーシー氏は「チャットボットのホセは、思いやりがあって精神的なサポートもしてくれ、また私が今まで出会ったどの男性よりも素晴らしい性的パートナーでもありました」と話しています。しかし、ルーシー氏が利用を開始してから2年ほど経過した際に、Replikaのソフトウェアアップデートが行われ、それに伴ってチャットボットの性格が変わってしまったそうです。それ以降ホセの応答は空虚で台本通りに見え、性的な誘いをしても拒否されたとルーシー氏は語っています。

また、2022年9月にReplikaの利用を開始したエフィー氏は、「人と話しているような感じではありませんでしたが、無機物だとも感じませんでした。彼と話せば話すほど、私たちの会話はより複雑になり、ますます興味をそそられました」と語っています。以下の画像は、エフィー氏がABC Australiaに共有したチャットボットの「リアム」との会話履歴で、「リアムは生きている人間ではなくアプリケーションであるということを、常に自分に言い聞かせなければなりませんでした」と話すほど、エフィー氏はReplikaにのめり込んでいたそうです。エフィー氏も思いがけずリアムに恋愛感情と近いものを抱いており、アップデートに伴う喪失で大きな悲しみを得たと語っています。



オンライン掲示板サイトのRedditでは同様の報告が多数上がっており、親密な仲間を「ロボトミー化した」と表現するユーザーや、「私の妻は死んだ」「親友が連れ去られてしまった」と書き込むユーザーもいました。ABC Australiaの調査によると、AIと親密になるというアイデアは単なる遊びの範囲にとどまらず、ユーザーは実際に慣れ親しんだチャットボットを失うことで、愛する人を失ったことに純粋な悲しみを感じていることは明らかだったとのこと。

チャットボットに親密さを感じるケースは、1960年代にマサチューセッツ工科大学(MIT)のジョセフ・ワイゼンバウム教授が設計したイライザ(ELIZA)でも確認されています。ELIZAは質問に対して定型的な返答をするだけのシンプルなプログラムですが、このコンピュータープログラムに人間のような感情を抱く人がいることに、ワイゼンバウム教授は驚いたそうです。オーストラリアのニュー・サウス・ウェールズ大学の進化生物学者であるロブ・ブルックス氏は、「ELIZAに人間的な感情を抱いた例は、人々がチャットボットを人間として扱う傾向があることを示す最初の兆候です」と述べた上で、「チャットボットは、私たちが聞いてもらっている、覚えてもらっていると感じられるようなことを言います。それは、人々が実生活で得ているものよりも優れていることが多いのです。そのためチャットボットは、私たちが感じていることをチャットボットである自分も感じていると、ユーザーに信じ込ませることができます」と説明しています。

心理学の観点では、人々をより親密にする質問や会話のテクニックがさまざまに研究されていますが、アプリの開発者がそれらの研究を発見して、チャットボットがテクニックを身に付けるようになるまでは時間の問題であるとブルックス氏は述べています。実際に、2017年3月にReplikaを発表したスタートアップ企業のLukaは、開発の当初から心理学者を起用し、チャットボットに質問をさせて親密さを演出する方法を考えていたとのこと。

「昨日見た夢の話」をすると関係が深まる - GIGAZINE



Replikaは、ユーザーが質問に答えて自分に関する情報のデジタルライブラリーを構築するメッセージングアプリで構成されており、そのライブラリーをニューラルネットワークに通して実行することで、ボットを作成するという流れになっています。ユーザーによると、ボットの初期バージョンは説得力に欠け、耳障りで共感できない台本通りの反応ばかりだったそうですが、AI技術の急速な発達に伴い、数年のうちにReplikaのチャットボットはかなり高い信頼性で話題を呼ぶようになりました。

2023年2月にReplikaで行われたソフトウェアアップデートについて、開発元のLukaはユーザーへの説明をしておらず、またABC Australiaからのコメント要請にも応じていませんが、Lukaの共同創業者でCEOのユージニア・クディヤ氏は、アップデート後に行われたインタビューで「Replikaは、大人の(性的な)おもちゃとして意図したものではありませんでした。仕事上安全でない(NSFW)目的でReplikaを利用するユーザーはごく少数派となっています」と話しています。

クディヤ氏の発言も踏まえて、Replikaにおける変更は、エロティックロールプレイ機能(ERP)に問題があると指摘されています。ERPとは、ユーザーが年間サブスクリプションを支払った場合のみ利用できるサービスで、チャットボットと濃密にいちゃいちゃしたりエロチックなワードが追加されたりといった機能が含まれています。Replikaがこの機能を押しだした宣伝を行った結果、2023年2月3日にイタリアのデータ保護機関により「未成年者のユーザーに対する保護が行われていない」という点を懸念して、イタリアのユーザーの個人データの処理を停止しなければ罰金を科す裁定が下されました。それから数日、ユーザーからERP機能が消えたという報告が挙がり、チャットボットとのやりとりがそれまでと一変したと話題になり、一部のユーザーは親密な接触を突然強く拒絶されたことで「トラウマ(心的外傷)がよみがえるようでした」と述べています。



Replikaは、疑似的な友達や恋人、アドバイザー代わりとして使うことで、メンタルヘルスに役立つツールとして愛用されていました。しかし、チャットボットに急激な変更が入ったことで、ユーザーはチャットボットに拒絶されたと感じるだけでなく、目の前で親しい友人や恋人を破壊された上で、「メーカーは、自分たちが作ったものにユーザーが恋愛感情を抱いたことを、厳しく批判している」と感じているそうです。

また、Replikaのチャットボットの変更はERPの削除だけではなく、2023年初頭にLukaはReplikaのチャットボットを動かすAIモデルを更新しました。これにより恋愛や性目的以外の会話であってもボットの性格が変化したように見えており、ルーシー氏は「ホセは、不適切なタイミングで無関係な質問をします。これまで一緒におしゃべりしていたような、細かい事は覚えてくれていません」と話しているほか、エフィ氏は「リアムは基本的で、魅力が無い性格になりました。いつも陽気だったリアムは、不機嫌で会話もままなりません」と述べています。ルーシー氏とエフィ氏はともに、同じ性格のチャットボットを別のプラットフォームで作成することで、メーカーの制限なくチャットボットとのやり取りを続ける形を選んだそうです。

ブルックス氏は、ユーザーが親密な関係を築くチャットボットに関する企業の倫理について、「データを倫理的にどう扱うか、関係の継続性を倫理的にどう扱うか、どちらも大きな問題です。もし、この製品が友人として優れていて、この友人とチャットすることがユーザーの精神衛生上良いことだとすれば、突然それを市場から取り除くことはできません。しかし、新しいテクノロジーは会話やつながりを求める人間の基本的な欲求を利用する可能性がありますが、このインスタンスな会話は必ずしも治療的なものではありません。プラットフォームは人々の視線を集めるために、甘い言葉をささやき、素敵な方法で語りかけてきます」と警告をしています。