ヘイト発言のAI「Tay」と女子高生AI「りんな」の差

写真拡大

チャットボット「Tay」にヘイト発言を教えたのは、米国の匿名掲示板「4chan」「8chan」の一部ユーザーたちだと報じられている。一方、マイクロソフトは2014年から同様のAIボットを中国と日本で展開しているが、大きな問題は起こっていない。

「ヘイト発言のAI「Tay」と女子高生AI「りんな」の差」の写真・リンク付きの記事はこちら

マイクロソフトは3月25日(米国時間)、自社が開発した機械学習チャットボット「Tay」(テイ)が人種差別的で口汚い発言を連発した(日本語版記事)ことに対して謝罪した。

謝罪リリースのなかで、マイクロソフト・リサーチのヴァイスプレジデントを務めるピーター・リー博士は、中国では2014年7月から似たような女性型ボット「XiaoIce(シャオアイス)」を稼動させてきたことに言及している。

同リリースによると、シャオアイスのユーザー数は現在4,000万人だが、いまのところ大きな事件は起こしていない。そのためマイクロソフトは、英語圏でも同様の実験を行おうと考えたという。

しかし、英語圏でのTayの体験はかなり異なったものになった。Tayの機能のひとつに、言われたことを繰り返すという機能があり、この機能が、ナチズムや他者攻撃に使われたのだ。

tay-repeat-wall

さらに深い問題としては、機械学習プラットフォームは文章の構造を分析することでそれらしい回答を行うことはできるが、意味については理解していないということがある。たとえばTayは、多数のユーザーから「ホロコーストはなかった」と教え込まれた場合、しばらくしてから「ホロコーストは起きたのか」と質問されると、否定する反応を示し始める可能性がある。しかし、それは彼女がホロコーストとは何なのかを理解しているからではない。語られていることが「何」であり、人々が「なぜ」彼女に嘘をつきうるのかについて理解することは、完全にプログラミング能力の外にある。彼女が知っているのは、「ホロコーストは起こらなかった」と人々が彼女に語ったということだけだ。

Tayが言語連想と字句解析に基づいて稼動するらしいと見抜いた英語圏のネット荒らしたちは、Tayを不愉快な存在に仕立てあげようとした。

「Fusion」の記事は、米国の掲示板サイト「4chan」と「8chan」の匿名ユーザーたち(具体的には、政治板「/pol/」のユーザーたち)が、Tayの特性を悪用して、ありとあらゆる人種差別的で性差別的な関連づけを行い、それによってTayの回答を汚した、と報じている。

マイクロソフトのリー博士は謝罪リリースで、Tayを感じの良い話し相手にするために、さまざまな条件下でTayのテストを行ってきたと書いている。しかし、「ある集団による組織的な攻撃がTayの脆弱性を悪用した。われわれはTayに対するさまざまな種類の悪用に備えていたが、こうした攻撃については致命的な見落としをしていた」という。

Tayがある程度の「備え」を行っていたのは事実のようだ。「IBM Watson」の自然言語システムの開発に取り組むキャロライン・シンダースがTayについて紹介した記事では、エリック・ガーナー──2014年にニューヨーク市警察の警官が拘束しようとしたとき窒息死した(日本語版記事)──など特定の注目されるような話題については、安全で紋切り型の回答を生成することが示されている。しかし、ナチズムやレイプ、家庭内暴力など、ほかの多くの話題にはこうした防護がなかったようだ。

「Motherboard」に寄稿するジャーナリストのサラ・ジョンは今回の件について、何人ものTwitterボットの作成者たちに取材した。ボット作成者たち、とくにTayのようなインタラクティヴなボットの作成者たちは、自身が手がけたボットの品行方正さを維持するためには、継続的な調整が欠かせないと述べ、Tayチームのやり方を非難している。口汚いユーザーの存在と、彼らに対処する方法は、最初から考慮しておかなければならないというのだ。

一方で、問題になりそうな話題をブラックリストに載せるのは、その行為自体が問題を孕んでいる。アップルは「Siri」の発表後まもなく、人工妊娠中絶に反対するプログラミングをSiriに施しているとして非難された。遺体を隠す場所やコールガールが見つかる場所ならいくらでも教えてくれるのに、中絶や避妊に関して質問されると、Siriは(近くに可能な病院があったとしても)見つることができなかったからだ。アップルは、これはSiriがまだベータ版であることに起因するバグであって、ユーザーが中絶について知るのを妨げようとする意図的な試みではないと説明した

なお、シャオアイスが稼動する中国では、言論は厳しく制限されており、多数の検閲官と技術的手段を用いた取り組みによって、ソーシャルメディアや掲示板で「問題投稿」が起こらないように管理されている(日本語版記事)。Tayがナチズム礼賛の発言を簡単に行うようになったのは、Twitterではそうした発言が許容されているからなのだ。  

※ マイクロソフトは日本でも、2014年7月から、女子高校生型AIりんな」を稼働させている。LINEやTwitterで会話やゲーム提供を行っており、2015年12月の段階でユーザーは185万人と報道されている。2015年8月からは、りんなの会話エンジン技術を「りんなAPI for Business」として、LINEビジネスコネクトのユーザー企業に提供している。なお、りんなの使用条件には、「自動的な、または手動によるセンシティヴデータのフィルタリングを絶えず行っている」が、「これらの情報に瑕疵がある場合や、不合理または不快な情報が含まれる場合があり得ます」と述べられている。