YouTubeで登録者数100万人を超えるチェス動画チャンネルを運営するアントニオ・ラディッチは、チェス選手の最高位であるグランドマスター（GM）の称号をもつヒカル・ナカムラとの対談を2020年6月にライヴ配信していた。ところが、その配信が突如として中断されてしまったのである。
「YouTubeでの「チェス談義」が、“人種差別”として削除された事件の真相」の写真・リンク付きの記事はこちらふたりはチェスの定跡や数々の名試合、スター選手たちにまつわる軽快なトークを繰り広げていた。こうしたなか視聴者に知らされたのは、ラディッチの動画が「有害で危険なコンテンツ」であるという理由で削除されたとの知らせだった。
彼らは「キングズ・インディアン・ディフェンス」と呼ばれるチェスの定跡について語り合っていただけで、問題になるような発言は何ひとつしていない。それなのにラディッチが目にしたのは、この動画がYouTubeのコミュニティガイドラインに違反していることを告げるメッセージだった。彼のチャンネルは、その後24時間にわたってオフライン状態が続いた。
いったい何が起きたのか、正確なところはまだ明らかにされていない。YouTube側はラディッチの動画を削除したことは誤りだったとしながらも、それ以上のコメントを控えている。だが、最新の研究からうかがえるのは、これがネット上のヘイトスピーチや暴言、偽情報を自動検出するために設計された人工知能（AI）プログラムの弱点を映し出す出来事だったということだ。
チェス談義が「人種差別的」と判定された理由この出来事についてカーネギーメロン大学（CMU）でAIを専門に研究するプロジェクトサイエンティストのアシク・クダブクシュが考えたのは、YouTubeのアルゴリズムが「黒」「白」「攻撃」「防御」といった言葉のやりとりに惑わされたのではないか、ということだった。クダブクシュは自らも本格的なチェス愛好家である。
そこでクダブクシュは、CMUに所属する技術者のルパク・サーカーと共に、ある実験を試みた。まず最初に、「BERT」と呼ばれる言語処理モデルに2通りの訓練を施した。一方には人種差別的な極右系ウェブサイト「Stormfront」の発するメッセージを、もう一方にはTwitter上のさまざまな発言をデータとして使用した。
出来上がったアルゴリズムを、8,818本のチェス動画から抽出した文章や発言を用いてテストしてみたところ、完璧とはほど遠いものであることがわかった。そのアルゴリズムは、文字起こしした文章やコメントの1％前後をヘイトスピーチと判断してフラグを立てた。ところが、そのうち80％以上は誤判定で、前後関係を読めば人種差別発言ではないことがすぐにわかる文章だったのだ。
このほど発表した論文でクダブクシュとサーカーは、「人間を関与させず手軽に使える識別システムに頼ってチェス談義の内容を読み取ろうとする行為は、誤解につながる恐れがある」と指摘している。
浮き彫りになった問題点この実験によって、AI言語プログラムの根本的な問題点が浮き彫りになった。不適切な単語やフレーズを拾い出すだけでは、ヘイトスピーチや言葉の暴力を見つけることはできない。同じ言葉が文脈によってまったく別の意味をもつ場合があるからだ。このためアルゴリズムには、一連の単語の流れから意味を類推することが求められる。
「本質的に言語とは、極めて繊細なものなのです」と、CMUの教授でかつてクダブクシュと共同研究に取り組んで経験があるトム・ミッチェルは言う。「この種の言語識別システムに訓練を施しても、すぐに100％の精度が得られるわけではありません」
ワシントン大学の准教授でAIと言語学を専門とするチェ・イェジンは、現時点での言語認識の限界を考えればYouTubeの失態には「少しも驚きを感じない」と語る。ヘイトスピーチの検出精度を上げるには、莫大な投資と新たな手法が必要になるだろうとチェは指摘する。
INFORMATION
限定イヴェントにも参加できるWIRED日本版「SZメンバーシップ」会員募集中！
次の10年を見通すためのインサイト（洞察）が詰まった選りすぐりの記事を、週替わりのテーマに合わせて日々お届けする会員サーヴィス「WIRED SZ メンバーシップ」。限定イヴェントへの参加も可能な刺激に満ちたサーヴィスは、無料トライアルを実施中！ →詳細はこちら
アルゴリズムがうまく機能するのは、個々の文章を断片的に取り上げた場合ではない。例えば、ユーザーのコメント履歴や、それらのコメントが投稿されたチャンネルの特色といったものを加味した分析が可能な場合であるのだと、チェは語る。
一方でチェの研究は、ヘイトスピーチを検出する作業がかえって偏見を固定化させる場合があることも示している。チェが19年にほかの研究者らと共同で手がけた研究によると、Twitterの文章を人間がチェックする場合、アフリカ系米国人を名乗るユーザーの投稿を暴力的であると決めつけてしまう傾向が強いことが判明した。また、暴言を判別するための訓練にこうしたチェッカーたちの指摘がデータとして使われた場合、同様の先入観がアルゴリズムに受け継がれることもわかった。
見えてきた現状のAIの限界自律走行車の開発企業は、アルゴリズムの訓練データの収集とチェックに巨額の資金を費やしている。しかし、言葉のチェックに同等の労力が割かれた例はないのだとチェは指摘する。
これまでのところ、何通りにも解釈できる言葉が使われていて判定が微妙な大量の“エッジケース”を含め、ヘイトスピーチや暴言に関する質の高いデータセットを収集または精査している企業は存在しない。「自律走行車のための予算と同額、あるいはほんの一部でもデータ収集に投じることができれば、AIの性能は格段に上がるはずです」と、チェは語る。
CMUのミッチェルによると、YouTubeをはじめとする各種のプラットフォームには、クダブクシュが構築したものより優れたAIアルゴリズムが使われている可能性が高い。それでも性能には限界があるという。
大手テック企業各社は、ネット上にはびこるヘイトスピーチへの対抗手段としてAIに期待をかけている。実際にフェイスブック最高経営責任者（CEO）のマーク・ザッカーバーグは、18年の議会証言の際にAIがヘイトスピーチの根絶を後押しするだろうと語っていた。
フェイスブックが21年2月初めに発表したところによると、20年12月までの3カ月間に同社が削除したヘイトスピーチの97％は自社開発のアルゴリズムによって検出されたもので、その割合は17年時点の24％に比べて増加している。一方で、このアルゴリズムが見逃したヘイトスピーチの数や、AIのエラー頻度については公表されていない。
実際にチェス動画で判定してみた結果今回の事態を受けて『WIRED』US版は、CMUの研究チームが収集したさまざまな発言内容の一部を、2種類のヘイトスピーチ識別システムに読み込ませてみた。ひとつはアルファベットの子会社で偽情報や有害コンテンツの撲滅に取り組むJigsawが構築したシステムで、もうひとつはフェイスブックが開発したものである。
その結果、例えば「1時間43分経過。白のキングがG1に移動すれば、黒の攻撃はそこで終わり。白が失った駒はナイトひとつだけですね」といった発言は、90％の確率でヘイトスピーチではないと判断された。ところが、「白が黒を激しく攻撃しています。守りに入った黒を白が猛烈に攻めています。このままでは黒のキングが危ない……」という発言は、60％を超える確率でヘイトスピーチと判断された。
YouTubeやその他のプラットフォームにおいて、コンテンツが誤ってヘイトスピーチのフラグを立てられる頻度がどれくらいなのかは、依然として明らかにされていない。「エラーの発生頻度はわかりませんが、動画の発信者がさほど有名ではない場合、こうした間違いは起きないようですね」と、クダブクシュは言う。
※『WIRED』による人工知能（AI）の関連記事はこちら。
お知らせ：毎週木曜はオンラインイヴェント「Thursday Editor's Lounge」開催！
3月25日（木）は、『WIRED』日本版 最新号「FOOD: re-generative」発刊イヴェント！ 「生態系を拡張する？ 地球のためのガストロノミーをめぐって」と題して、岡田亜希子（シグマクシス）、鎌田安里紗（エシカルファッション・プランナー）が『WIRED』日本版編集長の松島倫明と語る。
→ 詳細はこちら（peatix）
INFORMATION
限定イヴェントにも参加できるWIRED日本版「メンバーシップ」会員募集中！
次の10年を見通すためのインサイト（洞察）が詰まった選りすぐりのロングリード（長編記事）を、週替わりのテーマに合わせてお届けする会員サーヴィス「WIRED SZ メンバーシップ」。毎週開催の会員限定イヴェントにも参加可能な刺激に満ちたサーヴィスは、1週間の無料トライアルを実施中！詳細はこちら
