AIがチェス談義を｢人種差別｣と誤判定した理由
AIに学習させる「データ」そのものや訓練や評価の段階で社会的偏見、バイアスが入り込んでしまう場合があるという（写真：Christian Horz／iStock）
「暴言」を吐くAIチャットボット、「人種差別」をする犯罪予測AI、「男女差別」をする人材採用AI・与信審査AI……。AI（人工知能）の活用が広まる一方で、AIが「悪さ」をする事例が問題となっている。
AIに学習させる「データ」そのものや訓練や評価の段階で社会的偏見、バイアスが入り込んでしまう場合があるという。逆に「人種差別」的な言葉を検出するアルゴリズムによって、他愛のない「チェス談義」が「ヘイトスピーチ」とみなされ、YouTubeチャンネルが突然閉鎖されるなどということも起きている。
「悪さ」をしない、「責任あるAI」を実践するためにどうすればよいのか。
『責任あるAI 「AI倫理」戦略ハンドブック』を上梓したプロフェッショナルが、「技術」「ブランド」「ガバナンス」「組織・人材」の4つの面からのアプローチについて解説する。
AIが「人種差別発言」と誤判定？
2020年6月、チャンネル登録者数が100万人を超え世界最大級を誇るチェスのYouTubeチャンネルが、人種差別発言を含むヘイトスピーチであるとして突然閉鎖されるという事件が起きました。ほどなくチャンネルとアカウントは復活したものの、その後の研究により、どうやら動画の内容をチェックするアルゴリズムが「黒」「白」「攻撃」「防御」といった言葉をヘイトスピーチとして誤判定した可能性が指摘されています。
折しもその直前の2020年5月25日、アメリカ・ミネソタ州ミネアポリスで黒人のジョージ・フロイド氏が白人警官の暴行により死亡するという事件が発生。この事件への抗議をきっかけに、人種間の不平等に対する抗議活動（Black Lives Matter、BLM）が始まり、やがてアメリカから世界規模への活動に発展しました。これまでに社会に存在していた不平等に対し、声を上げて抗議しようという一大ムーブメントです。
YouTubeの対応は、BLM運動の高まりを受けてアルゴリズムを修正し、動画チェックを強化したためとも考えられますが、この問題はヘイトスピーチのような言葉のニュアンスをAIが検知することがいかに難しいかということを表しています。単にキーワードやフレーズを検出するだけでは今回の例のように誤検知する可能性があり、表現の裏に潜む暗喩的な差別表現にまで対応することは、現状の文章解析AIでも難しい課題となっています。
AIにおける技術革新のおかげで、われわれの生活は一昔前とは比較にならないほど便利になっています。スマホでタップするだけで自分に合ったさまざまなサービスが手軽に利用できるようになりました。しかし、世の中における公平性への意識が高まるにつれて、「AIは公平な判断を下しているのか」「AIによって知らず知らずのうちに不利益を被っているのではないか」という問題意識や不安は、確実に広がっています。
これからのAIを「責任あるAI」にしていくことは、そういった情勢の中でAIを活用して着実にビジネスを成長させていくためにもはや避けては通れないのです。
「責任あるAI」への4つのアプローチ
先に「責任あるAI」を実践していくための5つの行動原則「TRUST」について触れました。TRUSTとはTrustworthy（信用できる）、Reliable（信頼できる）、Understandable（理解できる）、Secure（安全が保たれている）、Teachable（ともに学びあう）の頭文字で、AI倫理の根幹を成す原則です。
これらを実際に実践していくためにはどのようなアプローチがあるのでしょうか？ われわれは、そのアプローチを「技術」「ブランド」「ガバナンス」「組織・人材」の4つにまとめました。これらについて説明します。
1 「技術」のリスクを防ぐアプローチ
AIのリスクを認識するためにはAIを技術的に理解していることが必要不可欠となります。したがって、最初に考えるべきアプローチが技術面でのアプローチです。また技術は、TRUSTのあらゆる側面に関係する最も重要な要素です。
企業・組織として、技術レベルでAIのリスクや影響を判断するためには、AIの開発プロセスに着目します。AI開発プロセスとは、一連の機械学習の処理工程を含んだものになりますが、「機械学習の処理工程」という場合、データからの「訓練方法」と「評価方法」にフォーカスがあたっている場合が多いように思います。
しかし、AIが悪さをした最近の事例を見てみると、「データ」に問題があったというケースが多く見受けられます。したがって、「データ」そのものと「訓練方法」「評価方法」の3つの観点でリスクを認識し対策を講じることが重要になってきます。
「データ」の問題の場合、最も気づきにくく、意図しない形で混入してしまうのが社会的偏見です。AIの訓練に使用されるデータにバイアスとして知らず知らずのうちに入り込んでしまうのです。
顔認識AIの認識率に人種間で差が生じてしまったり、与信審査AIや人材採用AIで男性よりも女性に対し不利な結果を導いてしまったりというのは、訓練に使ったデータにそういった既存の社会的なバイアスが紛れ込んでしまったのが原因と考えられています。
バイアスを発見するための明確なガイドラインが必要
また、データの収集方法に問題がある場合もあります。
例えば、第2次世界大戦時、アメリカの海軍分析センター（CNA）が戦闘機の弱点を特定することを目的として帰還した穴だらけの機体を調査しました。被弾した機体から得られたデータを基に被害状況を丁寧にマッピングすると、エンジンやコックピットでは被弾が少なかったため、技術者たちはコックピット以外の部分を強化することにしたといいます。
しかし、実際にはエンジンやコックピットにダメージを受けた機体は墜落し回収できなかったため、エンジンやコックピットの被弾データが極めて少なくなっていたというのが真相のようです。
このようなバイアスは「生存者バイアス」とも呼ばれています。たまたま入手できた、あるいは入手しやすいデータを過度に信用してしまうのはAI開発の現場においてもよく見られる状況なので、つねに注意するとともに、そういったデータを検証しバイアスを発見するための明確なガイドラインが必要になるのです。
2「ブランド」価値を守り、高めるESGアプローチ
第2のアプローチがブランド価値を守り、そして高めるためのESGアプローチです。ESG、すなわち環境（Environment）、社会（Social）、ガバナンス（Governance）への社会的な意識はますます高まっています。
特に、欧州を中心に世界的に脱炭素への動きが加速しており、日本でも、2020年10月に菅義偉首相が所信表明演説で「温室効果ガス2050年実質ゼロ」を表明し、続く2021年4月には気候変動サミットにて、2030年度の温室効果ガス削減目標について「13年度比で46％減」と表明しました。日本企業も気候変動リスクへの対応が強く求められているのです。
では、こうした脱炭素の動きに対し、AIにはどのようなリスクがあるのでしょう？
AI研究のブレイクスルーとなった深層学習モデルは訓練に膨大な量のデータ処理を必要します。大規模なデータ処理では大量のメモリとプロセッサに対し高負荷を長時間与えることになります。したがって深層学習の成果は、消費電力の激増という負の側面を常に伴うことになります。消費電力の増加は二酸化炭素排出量の増加につながるため、大規模AIの訓練が地球温暖化につながっているのではないかという指摘もあるほどです。
実際、マサチューセッツ大学アマースト校の研究チームによると、Googleの自然言語処理モデルBERTの訓練に必要なコンピューティングコストを二酸化酸素排出量に換算すると、旅客機でニューヨーク・サンフランシスコ間を往復するときに排出される二酸化炭素排出量とほぼ同等であるとのことです。つまりAIが気候変動のリスク要因になりえるのです。
企業にとってブランド価値を守り、高めていくために、AIも環境に影響を与える要因として目を向けておかなければならない時代に入ってきています。
AIのリスクなどを把握しAI戦略を策定するガバナンスも
3「ガバナンス」における「火消し」のアプローチ
第3のアプローチは、ガバナンスを通して効果的な「火消し」を実現するということです。
これまで述べてきたとおり、デジタル経済が進展した現在、AIを活用した戦略は一部門での先進的な実験にはとどまらず、全社戦略としてとらえるべきものとなっています。
一方、AIの開発やその利用においては知らない間にリスクを抱えていたという事態も起こりえます。したがって企業・組織全体でAIのリスクや倫理面での問題点を把握・判断し、AI戦略を策定・実行していくようなガバナンスが求められます。
これはAIを開発している研究開発部門だけの対応で済む話ではありません。経営層から現場まで全員が協調しながら建設的に意見を出し合える、自浄作用をもつとともに持続的な関係性、いわゆる「倫理的エコシステム」 とでもいうべき企業・組織内での協力関係が必要となります。重要なポイントは報告と対処チームです。
初動においては、誤報を恐れない姿勢が大切です。AIに関するリスクの発見が遅れて制御不能の状態に陥るよりも、誤報のほうがはるかにリスクが低いことを理解し、警報を鳴らすことを躊躇しないよう奨励する必要があります。またあわせて報告窓口も用意し、誰でもリスクや問題を提起できる環境を用意することも忘れてはなりません。
報告されたリスクや問題は「消防隊員」に引き継がれます。実際の消防隊員には火災に関する専門的な知識と消防のスキルが求められますが、AIの倫理的ガバナンスにおける「消防隊員」もそれと同様です。普段からAI倫理・ガバナンスについて適切なトレーニングを受け、影響評価およびリスク評価を行うツールとそれを使いこなすスキルを習得しておく必要があります。
「消防隊員」はこれらの知識とスキルを駆使し、アルゴリズムに潜むバイアスやAI／機械学習の倫理に反する適用を特定します。「消防隊員」の主な仕事は現場の手に負えなくなった「火事」を消火し後始末をすることだけでなく、警報プロセスに従い「火事」を予防するまたは初期消火を行うことも含まれます。
4「組織・人材」に「AI倫理」を根付かせるアプローチ
第4のアプローチは組織・人材に「AI倫理」を根付かせるという、組織・人材でのアプローチです。
AI倫理はAI倫理委員会を設置すればあとは自然に組織文化になっていくというものではありません。組織という「器」に「魂」を入れていく活動が必要になります。それにはまず、経営層、ビジネスメンバー、そして開発メンバーのそれぞれに対して、目的に合わせた内容の研修が求められます。
基礎知識の習得はすべてのクラスの従業員に求められますが、ビジネスメンバーはデータやモデルに存在するバイアスの概要やそのリスク、対応方法を習得する必要があります。開発メンバーは、データやモデルのバイアス検知およびそれを軽減・対処するためのより実践的な内容について習得する必要があるでしょう。
研修を通じAI倫理について組織内を啓蒙すると同時に、異議を唱えられる環境・風土を醸成することも重要です。これが多様な観点でのAI開発の推進につながっていくのです。
未来に向けたAIビジネス
不平等・不利益・差別への意識がこれまでになく高まっている昨今、「責任あるAI」はAIをビジネスに活用する企業・組織にとって”あればよいもの”ではなく、”必須のもの”になりつつあります。これまでAIが引き起こしてきた問題を振り返ってみると、図らずも世の中に存在している不平等や差別がデータの中に内在化してしまい、それがAIの出力結果に反映・増強されて固定化してしまったケースが多いように見受けられます。
そう考えると、われわれの世界に不平等や差別がいかにはびこっているかということ、そしてAIはただ単にその世界を映し出した鏡にすぎないということに改めて気づかされます。
AIのビジネスに関わるものは、今まで以上に高い倫理観が求められているといえます。AIがわれわれの仕事や生活を含め社会全体にどのような影響を与えるのかを常に考え、正しく活用し、また正しく疑うリテラシーが、今求められているのです。
