家や職失う｢巨大冤罪｣招いたアルゴリズムの怖さ

2024年3月19日 15時0分

蘭アムステルダム児童手当の不当返還請求問題巡りデモ（写真：ANP Photo/アフロ）

昨今、AI（人工知能）の急激な発達が注目されている。まるで人間のように自然な会話ができるサービス「Chat GPT」が話題になったのも記憶に新しい。一方で、こうしたAIやアルゴリズム（問題解決や目標達成のための計算・処理手続き）に意志決定や判断を委ねることへの危惧も広まりつつある。2010年代のオランダでは、アルゴリズムの判断によって大規模な冤罪事件が生じてしまったことがある。やはり最終的には人間の判断が必要になってくるのだろうか。統計学者のジョージナ・スタージ氏が上梓した書籍『ヤバい統計』から一部を抜粋して紹介する。

アルゴリズムが原因で起こった大規模冤罪事件

アルゴリズムは自分自身をつくりだすことはしないと前編で述べたが、それは完全なる真実ではない。アルゴリズム自体がみずからをつくりだすアルゴリズム、あるいは少なくとも、何をするかの判断をアルゴリズム自体に委ねたものは存在する。

通常、アルゴリズムに与えられるタスクは、与えられたデータのパターン、つまり、物事のあいだの関連性を見つけることだ。ときには、ある問題のさまざまな側面に関するデータを与えられ、どれが「重要」なのかを判断するよう指示される場合もある。

オランダ政府は2010年代に、後者のたぐいの突然変異アルゴリズムの犠牲になった。一連の組織的な社会福祉給付金詐欺事件が世間の注目を集めたことによって、国税関税執行局は詐欺を根絶するためのさらなる対策を取ることにした。

同局は、過去に詐欺を働いた犯人たちのデータをアルゴリズムによって分析し、結果として得られた情報から、いま詐欺を行っている可能性のある人物を選び出した。

そうして、「あなたの社会福祉給付金を打ち切ります。過去数年にわたって支払われていた給付金を返納するように」という内容の通知が、政府から送られてくる人が出はじめた。

なかには、何万ユーロも返納するよう命じられた人もいた。なかなか返納しようとしなかった人には罰金が科せられた。その結果、仕事を辞めざるをえなくなったり、保育料が支払えなくなったりする人が出て、しまいには家を失うことになる人まで出た。

2018年、ジャーナリストたちは弁護士から聞いた数々の話や、巷で多く耳にする噂を詳しく調べはじめた。そうやって手に入れた情報をまとめると、非常に気がかりな傾向が浮かび上がった。

二重国籍をリスク要因とみなしていた

要は、詐欺を疑われた人々のなかで、移民やその子どもたちの割合が不釣り合いに大きかったのだ。その後、2020年の夏にようやく真相が明らかになった。国税関税執行局で使われていたアルゴリズムは、「二重国籍」を詐欺の強力な「リスク要因」とみなしていたのだ。

近年の大規模な詐欺事件で二重国籍者が犯人だった場合が多かったことから、アルゴリズムはそれを「重要な要因」とみなすようになったのかもしれない。

だが、詐欺の犯人に二重国籍者が多かったことを、単なる連想や偶然の一致としてではなくリスク要因として捉えるのは、果たして適切なことなのだろうか。

たとえ、特定の移民コミュニティ内で組織的詐欺の証拠が発見されていたとしても（実際、ブルガリア人に関するそうした例があった）、その国籍であることを理由に犯人だと判断するのは、政治的に慎重な対応とはとてもいえない。

しかも、「二重国籍」という要因はあまりに曖昧なため、現実的に詐欺の犯人かどうかの判断材料にはとうていなりえない。

アルゴリズムが出した結果を見た同局は、オランダ以外の194カ国のいずれかとつながりのある人のほうが、オランダ国籍しかもっていない人より詐欺師になる可能性が高いと、本気で納得したのだろうか。

このアルゴリズムは、完全に自身の裁量に任されていたため、いわばブラックボックスのなかで働いていたようなものだった。もし誰かがときどき箱のふたを開けて、アルゴリズムが何に取り組んでいるのかを確認していたら、問題はもっと早く見つかったかもしれない。

この不祥事で、内閣も総辞職

「児童手当事件（toeslagenaffaire）」として知られるようになった、国税関税執行局によるこの不祥事によって、オランダ政府は10億ユーロ（約1298億円）を超える補償金を払うことになると考えられている。人種差別、人権侵害、市民に対する「前代未聞の不当行為」を行ったとして、政府は激しく非難された。総選挙を2カ月後に控えた2021年1月、この不祥事の責任を取って、首相をはじめ内閣が総辞職した。

確かに、「アルゴリズムは公平な判断に基づいて機能している」「アルゴリズムは監視しなくてもいい」と思ったほうが楽であり、「どのみち高度すぎて、一般の人には理解できないものだ」と考えるのも当然のことだ。

「最初のころは、アルゴリズムは本物の魔法にしか思えない」と、数学者のハンナ・フライは記している。「だが、しだいにその仕組みがわかってくると、謎めいた雰囲気は消え去ってしまう。ほとんどの場合、あの見た目の裏に潜んでいるのは、笑ってしまうほど単純なもの（あるいは不安になるほど無鉄砲なもの）なのだ」。

封をされた箱のなかで物事を進めているアルゴリズムのふたを実際に開けて見た人は、何もかもがひどく乱れた状態が内部でつくりだされていることに気づいて恐ろしくなり、箱と中身をできるだけ遠くに投げてしまいがちだ。

このように、コンピューターに簡単に罪を負わせてしまえることにより、自分は責任を取らずにすむという問題がある。しかも、コンピューターのせいにすることによって、本来なら向き合わなければならない不都合な真実を直視しなくなるという恐れもある。

ここまで見てきたとおり、アルゴリズムは、光合成をする植物とは違って大気からデータを吸収するようなまねはできず、人間が与えたデータを使うしかない。

怖いのは、（アルゴリズムが使われている）こうした機械は、封をされた箱のなかですべての作業をこなすという点だ。機械が自分自身にどんな指示を与えているのか、外からはまったく見当もつかない。

この状況は、ダグラス・アダムスが『銀河ヒッチハイク・ガイド』（河出文庫）で描いた世界とさほど変わらない。そこでは、スーパーコンピューター「ディープ・ソート」が「生命、宇宙、万物についての究極の疑問」の答えを見つけるよう命じられていた。その結果、750万年後にディープ・ソートが出した答えは「42」という数字だった。結果にひどく落胆した人々に対して、ディープ・ソートは「何を探すべきかをきちんと指示されたことは、一度もなかった」と不満を訴えるのだった。

統計モデリングやアルゴリズムには、計り知れない力が備わっている。正しく利用すれば、何百万個、さらには何十億個ものデータポイントを瞬時に分析できる。

パターンを読み取り、因果関係を確認でき、しかも探し出すのが非常に難しいものも見つけられる。「ビッグデータ」「機械学習」「人工知能」といった技術が実現してくれそうな効率性と徹底性における改善を、うまく活用できればと政府が熱を入れるのは、当然といえば当然だ。