Googleは児童性虐待記録物(CSAM)撲滅のための取り組みを行っていて、自動化された審査と人間の目視による審査でGoogleのプラットフォーム上にCSAMがないかどうかを確認しています。この仕組みに、子どもの写真を撮影した親が引っかかってしまい、Googleアカウントを凍結される事態になっています。

A Dad Took Photos of His Naked Toddler for the Doctor. Google Flagged Him as a Criminal. - The New York Times

https://www.nytimes.com/2022/08/21/technology/google-surveillance-toddler-photo.html

NYT: Parents Lose Google Accounts Over Abuse Image False Positives | PCMag

https://www.pcmag.com/news/nyt-parents-lose-google-accounts-over-abuse-image-false-positives



2021年2月の金曜日の夜、マーク氏の幼い息子の男性器が腫れ上がり、息子が痛がるため、マーク氏の妻は看護師に連絡を取りました。ただちに翌朝リモートで緊急の診察を受けられることになり、看護師は医師が事前に確認できるよう、患部の写真を送るようマーク氏の妻に伝えました。

マーク氏の妻は、マーク氏のスマートフォンで息子の男性器の写真を数枚撮影。その中にはマーク氏の手と一緒に撮影することで、患部が腫れていることがよくわかるものも含まれていました。マーク氏の妻は写真を自分のiPhoneに転送し、医療機関のメッセージングシステムにアップロードしました。

写真のおかげで医師は適切な診察を行うことができ、マーク氏の息子には抗生物質が処方されて、すぐに治りました。



しかし、写真を撮ってから2日後、マーク氏のもとに「ポリシー違反」の通知があり、Googleアカウントは無効化されてしまいました。最初は混乱したマーク氏でしたが、ソフトウェアエンジニアとして問題があるコンテンツを自動削除するツールの開発に携わった経験から、理由の中にあった「児童の性的虐待や搾取」を見て、先日息子がかかった感染症のときの写真をGoogleが児童ポルノだと誤認しているのだろうと気付きました。

マーク氏はただちにGoogleのフォームから、息子の感染症についての説明を送りましたが、数日後、Googleはマーク氏のアカウントを復活させることはないという決定を通知。それ以上の説明はなかったとのこと。

そして2021年12月になって、マーク氏はサンフランシスコ警察から、GoogleとISPに出された捜査令状の写しと、マーク氏が捜査対象になっていたことを知らせる書類を受け取りました。捜査は「児童搾取ビデオ」に関するもので、マーク氏が息子の写真を撮影してから1週間のうちに行われていました。驚いたマーク氏は捜査官のニコラス・ヒラード氏に連絡したものの、ヒラード捜査官は「事件は解決済みです」と答えたとのこと。ヒラード捜査官の作成した報告書によれば「この事件は犯罪の要素を満たしておらず、そもそも犯罪は発生しなかった」という結論でした。

Googleアカウントの復活はヒラード捜査官にはどうしようもないということで、マーク氏は警察の報告書を添えてGoogleに再度アカウントの復活を求めたものの、Googleは対応しませんでした。

Google側の説明によると、マーク氏の息子の写真において、患部には発疹や赤みは検出されず、また、そもそも6カ月前に幼児が裸の女性とベッドに寝ている映像が見つかったのも問題視されたとのこと。マーク氏は当該動画のことを覚えておらず、すでに確認もできない状態のため詳細は不明ながら、おそらく、妻と息子の幸せそうな瞬間を記録しようとしたものではないかと説明しています。



マーク氏のGoogleアカウントは無効化されたままですが、サンフランシスコ警察にはデータのバックアップがあることから、マーク氏はなんとかしてそのデータを復活させたいと考えているとのこと。また、警察の広報担当者も、マーク氏を助けてあげたいと考えていると述べたとのことです。

なお、マーク氏とまったく同じく、小児科医に診せるために撮影した子どもの写真を理由としてGoogleアカウントを無効化されたという事例が、ほぼ同時期の2021年2月に報告されています。当事者であるCassio氏は異議申し立てを行ったもののGoogleに却下されています。

Google incorrectly judged my case On February 22nd, 2021, Google disabled my account saying I had seriously violated their policies: > It looks like this account was used in a way that seriously violated Google’s policies. Learn more [ https://sup - Google messing up my life

https://googlemessingupmylife.quora.com/Google-incorrectly-judged-my-case-On-February-22nd-2021-Google-disabled-my-account-saying-I-had-seriously-violated-th

Googleの広報担当者は「法執行機関が2人(マーク氏とCassio氏)を潔白だといったとしても、当社は自らの判断を支持します」と述べたとのことです。