by pxhere

元Googleのシンクタンクで、オンライン検閲やサイバー攻撃について取り組むGoogleの姉妹企業「Jigsaw」では、SNS上のヘイトスピーチを検出する機械学習システム開発プロジェクト「Perspective」を推し進めています。しかし、このPerspectiveのアルゴリズムが逆に人種差別を助長する可能性があったと、ワシントン大学の研究者が論文で発表しました。

The Risk of Racial Bias in Hate Speech Detection

(PDFファイル)https://homes.cs.washington.edu/~msap/pdfs/sap2019risk.pdf

Training bias in AI "hate speech detector" means that tweets by Black people are far more likely to be censored / Boing Boing

https://boingboing.net/2019/08/14/white-aligned-english.html

ワシントン大学の研究グループは、あらかじめ人間が「問題なし」「ヘイトスピーチ」などラベル付けした10万件以上のツイートをデータセットとして、PerspectiveのAIに学習させました。そして、その上でPerspectiveのAPIでツイートのヘイトスピーチを検出したところ、内容に問題のないツイートのおよそ半数が有害なコンテンツと判定されました。

研究グループによると、有害であると誤って判断されたツイートの多くはアフリカ系アメリカ人のユーザーによるものだったそうです。研究グループは、540万件ものツイートをデータセットとしてPerspectiveに学習させて検証を行いましたが、それでもアフリカ系アメリカ人ユーザーのツイートはその他の人種のおよそ2倍も有害であると判定されていたそうです。

アフリカ系アメリカ人のユーザーは、ツイートする上で黒人英語(AAVE、African American Vernacular English)をしばしば使います。例えば、一般的には差別的表現とされる「Nigger」は、黒人英語ではお互いへの呼びかけの言葉として用いられ、差別的意味を持ちません。しかし、一般的な英語と黒人英語を区別することができないPerspectiveのAPIは、黒人英語のツイートの約半数を誤って有害なコンテンツとして分類してしまったというわけです。黒人英語のツイートが有害コンテンツと指摘される確率は、一般的な英語のツイートのおよそ1.5倍もあったとのこと。



また、研究グループはPerspectiveのデータセットが人間によってラベル付けされたものであることも指摘。そもそも人間によってラベル付けされたデータセット自体に偏りがあったために、体系的に黒人英語のツイートを攻撃的なものと誤認することになったと述べ、データがもつ偏見が検出モデル自体がもつ偏見に拡大されていったと主張しています。

研究グループは、Perspectiveのアルゴリズム自体がアフリカ系アメリカ人への偏見を助長する可能性があると指摘し、「ヘイトスピーチ検出における意図しない人種差別を避けるため、言葉の違いによって生まれる影響に特別注意を払うべきです」と論じました。