英国の少女モリー・ラッセルは、2017年に14歳で自ら命を絶った。この行為に及ぶ前には、自殺や自傷の画像をネットで検索していたという。これだけでも十分に痛ましいが、そうした画像は彼女のお気に入りのソーシャルメディア・プラットフォームから“おすすめ”されていたことも、のちにわかっている。モリーのInstagramフィードは、こうした画像でいっぱいだった。
モリーの死から数カ月経っても、Pinterestは彼女にメールを自動送信し、アルゴリズムによって自傷の生々しい画像を薦めつづけた。なかには切り裂かれた太ももの画像や、少女が首を吊っているマンガもあった。モリーの父親は、InstagramとPinterestを訴えた。こうした露骨な画像の掲載を許し、モリーのフィードに送ることで、彼女の自殺をほう助したというのが理由だった。
「おすすめ」することの有害性モリーの父親がこの悲惨な状況に気づいたことで、InstagramやPinterestなどのソーシャルメディアが若者たちの“心の健康の危機”を悪化させている、という議論に拍車がかかった。ソーシャルメディアは「自殺世代（suicide generation）」興隆の要因になっている可能性がある。英国のティーンエイジャーの自殺率は、8年前の2倍になっているのだ。
モリーの死を受けて、変化を求める声が上がっている。例えば英保健省大臣のマット・ハンコックは、ソーシャルメディア企業はこうしたコンテンツを一掃する必要があると指摘し、これに従わない企業は起訴する、と強硬な姿勢を示している。こうした厳しい批判を浴びてインスタグラムは、「露骨な自傷の画像」を禁止した。自傷と自殺を“美化する”ことのみを禁止していたこれまでのルールから一歩前進したかたちだ。
だが、単純な禁止だけでは対処できないさらに有害な問題がある。ソーシャルメディアのプラットフォームは、こうした問題あるコンテンツをホスティングするだけでなく、その影響を最も受けやすい人に薦めてしまうのだ。
“おすすめ”することと、単に“手に取れる”ことはまったくの別物だ。それを裏付ける学術論文も次々に登場している。自傷であれ、デマであれ、テロリストの募集であれ、陰謀論であれ、プラットフォームはこのようなコンテンツを見つけやすくする以上のことをしてしまっている。「おすすめ」という方法でそれを増大させる手助けをしているのだ。
「判断」ができないアルゴリズムわたしたちの研究チームは、摂食障害を助長するコンテンツが、Instagram、Pinterest、Tumblrのユーザーに向けて「おすすめ」として表示される仕組みを探ってみた。自分を痛めつけるようなコンテンツが掲示されない明確なルールを設けて、特定のハッシュタグもブロックしているにもかかわらず、ソーシャルメディアのプラットフォームはアルゴリズムによってこうしたコンテンツを表示し続ける。
ソーシャルメディアのユーザーは、「おすすめ」を受け取る。各個人に合わせてパーソナライズされた、より楽しいと思われる体験のためだ。
インテリアのアイデアについて検索すると、フィードにはすぐにペンキのサンプル写真が表示され、フォローすべきアマチュアのインテリアデザイナーがお薦めされる。つまり、摂食障害においても同じように、それを助長するアカウントや自傷の画像を投稿しているアカウントを検索すればするほど、プラットフォームはそのユーザーの関心を学習し、さらに深みへと追い込んでいく。
モリーの父親も気づいたように、こうしたお薦めシステムが「判断」することはない。ユーザーが「気に入りそう」なものを表示する。実際に気に入るかどうかは関係ない。そのプラットフォームのコミュニティガイドラインに反していようとも、表示し続ける。
もしあなたが自傷に関するグラフィックイメージを探せば、あるいは自分の鬱についてざっくばらんに話しているユーザーをフォローするだけでも、おすすめシステムはあなたのフィードを“提案”でいっぱいにする。そして、あなたが自分のメンタルヘルスを再形成していってしまうのだ。
禁止がもたらすコミュニティへの弊害特に見たいとも思っていなかったコンテンツがレコメンドされ、その数はますます増えていく。Instagramの発見ページも、Pinterestのホームフィードも、Tumblrのダッシュボードもそうだろう。ソーシャルメディアのアカウントはたちまち、遊園地にあるビックリハウスの歪んだ鏡に様変わりする。自分の心の状態を映して見せるだけでなく、拡大して歪ませるのだ。
当然ながら、プラットフォームによる“禁止”が完璧であれば、おすすめに表示されるのは、ソーシャルメディアが提供すべき最も好ましいコンテンツのみになるだろう。しかし、そうはならないのは明らかだ。努力が足りないからではない。コンテンツの管理は驚くほど難しいからである。
好ましい内容と好ましくない内容の境界線は、いつだって曖昧だ。不慣れなレヴュー担当者でも、自傷を助長するコンテンツと回復を促すコンテンツを、わずか数秒で区別しなければならない。毎日大量にアップされる新しい投稿のなかには、監視の目をすり抜けるものもあるだろう。さらに、自傷は精神疾患の症状のひとつにすぎない。Instagramが自傷を描写するコンテンツの取り締まりを約束したとしても、ほかのコンテンツは手つかずのまま残る。
さらに禁止は不完全なだけでなく、それ自体が有害になる可能性がある。自傷や自殺に向かう気持ちと闘っているユーザーの多くは、ネット上で心の支えや現実的なサポートを見つけられる可能性がある。ソーシャルメディアはこうしたユーザーに対して、支えになるコミュニティや価値のあるアドヴァイス、安堵感や、受容されているという感覚を与えうるものなのだ。
そしてこうしたコミュニティは、ほかの人にとってはショッキングに思えるような画像をあえて拡散させることがある。誰かが苦しんでいるという証しとして、もしくは死の淵から生還したことを讃える尊敬のしるしや、助けを求める叫びの声として。全面的に禁止してしまえば、こうしたコミュニティが消滅する危険性がある。
いまこそ、もっと議論をこの問題は、生々しいコンテンツをただ消せばいいという話ではない。適切なコンテンツは人によって異なるということを、プラットフォーム側はしっかりと認識する必要がある。さらに、自分で探して見つけることと、それ以上のものを見るように薦められることは違うということや、個人にとってよいことがすべての人にとってもよいとは限らないことも理解すべきだ。
レコメンドシステムについての議論は十分にされていない。それはおそらく、当たり前になりすぎているからか、あるいはほとんどのユーザーがその仕組みをよく理解していないからだろう。
すでに購入済みのアマゾンの商品をすすめてくるFacebookを鼻で笑うこともあれば、ジェームス・ブラントの曲を1回聴いただけで自分を“悲しい曲好き”と判断するSpotifyに嫌気が差すこともあるだろう。だが研究者たちは、レコメンド機能について、より真剣な議論を始めている。
サフィヤ・ウモジャ・ノーブルは、自著『Algorithms of Oppression: How Search Engines Reinforce Racism』（圧制のアルゴリズム：検索エンジンがどのように人種差別を強化するか）のなかで、検索結果で人種的固定観念を増幅させているとしてグーグルを批判している。
関連記事：政治的対立を生むGoogle検索、そのアルゴリズムが抱える根深い問題
『ツイッターと催涙ガス ネット時代の政治運動における強さと脆さ』の著者であるゼイナップ・トゥフェックチーは、陰謀論や過激派のコンテンツを拡大させるYouTubeの特性を取り上げ、おすすめのアルゴリズムは「常に拡大させ続けるようなやり方で動画を宣伝・推奨・拡散している」と主張している。
こうした議論がもっと必要だ。特にこうしたおすすめが、メンタルヘルスの危機に直面している人々に与える影響については活発に議論していかなければならない。自傷画像が入手できる状況であるということだけでなく、同じような、あるいはもっとひどいコンテンツを繰り返し目にすることの辛さを認識すべきなのだ。
企業と医療従事者が互いにもつべき知識Instagramを率いるアダム・モッセーリは『テレグラフ』の論説で、「Instagramは自殺と自傷の問題を扱うべき場所ではない」と認めている。Pinterestの広報担当は、次のように語った。
「自傷に関する既存のポリシーでは、自傷を助長することは一切認めていません。しかし、ポリシーだけでは不十分であることは理解しています。言葉よりも行動が重要です。アルゴリズムを大幅に改良し、ユーザーのホームフィードにセンシティヴなコンテンツをおすすめとして表示しないようにしました」
「また、センシティヴなコンテンツを検出して削除し、そのコンテンツを探している人に思いやりのあるサポートを積極的に提供できるような方法を、近いうちに公開する予定です。これは、わたしたちだけではできないことは理解しています。だからこそ、この方法がより効果的なものになるように、メンタルヘルスの専門家と協力を続けています」
しかし、真の変化を起こすのは簡単ではないだろう。おすすめは、ソーシャルメディアがユーザーをサイトに引き留めてクリックさせるための手段だ。消えるとは思えない。さらにこうしたアルゴリズムは、個々のユーザーのそれぞれの欲求を満たすように最適化されているため、集団の利益になるように最適化することはかなり大変だ。
ソーシャルメディア企業には、メンタルヘルスに関する知識を社内でも高めることが求められている。不愉快さと有用さの両面をもつコンテンツの扱い方を適切に判断する際や、心の病と闘うユーザーにプラットフォームが与える影響を十分に理解するために必要だからだ。これについては、インスタグラムが取り組むことを約束していて、必須事項としてやり遂げられるだろう。
また、ソーシャルメディアとレコメンドシステムに関する知識を、いますぐにでも精神疾患の治療に組み込む必要がある。医療従事者は、人々はただコンテンツを探しているだけではないということを認識すべきだ。
ただコンテンツを探しているのではなく、それらの探求は“応えられ”続けている。フィードやメールなどさまざまな方法を通じて、ソーシャルメディア企業はユーザーを喜ばせ、つなぎとめようとするのだ。
イサベル・ジェラード｜YSABEL GERRARD
シェフィールド大学講師。専門はデジタルメディアと社会。ソーシャルメディアのコンテンツモデレーションを研究している。研究内容は「BBC World Service」「BBC Woman’s Hour」『ガーディアン』『テレグラフ』などで取り上げられている。
タールトン・ギレスピー｜TARLETON GILLESPIE
マイクロソフト・リサーチの主席研究員でソーシャルメディア研究者。コーネル大学准教授。著書に『Custodians of the Internet: Platforms, Content Moderation, and the Hidden Decisions that Shape Social Media』など。