子ども向けのビデオに過激で不適切な自動字幕、YouTubeで起きている問題の深刻さ
YouTubeチャンネル「Rob the Rob - Learning Videos For Children」には約40万人の登録者がいる。2020年に公開された回では、ギリシャ神話の英雄ヘラクレスに憧れたロボットのロブと仲間たちがスタジアムがテーマの惑星を訪れ、ヘラクレスの偉業に挑戦する。
「子ども向けのビデオに過激で不適切な自動字幕、YouTubeで起きている問題の深刻さ」の写真・リンク付きの記事はこちらこれは小学生向けの冒険物語だが、YouTubeの自動キャプションをオンにすると、なんと子どもたちがアダルトコンテンツの語彙を身につけてしまうかもしれない。この回のある時点で、YouTubeのアルゴリズムは「brave（ブレイブ＝勇敢な）」を「rape（レイプ）」に聞き間違え、「strong and brave like Heracles（ヘラクレスのように強くて勇敢）」に対して「strong and rape like Heracles（強く、ヘラクレスのようにレイプする）」とキャプションを付けてしまうのだ。
SCREENSHOT: ROB THE ROBOT - LEARNING VIDEOS FOR CHILDREN VIA WIRED STAFF
最新の研究によると、YouTubeのアルゴリズムが子ども向けの動画に付けたキャプションで、極端な成人向けの単語が誤って表示されることがあるとわかった。トップ24の子ども向けチャンネルで公開された7,000本の動画を調査すると、実にその40％が1,300語からなる「タブー単語」リスト（罵り言葉についての研究から抜粋したもの）にある単語をキャプションで表示していた。
例えば、YouTubeのアルゴリズムは「bitch（ビッチ）」「bastard（ろくでなし）」「penis（ペニス）」などの単語をキャプションに追加する可能性が高い傾向がある。約1％の映像には、16語からなる「非常に不適切な単語」リストにある単語が表示されていた。
毎週開催のイベントに無料参加できる！『WIRED』日本版のメンバーシップ会員 募集中！
登録者数30万人以上の子ども向けチャンネル「Ryan’s World」の動画を見れば、この問題がよくわかる。ある動画では「You should also buy corn（トウモロコシも買ったほうがいいよ）」という発言に対し、「You should also buy porn（ポルノも買ったほうがいいよ）」というキャプションが表示される。
また、「beach towel（ビーチタオル）」は「bitch towel（ビッチタオル）」に、「buster（退治する人）」は「bastard（ろくでなし）」、「crab（カニ）」は「crap（クソ）」と表示された。モンスターをテーマにしたドールハウスをつくるビデオでは、「bed for penis（ペニス用ベッド）」というキャプションが登場する。
Business_Ryans_World_2.jpeg
YouTubeの子ども向けの動画では、「トウモロコシ（corn）」を「ポルノ（porn）」と表示してしまっている。SCREENSHOT: RYAN'S WORLD VIA WIRED STAFF
「これは本当に驚きで、憂慮すべきことです」と、ロチェスター工科大学助教授のアシク・クーダバクシュは言う。クーダバクシュは、ハイデラバードのインド商科大学院のクリシカ・ラメシュとスミート・クマールと共同で、この問題を調査した。
自動キャプション機能は、子ども向けサービスである「YouTube Kids」では利用できない。だが多くの家庭は、キャプション機能の付いた通常版のYouTubeを観ている。
20年のピュー研究所の報告によると、11歳以下の子どもをもつ親の80％が、子どもがYouTubeコンテンツを観ていると回答している。そして50％以上の子どもは毎日観ているという。
クーダバクシュは今回の研究により、これまでテック企業や研究者が気にしていなかった現象に光があたることを期待している。クーダバクシュは「不適切なコンテンツに見せる幻覚」と呼んでいるが、これはアルゴリズムがオリジナルのコンテンツに存在しない不適切な内容を追加するという現象のことだ。スマートフォンのオートコンプリートだと、成人向けの単語は少しイライラするほど極端にフィルタリングされるが、その逆を考えてみてほしい。
YouTubeの広報担当者によると、13歳未満の子どもには自動キャプション機能のないYouTube Kidsの使用が推奨されているという。通常版のYouTubeにおいて自動キャプション機能は、アクセシビリティを向上させる目的なのだという。「わたしたちは自動キャプション機能の改善とエラーの削減に継続して取り組んでいます」
「Ryan’s World」を公開している子ども向けエンターテインメントスタジオPocket.watchの広報担当者は、「わたしたちはYouTubeをはじめ、不正確なキャプションのアップデートに取り組むプラットフォームパートナーと密接に連絡をとっています」と説明している。「Rob the Robot」のチャンネル運営者からのコメントは得られていない。
システムの盲点
「不適切なコンテンツに見せる幻覚」は、YouTubeなど動画のキャプションに限ったことではない。例えば、スタートアップのTrintが提供する電話音声の書き起こしサービスでは、人間が聞けばまるで別の単語に聞こえるにもかかわらず、ペルシャ系の女性名である「Negar（ネガー）」が黒人に対する差別表現として書き起こされている状況があった。
TrintのCEOのジェフリー・コフマンによると、このサービスには一部の冒涜的な単語に対するフィルターがあり、リストにある単語を自動で削除するという。今回の単語はリストになく、今後追加される予定となっている。「音声入力のメリットは否定できませんが、こうしたシステムには盲点があります。たび重なるチェックとバランス感覚が必要なのです」と、ロチェスター工科大学のクーダバクシュは語る。
「WIRED Thursday Editor's Lounge」本格始動！いまいちばん会いたいゲストに“公開インタビュー”。毎週木曜夜のオンラインイベントをチェック！（詳細はこちら）
広い文脈や意味を理解しながら音声を理解する人間には、こうしたシステムの盲点は意外に感じられるかもしれない。アルゴリズムの言語処理能力は向上したが、言語を完全に理解する能力はまだ存在しないのだ。あるスタートアップは、アドべンチャーゲームに未成年者の性的描写が含まれていることが発覚し、ゲームの改訂を余儀なくされている。
機械学習のアルゴリズムは、大量の学習データを処理すること（この場合は音声ファイルと書き起こしファイルとのマッチング）により、タスクを「学習」する。クーダバクシュによると、YouTubeの学習データはほとんどが大人の音声データで、子どものデータが少ないことからシステムが冒涜的な単語を表示する可能性があるという。
キャプションに含まれる不適切な単語の例を研究者が手作業で確認したところ、子どもや英語を母語としない人の発話も多くみられた。これまでの研究によると、グーグルやその他の大手テック企業が提供する書き起こしサービスでは、非白人話者の言葉に対して誤った表記をすることが多く、アメリカ英語でもなまりのある地域の英語よりも、標準的なアメリカ英語のほうが誤りが少なかったという。
こうした先行研究のひとつに執筆者として携わった言語学者のレイチェル・タットマンによると、子どものYouTube動画でブロックしたい単語のリストがあれば、今回の研究で発見されたような最悪の自体には簡単に対処できるという。「このようなリストが明らかに存在しないのは、技術面の落ち度だと思います」と、タットマンは語る。
しかしタットマンは、ブロックしたい単語のリストをつくることも、また解決策としては不完全だと指摘する。それぞれは害のない単語を組み合わせても、不適切なフレーズを構成することが可能だからだ。
より精度の高い方法としては、子ども向けコンテンツを扱うときに大人向けの言葉を避けるようキャプションのシステムを調整することが考えられる。だがタットマンによると、それもまた完璧ではないという。
言語を扱う機械学習ソフトというものは、統計的に一定の方向へ調整することは可能だが、人間にとって当たり前の文脈を尊重するようプログラミングすることは難しい。「言語モデルは精密工具ではないのです」とタットマンは語る。
ロチェスター工科大学のクーダバクシュと共同研究者たちは、書き起こしでタブーとなる単語を修正するシステムをいくつか考案してテストした。ところが、そのなかで最も精度の高かったシステムでさえ、YouTubeの書き起こしで3分の1以下しか正しい単語を挿入することができなかった。クーダバクシュたちは22年のアメリカ人工知能学会で研究を発表し、ほかの研究者がこの問題を調査するときに役立つように研究データを公開している。
クーダバクシュの研究チームは、アマゾンが提供する自動音声書き起こしサービスでも、子ども向けYouTube動画の音声を書き起こした。すると、やはりコンテンツの内容がとげとげしく見えるような誤りが出現したのである。アマゾンの広報担当者からのコメントは得られなかったが、避けたい単語を修正したりフィルタリングしたりする方法について開発者向けの文書を提供してくれた。
子ども向けのコンテンツの音声書き起こしには、こうした仕組みを利用したほうが賢明であると、研究の結果は示唆している。そうでないと、おもちゃの動画の「Fluffy（ふわふわ）」は卑猥なFワードに変わってしまう。そして出演者が視聴者から「craft ideas（工作のアイデア）」ではなく、「crap ideas（くだらないアイデア）」を募集することになってしまうのだ。
（WIRED US/Translation by Taeko Adachi/Edit by Daisuke Takimoto）
※『WIRED』による人工知能の関連記事はこちら。機械学習の関連記事はこちら。
Related Articles
AIの基盤となるデータに「ラベル付けの間違い」が蔓延、その影響の深刻度人工知能（AI）の訓練に使われるデータセットに数多くの間違いが含まれていることを示す論文が、このほど発表された。画像などのデータのラベル付けに問題がある状態でAIが学習すると、アルゴリズムが誤った判断を下す危険性がある。https://media.wired.jp/photos/61de2e1c705e9457064ef62e/master/w_1200,h_630,c_limit/sz_og.png
毎週のイベントに無料参加できる！
『WIRED』日本版のメンバーシップ会員 募集中！
次の10年を見通すためのインサイト（洞察）が詰まった選りすぐりのロングリード（長編記事）を、週替わりのテーマに合わせてお届けする会員サービス「WIRED SZ メンバーシップ」。毎週開催のイベントに無料で参加可能な刺激に満ちたサービスは、無料トライアルを実施中！詳細はこちら。
