AI合成音声で学校の校長を追放しようとした体育教師が逮捕される
アメリカ・メリーランド州ボルチモア郡にあるパイクスビル高校で体育部長および体育教師を務めていたダゾン・ダリエンが、同校の校長であるエリック・アイスワート氏が人種差別的かつ反ユダヤ主義的なコメントをしている音声をAIを用いて作成し、ソーシャルメディア上で拡散した罪で逮捕されました。
Dazhon Darien: Ex-athletic director accused of framing principal with AI arrested at airport with gun - The Baltimore Banner
School athletic director arrested for framing principal using AI voice synthesis | Ars Technica
https://arstechnica.com/information-technology/2024/04/alleged-ai-voice-imitation-leads-to-arrest-in-baltimore-school-racism-controversy/
Baltimore coach allegedly used AI voice cloning to get principal fired - The Verge
https://www.theverge.com/2024/4/25/24140556/ai-voice-cloning-baltimore-school-misuse
2024年1月にソーシャルメディア上で「アイスワート校長が人種差別的コメントを残す音声」が拡散されたそうです。この騒動の影響で、アイスワート校長は一時的に停職処分となりました。ボルチモア郡警察がこの音声を調査したところ、音声は「平坦なトーンで背景音は異常にきれいなのに対して、一貫した呼吸音や休止音が欠如している」という、AI合成音声の持つ特徴を有していた模様。さらに、音声ファイルのファイル名にはアイスワート校長と同じパイクスビル高校で体育教師を務めているダゾン・ダリエンの名前が記載されていたそうです。
WBAL 11やNBC Newsの報道によると、ダリエンはパイクスビル高校のコンピューターを使ってOpenAI製ツールとMicrosoftのBingチャットにアクセスし、AI合成音声を生成した模様。この他、ダリエンのメールアドレスおよび電話番号が偽造音声に紐づけられていたそうです。ただし、ダリエンがどのようなAI音声生成ツールを利用したのかは明らかになっていません。
ボルチモア郡警察は現地時間の2024年4月25日(木)にダリエンを逮捕しており、「パイクスビル高校の体育部長だったダリエンは、当時、学資の不正処理の可能性について調査を進めていたアイスワート氏に報復するために、AI合成音声を作成したものと思われる」という声明を発表しています。ダリエンは記事作成時点で保釈金を支払い釈放されていますが、学資の窃盗および学校運営の妨害、目撃者に対する報復、ストーカー行為などの罪に問われています。
ダリエンによるAI合成音声を用いた犯行については、ボルチモアの地元メディアであるWBAL-TVも報じています。
LIVE: Pikesville HS investigation update on AI-generated hoax - wbaltv.com - YouTube
AI合成音声の精度向上に伴い、AIを利用した音声クローン技術への関心が高まるとともに、問題も多数浮上しています。2024年1月にはAIで生成されたジョー・バイデン大統領の音声を用いた電話が有権者にかけられ、大きな問題に発展しました。これを受け、連邦取引委員会法(FCC)は「ロボコールのためのAI音声利用は違法」と宣言しています。
AIで生成されたバイデン大統領の「偽音声」電話が多数の有権者にかけられている - GIGAZINE
AI合成音声に対する懸念が広がる中で、OpenAIは2024年3月末にわずか15秒の音声からクローン音声を生成できるAIモデル「Voice Engine」をリリースしました。しかし、OpenAIはAI合成音声に対する懸念を受け、Voice Engineの一般公開については「合成音声が悪用される可能性があるため、広範なリリースに向けて慎重かつ十分な情報に基づいたアプローチをとっています」と述べました。
OpenAIがわずか15秒の音声からクローン音声を生成できるAIモデル「Voice Engine」をリリース - GIGAZINE
