AIで作るニセ情報｢ディープフェイク｣氾濫の脅威
AIを使い本物と見紛うフェイクコンテンツを作成して悪用する「ディープフェイク」が巧妙化している（写真：metamorworks / PIXTA）
「アメリカ国防省の近くで爆発が起きたとするフェイク画像が拡散され、ダウ平均株価が一時下落」
「台風の豪雨により静岡県で水害が起きた際、町全体が水没したかのようなニセ画像が拡散され、県が冷静な対応を取るよう注意喚起を行った」
「フェイク音声で上司になりすました犯人から電話。ニセ者と気づかず、イギリスのエネルギー企業のCEOが現金を送金してしまった」
サイバー攻撃やセキュリティーの最新動向など、その他の関連記事はこちら
こうしたAIによって作られたニセ画像・ニセ動画・ニセ音声などの「ディープフェイク」が巧妙化している。
ディープフェイクとは、機械学習の1つのディープラーニングとフェイクを組み合わせた造語。もともとは画像や動画を合成して新たなコンテンツを作成する技術だったが、現在ではAIを使い本物と見紛うフェイクコンテンツを作成して悪用するケースが増えている。
本物と見分けがつかないフェイクコンテンツが増加
以前からニセ画像・ニセ動画・ニセ音声そのものは存在したが、かつては人間が目視で確認したり、音声を聞いたりすれば不自然だと判断できるものが多かった。
「顔や音声、体、言語など人間由来の情報を手に入れやすくなっているのはもとより、その情報を使って学習するAIの性能が進化している。AIに人間由来の情報を安価に作ってもらうことも可能になり、2018年頃から目視では本物と見分けがつかないフェイクコンテンツが増えていった」と国立情報学研究所シンセティックメディア国際研究センター長の越前功氏は話す。
つまり、作ろうと思えば、誰でもすぐに欲しいコンテンツが作れるような状況になっている。
上記はすべてAIを使って作成した顔のフェイク画像（写真：越前氏提供）
だが、ひとくちにフェイクコンテンツと言っても、それらの作成に使われる技術はさまざま。例えば、人物の顔を対象としたフェイクコンテンツは、次の5つのタイプに大別できるという。
�� 現実世界に存在しない顔全体をゼロから生成するもの
�� 実在するターゲットの顔画像をもとに、髪の色や表情などを変更した画像を生成するもの
�� 実在するターゲットの顔の画像や動画に、攻撃者の表情を合成するもの
�� 実在するターゲットの画像や映像に、音声やテキストを合成することで、その人が話しているように見せかけるもの
�� 元となる映像の顔部分をターゲットの顔と入れ替えるもの
生成AIの進化で、とくに高度化が著しいのが�ヾ藾澗里鮃臉�するタイプだ。中でも元の画像データにノイズを加えたり、ノイズを取り除くことで新たな画像を生成する方法「拡散モデル」が注目されている。
この「拡散モデル」を使ったサービスとして、よく知られているのが「Stable Diffusion」だ。オープンソースとして公開されているから、誰でも自由にチューニング（調整）をかけてオリジナルのモデルを作ることができる。ただ、「特定の人物の画像を生成するモデル」を作ることも可能で問題にもなっている。
例えば、実在する著名人の画像を学習させたモデルを作り公開すると、あとはテキストで指示するだけで、その人物の表情やポーズ、シチュエーションを変更した画像を自由に生成できてしまうのだ。
一度チューニングしたモデルを作ってしまえば、使う側は元となる人物の素材を探すことすらせずに、その人物の新たな画像を作ることができてしまうため、悪用されるとさまざまな問題につながることが容易に想像できるだろう。
ほかのタイプにも懸念すべき課題は多くあるが、例えば��実在するターゲットの顔の画像や動画に攻撃者の表情を合成する「表情転写」と呼ばれる技術を悪用することで、本人確認のための認証を突破されてしまうリスクも上がっているという。
ネット銀行の口座開設時などにオンラインで本人確認を実施するeKYC（electronic Know Your Customer）では、最初に免許証などの写真を撮影し、続いてスマホのカメラに向かって申込者本人が指示された方向に顔を向けるなどの動きをすることで本人確認を行う。
��のように、ターゲットとなる人物の写真をもとに、「静止画の写真の人物」を攻撃者の動きにあわせて自由に動かせてしまうとなると、攻撃者が代わりに認証を行っても容易に本人確認ができてしまうことになる。
真贋判定や「サイバーワクチン」技術を開発
こうしたディープフェイクの氾濫に対して、どのような対策が可能なのだろうか。
越前氏らは、AIを活用し、顔の画像や映像に対してそれが本物なのか、あるいはAIで生成されたものなのかを識別する技術を開発。目や口のあたりのノイズから改ざんの有無を判定し、ニセモノの場合は顔のどの部分がどの技術で改ざんされているのかを推測できるという。
ただ、真贋判定にはどうしても限界がある。コンテンツは膨大にある中でフェイクを1つひとつ検知するのは非現実的で、技術的にも攻撃者といたちごっこになりやすいからだ。
そこで、フェイクコンテンツを作られた場合に備える「サイバーワクチン」と呼ばれる技術も開発している。あらかじめ人の顔の映像や画像に、目には見えないオリジナルの顔に関する情報「サイバーワクチン」を埋め込んでおく。たとえその顔が、ほかの人に置き換えられた場合も、埋め込まれた情報を参考にして元の映像や画像を復元できる手法だ。
あらかじめオリジナルの顔に関する情報「サイバーワクチン」を埋め込んでおくと、ほかの人に置き換えられた場合も埋め込まれた情報を参考にして元の映像や画像を復元できる（写真：越前氏提供）
さらに、自分の画像をAIの学習に使わせないようにするワクチンも開発している。生成AIの学習元となる画像は、インターネット上を巡回するクローラーと呼ばれるボットによって収集される。日本の著作権法では、AIの学習に使うデータは無断で収集して使用することが認められているが、知らない間に自分の顔画像が使われているのはあまりいい気持ちはしない。
このワクチンを画像に埋め込むと、画像に人物が写っていることをクローラーが確認できなくなり、収集の対象となることを避けられるという。サイバー空間内で画像を隠し、プライバシーを守ることができるのだ。
真贋判定の技術を企業向けに提供も
真贋判定の技術については、企業向けサービス「SYNTHETIQ VISION」として2021年より社会実装も行われている。企業が簡単に利用できるWeb APIとして提供され、多くの企業から引き合いがあるという。
例えば、実在する著名人のデジタル空間での「分身」として公式3DCGモデルを制作・管理するサービス「デジタルツインレーベル」を展開するサイバーエージェントは、登録した著名人のディープフェイク検知のために導入している。
このほかにも、金融機関がeKYCなどに対するなりすまし検知に利用したり、弁護士事務所などが誤った証拠の使用を避けるための真正性確認に使ったり、報道機関が誤報道を避けるために報道前に真贋判定を行ったりと、さまざまなユースケースが期待されている。
ユーザーができる防衛策は「すぐに反応しない」
AIによって作られたフェイクコンテンツが溢れる時代において、われわれ一般ユーザーがだまされないためにはどのような心構えが必要なのだろうか。
「見た目や音声などでは区別のつかないレベルになっている。とくにソーシャルメディアに掲載される画像はサイズが縮小されるので、見分けることが難しいケースが多い。まず重要になるのは、反射的にリアクションするのを控えること」（越前氏、以下同）
越前功（えちぜん・いさお）／国立情報学研究所 情報社会相関研究系 研究主幹・教授。1997年東京工業大学大学院理工学研究科修士課程修了（応用物理学）。日立製作所システム開発研究所を経て2007年より国立情報学研究所。2017年より現職。2021年から、国立情報学研究所 シンセティックメディア国際研究センター センター長も務める（写真：越前氏提供）
拡散したくなるようなコンテンツを見つけた場合も、ひと呼吸おいてほかの情報にあたったり、コンテンツに対するコメントを見たりすることで、その情報が事実ではないことに気づけるケースもある。従来の詐欺対策などと変わらない基本的な方法ではあるが、ディープフェイク対策においても重要な姿勢となる。
もう1つ念頭に置いておきたいのが、「自身がディープフェイク的なコンテンツを作ってしまう」可能性だ。誰もが簡単にAIで画像や動画を作れるようになったということは、自身が意図せずとも問題のあるコンテンツを生成してしまうことが起こりうる。また予期せぬトラブルを防ぐために意識したいのが、生成AIの学習データの健全性だ。
「例えば、実在の俳優に似た画像を生成して公開すればトラブルにつながる可能性がある。とくに業務などで画像生成や動画生成のサービスを利用する際は、権利上の問題がないデータのみから学習を行っているモデルを選ぶなど、学習元まで意識したうえで利用する必要がある」
個人的な趣味で作ってSNSに投稿した画像であっても、その内容が不適切であれば炎上などの大きなトラブルに発展する可能性がある。
「安易な気持ちで不適切なコンテンツの生成や公開を行わないために、子どもや若者に対するリテラシー教育を行っていくことも不可欠になる。そのコンテンツを作ることで世の中にどんな影響がおよぶか、その画像は本当に世界中に公開する必要があるのかを考える力をつける必要がある」
また、SNSなどで拡散されるフェイクコンテンツについては、プラットフォーム側の対策も不可欠だと越前氏は言う。
「プラットフォーマーは技術的な手段を持っていることが強み。例えば疑わしいコンテンツを一時的にフィルタリングして、その後に目視で人間が確認するなど、技術を活用して効率を上げながら対応していくことも可能になりつつある。対策がされるとすぐに抜け道が生まれるため、いたちごっこではあるが、プラットフォーム側が対策をする効果は大きい」
ディープフェイクの拡散やそれにともなう問題は、1つの方法だけで解決するものではない。だが、ディープフェイクの氾濫は、偽情報によって世の中を混乱に陥れるインフォデミックにもつながる重大な問題だ。
だからこそ真贋判定やサイバーワクチンなどの技術的な対策に加え、コンテンツに向き合うユーザーの姿勢、そしてプラットフォーマーによる対策など、さまざまな方面からのアプローチが不可欠になる。
（酒井 麻里子 ： ITジャーナリスト／ライター）
