2024年5月にEUでAIを規制する法案が成立。抵触すると多額の制裁金が課されるケースも（写真：Laurence Dutton/Getty Images）

急速に生成AIの活用が進む一方、リスクやインシデントの懸念も大きくなってきている。海外ではAIの「ミス」によって数十万人に影響が及び、大きな混乱が起こった事例もある。AIのリスクを正しく認識し、対策するにはどうすればよいか。NTTデータのエグゼクティブ・セキュリティ・アナリスト新井悠氏に聞いた。

ディープフェイクを使った詐欺が増加

――これまでに発生した生成AIによる主なインシデントについて教えてください。


サイバー攻撃やセキュリティーの最新動向など、その他の関連記事はこちら

2022年の11月にChatGPTが公開されて以降、自然言語だけでなく画像や動画を生成できるAIが、私たちも使えるようになりました。

ID検出サービスSumsubによると、著名人になりすました動画等で相手を騙すディープフェイクが、2023年は前年に比べて全世界で約10倍に増えたそうです。

具体的には、ディープフェイクを使って嘘の投資話を持ちかけ、お金を入金させて騙し取る詐欺が非常に増加しています。

AIが引き起こす「想定外」の事例の数々

――企業経営に大きな影響がありそうなものとしては、どんな事例がありますか。

生成AIに限らずAI全般に関するものになりますが、オーストラリア政府が生活困窮者への給付金の不正検知にAIを導入したところ、2015年から2019年にかけて約40万人もの人を「あなたは不正に受給している」と誤って選定し、返還請求を行った事件があります。


新井 悠（あらい・ゆう）／NTTデータグループ エグゼクティブ・セキュリティ・アナリスト。サイバーセキュリティの業界で20年以上のキャリアを積み、2019年にNTTデータグループのエグゼクティブ・セキュリティ・アナリストに就任。NTTグループの国内従業員約30万人の中でも10人しか認定されていないNTTセキュリティマスターの保持者。2024年4月より総務省最高情報セキュリティアドバイザーを務める（写真は本人提供）

これにより生活困窮者から17億豪ドル（当時のレートで約1554億円）以上を回収してしまい、2020年に当時のモリソン首相は謝罪に追い込まれました。

この事件のようにAIは異常を検出し、警告を与える仕組みによく使われていますが、オランダでもAIを使った検知システムで問題が発生しています。

こちらは児童への給付金申請における詐欺を検出するAIシステムで、誤って推定2万6000件もの家族が告発されてしまったのです。しかもAIが詐欺と判定するために使っていたパラメーターの中に人種差別的な内容が入っていると指摘されました。

これらはAIが意図せず従来の法的な枠組みでは予防や対処ができない事態を起こしてしまった結果、大規模な経済的損失や社会的な混乱がもたらされた事例です。

企業がAIを使うときも、こうしたリスクがあることが可視化され始めていると言えます。

オープンAIが提訴された「著作権侵害」の問題

――AIが倫理的に不適切なアウトプットを作ってしまうなど、ほかにも想定外のさまざまな問題が起こっていますが、こうした問題はなぜ発生するのでしょうか。

EUでAIを規制する法案が2021年に公表され、この5月に成立しました。2026年に全面適用される見込みで、AI技術の進展に沿って法律が追い付いていく流れはできています。

しかし、法律で守らなければいけない範囲はこれだ、というものがある一方で、倫理的に受け入れられるべき範囲はなかなか白黒つけられていません。

――また、企業にとって気になる問題としては著作権侵害があります。2023年にはニューヨーク・タイムズが著作権を侵害しているとしてオープンAIを提訴しました。

AIは、全般的に元ネタとして学習データを読み込んで文書や画像等を作成しますが、現状では元ネタの中にインターネット上の他人の著作物が含まれていることがあります。その著作物を引用する、あるいは原典を明らかにしないまま別のアウトプットを作ることに対して法的に問題となるかは、まだ明らかな判決が出ていません。

ただし、前述のEUの規制法では生成AIの開発元に対し学習データに対する「透明性」、つまりどんな学習データを使っているかについて、できるだけ健全な形を取るよう要求しています。著作権に関する問題は透明性を担保するためにも、今後解決されていくのではと思います。

専門部署の設立や、相談できる体制を整える重要性

――AIに関するさまざまな問題が発生する中、企業にはどんな対策が必要でしょうか。

例えば、AIガバナンスの専門部署を立ち上げることが1つの手でしょう。社員からAIに関する相談を受けたり、AIを使うプロジェクトのチェックと判定を行ったりする部署です。これからAIを活用する機会がますます増えていくので、大きな企業であれば自社内に設置したほうがいいでしょう。

――EUで本格的な規制が始まる兆しもありますが、日本企業のリスクは。

EUにサービスを提供する日本企業であれば、AI法が今後適用されます。制裁金は最大3500万ユーロ、もしくは年間売上高の7%のうちの大きいほうという巨額になるので、法的なリスクは非常に大きい。

部署を立ち上げるのが難しいのであれば、AI関連や国際法に詳しい外部の専門家や弁護士に相談できる体制を整えることをおすすめします。

AIを使っているうちに「他人の権利を侵害してでも自社の利益を追求している」と自社の評判や社会的な信用を落としてしまうリスクもあり、AIの使用に関わるリスクは経営者がきちんと認識しておくべきです。

生成AIによる詐欺は、生成AIで制す

――生成AIに関して、今後警戒すべき脅威とその対策について教えてください。

これまではセキュリティ対策として日本語表現のおかしい「怪しいメールに気を付けて」と言われてきましたが、最近の生成AIは日本語として違和感のない文章が作れるようになっています。サイバー攻撃者はこれを悪用して、正しい日本語で攻撃メールを送れるようになりました。

これにより、従来は日本語の壁が阻んでいた攻撃者からのメールを、人間が読んでも怪しいと気付けない状況が生まれています。しかも人間とは異なり生成AIは疲れませんから、大量にメールを作成することができます。こうなると「怪しいメールに気を付けて」といった個人のリテラシーに頼ったサイバー攻撃対策は難しくなります。

――では、どのようにすれば見破れるのでしょうか。

実は、生成AIに対しては生成AIで対抗するのが有効で、日本語の違和感がない攻撃メールでも検出してくれます。

昨年、ハーバード大学の学生が生成AIを使った詐欺メールを複数の生成AIを使ってどれくらい検知するかを検証した研究があり、だいたい7割、場合によってはほぼ100%検出できました。

今後のサイバー攻撃対策は生成AIを使った装置を使い、攻撃メールのようなものは読ませない、という方向に進むのではないかと思います。

最近のウイルス対策ソフトもAIを使って検出する製品が増え始めていて、さらにはセキュリティに詳しくない人でもAIとの対話形式で対処方法を相談し、アドバイスを受けられるものが出てきています。あたかも専門人材の手を借りられるような解決策が生まれつつあるので、そういったAI製品をうまく活用することも検討するとよいと思います。

（宮内 健 ： ライター）