生成AIがサイバー攻撃に悪用される懸念が高まっている（写真：JP/PIXTA）

生成AIはさまざまな分野で革新をもたらしている。しかし、新しい技術が生まれれば必ず悪用の側面も生まれるのが常である。その多用途性と強力さが、新たな脅威やリスクの源泉にもなる。

生成AIは今、さまざまなサイバー攻撃への転用が懸念されており、今後さらにその影響は未知の領域へと拡がっていく可能性がある。デジタル化が進む現代世界において、サイバーセキュリティは企業や組織にとって重要な課題であり、従来のサイバー攻撃と並行し、生成AIがもたらす新しいリスクへの警戒が必要だ。

ここでは、筆者が独自調査した情報などを交え、生成AIがサイバー攻撃に与える影響や対策等について解説する。

サイバー攻撃者がいつも一歩先を行く

多くの人にとってサイバーセキュリティは空気のようなもので、日々の生活の中でその必要性が意識されることは少ない。しかしこの世界においては、サイバー攻撃者がいつも一歩先を行くという真実に目を向ける必要がある。

ChatGPTが公開された2022年末以降、世間ではビジネスや生活でAIがどのように活用できるかという話題で持ちきりだが、この動きはサイバー攻撃者たちの世界でも例外ではない。彼らもまた、ChatGPTがどのように悪用できるかを探求している。

BlackBerry Limitedが2023年2月に発表した調査によれば、回答したIT分野の専門家たちの半数以上が、ChatGPTを使用したサイバー攻撃が今後1年以内に増加すると予測している。

では具体的にどのような形で脅威やリスクとなり得るのか。これまでに確認されている実状を基に紐解いていこう。

ChatGPTをはじめとする生成AIには通常、不適切な質問には回答しない制限がかけられている。しかし、特殊な質問を投げかけることで制限を迂回し回答を引き出す手法が存在する。

その中でも、とくに「ジェイルブレイク」（脱獄）と呼ばれる手法がよく知られている。開発元が施している機能的な制限を不正に解除し、使用できるようにすることだ。例えば、不適切な言動を行う映画の悪役や、あらゆる発言が許可された（本来は存在しない）“開発者モード”を有効にされた万能なAIの役といった、さまざまな架空のキャラクターを演じさせる特殊な手口などが用いられる。すると通常では回答を拒否する、倫理上問題となるような質問にも答えるようになる。


ハッカーらがやりとりするアンダーグラウンドのインターネット掲示板（筆者提供）

筆者は、ChatGPTが公開されてまもない段階からサイバー攻撃者らの反応を注視していたが、ハッカーらがやりとりするアンダーグラウンドのインターネット掲示板では、さまざまな悪用方法について日々活発に情報交換が行われていた。

”脱獄”することで既存のマルウェアをChatGPTに改良させたり、ChatGPTに作成させたマルウェアを共有し合うなど、不正な目的で活用し始めている様子が早々に見受けられた。

どのような不適切な質問にも答えることを謳うアンダーグラウンド版のChatGPTとでもいえる有料サービスも複数出現した。実際にその一つを検証したところ、一般の生成AIでは回答を拒否する「ランサムウェアのソースコードの作成」といった不適切な投げかけにスラスラと答えて見せた。

そして生成されたコードが実際にランサムウェアとして機能することを確認した。すでにこうした悪意ある生成AIのサービスが2023年1月の時点で出現していたのである。

生成AIは言語の壁も容易に乗り越えられる

生成AIが作成するマルウェア等の不正コンテンツは簡易的で脅威ではないと一蹴する声も一部で見られるが、すでに動くものを作る事ができている事実に大きな意味があり、その質を現段階で理由に挙げ、無視することはナンセンスだ。

高度化はもはや時間の問題であり、必然的に迫っている急速な進化の始まりに過ぎない。将来を見据え今後も注視すべきだろう。

一方、脱獄など特殊な方法を使用せずに、ただ質問を工夫するだけで安全制限を迂回されるリスクもある。不適切な質問も、細かいタスクに分解することで悪意が薄れ、一つずつ答えさせることで目的を達成できる可能性がある。

「ランサムウェア」ではなく「ファイルを暗号化するプログラム」と表現を変えることで悪意を隠蔽し迂回する方法や、正当な目的があると偽ることで回答を引き出す方法もある。これらは生成AI全体において共通する抜け道であり、脱獄などと比較し対処が難しい問題だ。

また、不正なコンテンツを生成させるのではなく、逆にAIへ渡して仕組みを解説させるといった、サイバー犯罪の学習にも使用できる。初級ハッカーにとってこれほど有用な教師はない。

そして現時点で最も効果的な悪用方法はフィッシングメールの作成である。現行の生成AIは「もっともらしく見える文面」を作ることを得意とするため、その性質を利用して悪意ある文面を簡単に作り出せる。言語の壁も容易に乗り越えられるため、これまでは不自然な日本語が“不審”と感じる実質的な糸口の一つとなっていたが、もはやその感覚も通用しなくなった。

攻撃者はこれまで以上に精巧なフィッシングメールを、非常に少ない労力で大量に生成可能となったのだ。ChatGPTが公開された2022年第3四半期以降、フィッシングメールの増加をさまざまな調査機関が報告しており、その多くで生成AIの関連を指摘する声がある。

ChatGPTの知名度や人気に便乗した脅威も身近に溢れている。時節や流行など、人々の関心を集める話題が狙われるのは常である。巷には生成AIを謳うアプリやサイトが乱立しているが、その中に悪意が潜んでいる可能性がある。出所不明のコンテンツに警戒し、不用意な利用は避けるべきである。

実際にこれまでもChatGPTを装ったマルウェアや偽サイトなどが複数確認されており、そうした経路で盗まれた可能性が高いChatGPTのログイン情報がアンダーグラウンドで多数販売されている状況を確認している。

また、生成AIのサービスでは会話履歴が記録されている場合があり、ログイン情報が盗まれると、履歴から個人情報などが流出する可能性もある。業務で使用している場合はさらに注意が必要なのは言うまでもない。ほかの会員サイトと同じログイン情報を決して使い回さないようにし、可能であれば履歴の無効化を推奨する。

AIの光と影の両面を均等に捉える姿勢が重要

ビジネスで生成AIを導入する際、とくに顧客向けのAIサービスを提供する場合においては、AIそのものがサイバー攻撃の対象になることを想定し、顧客情報等が漏洩しないか設計段階から適切な対策を講じることが必要である。

社内でAIを活用する際も、不正侵入によりAIに学習させるためのデータ自体が汚染されるリスクや情報漏洩に対する考慮が望まれる。リスク軽減のためには、多層防御やネットワーク分離と可視化、攻撃検知や監視の強化など、従来型のセキュリティ対策がまずは不可欠だ。

さらに社員のリテラシーを底上げし、AIの取り扱いに関する社内教育の徹底や、自社組織のみがアクセス可能なリソース上でAIのデータが完結するサービス、仕組みを取り入れるなどの対策も有用といえる。

個人情報保護法の改正により漏洩等の報告が義務化された今、サイバー攻撃は財務上の損失、風評被害、法的責任問題などにも直結する。信用や信頼を築くには長い時間が必要であるが、失うのは一瞬である。

それでも、AIのメリットを積極的に活用することがこれからのデジタル社会を生き抜くには重要であり、過度な恐れは得策ではない。AIの光と影の両面へ均等に目を向ける姿勢が求められる。


東洋経済Tech×サイバーセキュリティのトップページはこちら

（吉川 孝志 ： 三井物産セキュアディレクション 上級マルウェア解析技術者）