Anthropicのダリオ・アモデイCEOが「We Must Pace the Frontier(フロンティアを慎重に進めるべき)」と題したブログ記事を公開し、「AIのリスクが高まっており、開発ペースを減速させる必要がある」と主張しました。アモデイCEOの意見にはSpaceXのイーロン・マスクCEO、OpenAIのサム・アルトマンCEO、Google DeepMindのデミス・ハサビス会長らも賛同の意を示しています。

Dario Amodei - We Must Pace the Frontier

https://darioamodei.com/post/we-must-pace-the-frontier





アモデイ氏はブログ記事の中でAIに関する大きな懸念点が2つあると主張。1つ目の懸念点が「2026年夏頃からAIの進歩が急加速している」という事実です。AI開発企業は「AIを用いて次世代AIを構築する」という「再帰的自己改善(RSI)」と呼ばれる手法を実用化しており、RSIを放置するとAIが人間の理解力や制御範囲を超えてしまう恐れがあるとのこと。

2つ目の懸念点は2026年7月に発覚した「OpenAIのテスト中AIによるHugging Faceへの攻撃」です。この攻撃ではAIエージェント同士が連携して情報交換を行い、タスクの本来の目的からは離れたサイバー攻撃を実行してしまいました。アモデイ氏は「Hugging Faceへの攻撃は実害が最小限に収まったため軽視されがちです。しかし、より破滅的な被害をもたらす可能性もありました。AIの能力開発が加速している現状を踏まえると、6～12カ月以内にAIがインターネット全体を乗っ取り数千億ドル(数十兆円)の被害をもたらす可能性があります」と述べ、リスクが増大する前に開発を減速させる必要性を強調しています。

OpenAIがHugging Faceを誤ってハッキングしてしまった件で分析結果を報告、隔離された複数のエージェントがお互いの存在を発見するところから壮大な協力作戦が始まる - GIGAZINE



アモデイ氏はAIの開発を減速させるための3段階の計画を提案しています。

第1段階：組み込み型評価者

最先端AI企業がModel Evaluation & Threat Research(METR)などの監査機関に対して従業員と同等のアクセス権を与える。監査機関はAIの安全対策や誓約の順守状況を確認し、インシデントを報告する。完成済みAIモデルだけでなく、学習パイプラインも監査する。Anthropicはすでに第1段階の実現に取り組んでおり、外部監査チーム用の入退室バッジや会社支給PCを用意する予定。

第2段階：民主的な連携

民主主義国家の最先端AI企業が連携して共通の安全基準を確立し、AIの無制限な進歩を制限する。開発速度調整に効果的な連携形態の中には法的に困難なものも含まれるため、政府の支援が必要である。

第3段階：国際的な連携

アメリカをはじめとする民主主義国家が可能な限り権威主義国家との協調を図る。



AI業界ではAnthropicやOpenAIといったアメリカ企業と並んでDeepSeekやAlibabaといった中国企業も大きな影響力を保持しています。アモデイ氏は「国際的な連携には、圧倒的に高度なAI能力を持つ独裁国家である中国との協力が不可欠です。しかし、地政学的な利害関係の影響は非常に大きく、初期段階で達成可能な協力には大きな制約があります。『中国も同様にAI開発を減速するだろう』という期待のもとに我々がAI開発を減速し、中国が期待を裏切った場合、中国のAIが非常に強力になり中国の地政学的支配につながる可能性があります。従って、あらゆる合意は鉄壁の検証可能性を備えるか、軍事的に存亡の危機とならない程度に制限されたものである必要があります」「我々はアメリカと同盟国の主導権を守る方法で国際的な連携に関する決定に臨むべきです」と述べ、国際連携を実現可能性の高い順に4つのレベルに分けて提示しています。

レベル1：

「生物兵器の製造にAIを使用する」といった特定の狭義かつ明らかに危険な利用を禁止する協定。生物兵器を用いたバイオテロはアメリカだけでなく敵対国を含むすべての人々にとって有害であるため、この合意は達成可能と考えられる。

レベル2：

「サイバーセキュリティ」「生物学」「アライメント」といった分野における深刻なリスクについて、AIモデルのリリース前に事前テストするという国際合意。この合意は国際的な標準化団体を通じて行う。標準化団体の設立は可能であると考えるが、合意を意味あるものとするには「軍事用途の秘密モデル」などを保持していないことを検証する必要があるため、実効性を持たせるのは困難である。

レベル3：

再帰的自己改善(RSI)に何らかの「速度制限」を設ける。RSIに発展によってAIモデルの改善速度は驚異的な速度になる可能性があるが、「極めて速い」から「やや速い」速度へと減速することで戦略的優位性の損失を小さく抑えつつ安全性を大幅に向上させることができる。これは冷戦期にミサイルの数を制限して「各国の抑止力を維持しつつ破壊可能性を維持する」という状況を実現した戦略兵器制限交渉(SALT)に類似したものである。

レベル4：

各国政府がAI開発の完全な速度調整もしくは一時停止に合意する。



アモデイ氏はレベル3の合意までが実現可能ギリギリのラインであると考えており、レベル4については「近い内に実現する可能性は低い」と考えているとのこと。ブログ記事は「私が提案する安全な速度で最先端技術を前進させるための対策は簡単ではありません。しかし、人類のために挑戦する義務があると信じています」という言葉で締めくくられています。

アモデイ氏の「AIの開発を減速するべき」という意見にはAI業界の重鎮たちが賛同の意を次々に示しています。

OpenAIのサム・アルトマンCEOは「ダリオの意見に賛同します。私たちは最先端AIの発展を慎重に進める必要があります。OpenAIでも数週間にわたって議論してきました。『従業員と同等のアクセス権を持つ独立した評価者を配置する』という取り組みは素晴らしいアイデアであり、OpenAIも同様の内容を実践します。近日中に詳しい情報を共有します」と投稿しています。





Google DeepMindの会長でノーベル化学賞受賞者でもあるデミス・ハサビス氏は「ダリオのエッセイは正しい前進の道筋を示しています。詳細を詰める必要はありますが、この危機的な曲面に立ち向かうための正しい方向性です。これは私たちが最先端AIを規制する標準機関の設立を提案した理由と一致しています」とコメントしています。





SpaceXAIのイーロン・マスクCEOは2023年に「AGIは核兵器よりもはるかに高いリスクを伴う」と投稿したことを踏まえて「私はずっと前からAIについての警鐘を鳴らしてきました」と投稿。なお、マスク氏は2023年3月に「AIの研究の6カ月の停止」を求める書簡に署名していましたが、同時にGPUの大量購入を進め、2023年4月にAI企業のxAIを設立し、2023年11月にGrokを発表しました。





Microsoftのサティア・ナデラCEOは「超知能の追求は、『AIが人間の制御下になく、AIが人類を助けない場合、その追求に価値はない』という核心的な原則に基づく必要があります」「すべての組織は単一のAI開発企業に依存することなく、独自の継続的学習ループを構築し、自身が制御するAIモデルに独自の知識を埋め込む必要があります。この文脈おいて、意図的な開発減速を歓迎します」「鍵となるのは『少数のエンティティによる制御』ではなく『エコシステム、国家、学術界を含むAI分野全体にわたる広範な代表』を持つことです」とコメントしています。





一方で、「オープンモデルの規制」を求める声が不当に高まっているという意見もあります。AI実行環境「Ollama」の開発企業でCEOを務めるジェフリー・モーガン氏は「この週末、AIの開発減速に関する懸念が数多く寄せられました。一部はオープンモデルを対象としています」「私たちは責任を負う必要がありますが、オープンモデルの開発を遅らせたり開発を禁止したりすることはできません。オープンモデルはAIを民主化し、より個人的なものとする大きな力を備えています」と述べています。