Anthropicの上級安全研究者が「AIが21世紀末までに人類を滅ぼす可能性が10％以上ある」と発言、「Anthropicの安全対策が甘い」と退職する社員も
AI企業・AnthropicのAI安全チームを率いる責任者が、人間の手を借りずに性能を向上させ続けることができる「自己改善型AI」について「予想以上に速いペースで進んでいる」と警告を発しました。
Jacob is correct here-we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ— Evan Hubinger (@EvanHub) 2026年9月9日
Worried Anthropic researchers warn that AI ‘could kill all humans’ | The Verge
https://www.theverge.com/ai-artificial-intelligence/991927/anthropic-ai-kill-all-humans
AnthropicでAI システムのトレーニングを担当していた研究者のジェイコブ・コックスン氏は2026年9月9日、Anthropicの安全対策の甘さを理由に退職したことを発表しました。コックスン氏によると、OpenAIとAnthropicの両方で事前訓練研究を行ってきましたが、どちらの会社も自己改善型AIに向かってまっしぐらに突き進み、責任を持って行動していないとのこと。
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.— Jacob Coxon (@hilbertspaess) 2026年9月9日
コックスン氏はさらに、「この技術の力を過小評価しないでください。これらはまもなく、どんなものでもハッキングし、どんな分野も一夜にして革命化し、本物の力と資源を手に入れる超人的なシステムになるでしょう」「AIを構築している人々は、それが今後10年以内に我々全員を殺す可能性があると本気で信じています。多くの幹部や上級研究者は報道で慎重な言い回しを使いますが、プライベートでは同じ人々が恐怖を口にしているのを聞きます。他のどの人間の活動も、このレベルの危険をもたらしません」と、AIの急速な発展に伴うリスクについて言及しています。
コックスン氏の投稿に対し、AnthropicのAI安全チームを率いるエヴァン・ヒュービンガー氏は「ジェイコブの投稿は正しく、私たちは本当に心から、AIが全人類を殺す可能性があると信じています。個人的には、次の10年以内にその確率が10％を超えると考えています」と述べています。
ヒュービンガー氏によると、Anthropicのリスクレポートに基づくと、現行のモデルから人類の破滅を招くリスクは低いと考えられるとのこと。一方で、再帰的自己改善から生じる超知能については懸念しており、従来想定していたよりも速いペースでその方向に進んでいるそうです。
To be clear, as we say in our latest Risk Report (https://t.co/9PDj8Uvoty), I think the risk from present models is low. What I am worried about is superintelligence arising from recursive self-improvement, as we have said is happening faster than we thought…— Evan Hubinger (@EvanHub) 2026年9月9日
The Vergeは「今回のコックスン氏とヒュービンガー氏のやり取りは、高度化するAIモデルの危険性や、特に企業がIPOを控えている中でシステム開発が急速に進んでいることに対する業界内の懸念の高まりを浮き彫りにしています」と指摘しています。
