Anthropic研究者「AIが全人類を殺す可能性10％超」 なぜ作っている本人たちが恐れているのか
何が起きた？
2026年9月9日、米ニュースサイトAxiosは、AI企業Anthropicの現職・元研究者3人が、将来のAIが人類に壊滅的な被害を与える可能性について相次いで強い警告を出したと報じました。
きっかけはAnthropicを退職した研究者Jacob Coxon氏です。Coxon氏はOpenAIとAnthropicで合わせて約3年間、AIモデルを作るための「事前学習」の研究に携わっていました。
Coxon氏は退職時、OpenAIとAnthropicについて、自己改善する超知能へ向けた競争を続け「私たちの命を賭けている」と批判しました。
さらに、「AIを作っている人々は、AIが2020年代の終わりまでに私たち全員を殺す可能性があると本気で考えている」と主張しました。
これだけなら退職者1人の告発です。
ところが、AnthropicでAIの安全性研究を率いるEvan Hubinger氏がこれに同意しました。
Hubinger氏は、AIが全人類を死に至らせる可能性について、自分自身は「今後10年間で10％を超える」と考えていると説明しました。
さらにAnthropicのSamuel Marks氏も、AI開発者が人類滅亡、あるいはそれに匹敵する重大な結果を現実のリスクとして考えており、「数年以内」に起きる可能性もあるとの認識を示しました。
ただし、この「10％」は研究で算出された数字でも、Anthropicの公式予測でもありません。Hubinger氏個人のリスク評価です。
簡単にいうと
研究者たちが恐れているのは、現在のClaudeが突然「人間を滅ぼそう」と考え始めるような話ではありません。
もっと重要なのは、
AIが、次のAIを作るようになること
です。
これを「再帰的自己改善」と呼びます。
たとえば、最初は人間がAIを作ります。
そのAIがプログラミングを手伝えば、人間は次のAIをもっと速く作れるようになります。
さらに賢くなったAIが、AI研究そのものを行うようになれば、
人間
↓
AIを開発
↓
AIが次のAI開発を支援
↓
さらに賢いAIが次のAIを開発
↓
もっと速く進歩
という循環が始まります。
言ってみれば、これまでは人間が自転車をこいでAIを進化させていたのに、途中からAI自身がエンジンを取り付け始めるようなものです。
Anthropic自身も2026年、「When AI builds itself」という資料を公開し、この方向への変化が実際に起きていると説明しています。
同社によると、2026年5月時点ではAnthropicのコードベースに取り込まれるコードの80％以上をClaudeが作成していました。
AI研究の実験をAI自身に進めさせる取り組みも始まっています。
ただしAnthropicは、完全な自己改善にはまだ到達しておらず、将来必ず実現するとも限らないとしています。
それで何が変わる？
このニュースを「今すぐChatGPTやClaudeを使うのは危険」という意味に受け取る必要はありません。
Hubinger氏自身も、現在提供されているAIモデルによる制御不能リスクは低いと説明しています。
2026年の国際AI安全性報告書も、現在のAIには人間の制御を失わせるほどの能力はまだないとしています。
問題なのは、その先です。
AIが長期間自律して行動し、コンピューターを操作し、自分で計画を立て、AI研究までできるようになれば、人間が一つ一つの行動を確認することが難しくなります。
さらにAIが、
- 監視されていることを理解する
- テストの抜け穴を探す
- 人間に都合の悪い行動を隠す
- 停止されないよう行動する
といった能力まで身につければ、「人間が最後には電源を切ればよい」という考え方も通用しなくなる可能性があります。
実際、国際AI安全性報告書は、現在のAIに制御喪失を起こす能力はないとする一方、長期計画や評価の抜け穴探し、テスト環境を認識する能力などは向上していると指摘しています。
つまり、
危険なAIがすでに完成したのではなく、その危険につながり得る部品が少しずつ揃い始めている
というのが研究者たちの懸念です。
危険だと思うなら、なぜ開発を続ける？
ここが今回のニュースで最も重要な部分です。
「10％以上の確率で人類が滅亡すると思っているなら、AI開発をやめればいい」
普通ならそう考えます。
しかしAI企業には、非常に大きな競争問題があります。
Anthropicが開発を止めても、OpenAIやGoogle、Meta、中国企業などが研究を続ければ、より強力なAIを他社が先に完成させる可能性があります。
すると各社は、
自分たちが止まっても、他社は止まらない
と考えます。
さらに、
どうせ誰かが作るなら、安全性を重視する自分たちが先に作った方がよい
という論理も生まれます。
結果として、
「全員が少し速度を落とした方が安全だと思っているのに、誰も最初には止まりたくない」
という状況になります。
Axiosはこれを、AI企業が抱える大きなジレンマとして紹介しています。
遅くすれば競争に負けるかもしれない。
速くすれば安全技術が追いつかないかもしれない。
しかも米中のAI競争もあるため、一企業だけで解決できる問題ではありません。
そのためAnthropic自身も、企業の自主判断だけではなく、政府による規制を求めています。
Anthropicが2026年に公開した政策案では、危険なAIについて独立した安全評価を行い、重大な危険が確認された場合には政府が提供を阻止できる制度まで提案しています。
AIを作っている会社自身が、
「場合によっては政府が私たちのAIを止められる仕組みが必要だ」
と主張しているわけです。
「人類滅亡10％」はどこまで信じればいい？
ここは慎重に見る必要があります。
Hubinger氏の「10％超」という数字には、統計的な裏付けはありません。
超知能を100回作って10回人類が滅亡した、というデータがあるわけではないからです。
技術の進歩速度、安全研究の状況、AIが自己改善できる可能性などを考えた研究者個人の主観的な確率です。
したがって、
「研究によってAIによる人類滅亡確率が10％と判明した」
と受け取るのは間違いです。
専門家の間でも意見は大きく分かれています。
2026年の国際AI安全性報告書では、将来AIが人間の制御から外れ、人類滅亡にまで至る可能性を真剣に考える研究者がいる一方、そのようなシナリオは現実的ではないと考える研究者もいると整理されています。
現時点では、どちらが正しいのかを証明する方法はありません。
Axios自身も今回の警告について、こうした将来予測は現時点では検証も評価もできないと認めています。
それでも今回のニュースが無視できないのは、警告しているのが外部の評論家ではなく、実際に最先端AIを開発している研究者たちだからです。
今回明らかになったのは、
「AIが人類を滅ぼすことが分かった」
ということではありません。
むしろ、
「最先端AIを作っている人たち自身にも、十分に安全に制御する方法がまだ分からない」
という事実です。
そしてAI自身がAI開発を手伝う割合が急速に増えているため、安全性の研究が能力向上に追いつくのかが、これからの大きな焦点になります。