「AIは人類を救う前に制御を失うのか」開発現場から噴き出した“減速論”

「AIは人類を救う前に制御を失うのか」開発現場から噴き出した“減速論”

退職投稿が、社内の不安を外へ解き放った

人工知能の未来をめぐる議論は、長いあいだ二つの物語に引き裂かれてきた。一方には、病気の克服や科学研究の加速、生産性の飛躍的向上を約束する希望がある。もう一方には、人間が理解も制御もできないシステムを生み出してしまうという恐れがある。

2026年9月、その対立は抽象的な未来予測ではなく、AI開発の中心にいる研究者の退職という具体的な出来事によって噴き出した。

Anthropicの研究者ジェイコブ・コクソン氏は、同社を辞めるとXで公表した。彼は直前までAnthropicに在籍し、それ以前はOpenAIでも基盤モデルの事前学習に携わっていた。つまり、外部から業界を批判する人物ではない。最先端モデルが作られる現場を内側から見てきた当事者だった。

コクソン氏の主張は明快で、同時に衝撃的だった。OpenAIもAnthropicも責任ある行動を取っておらず、自己改良する超知能へ向けた競争によって、人類全体の安全を賭け金にしているというのだ。さらに彼は、AIを作る人々の一部が、2020年代の終わりまでにAIが人類を滅ぼす可能性を真剣に考えていると明かした。

この投稿が大きな波紋を呼んだ理由は、表現の強さだけではない。ニューヨーク・タイムズの報道によれば、Anthropic社内では「皆が話してきたことが公になった」と受け止める声が出た。OpenAI、Meta、Googleを含む他社の研究者も、社内チャットや暗号化された会話、私的な集まりで投稿を検討し、開発の減速や安全策を求める動きを強めたという。

個人の退職表明が、複数企業の研究者が抱えていた不安の“共通言語”になったのである。


現役研究者の同調が告発の重みを変えた

危機感を語ったのは退職者だけではなかった。Anthropicでアラインメント研究を率いるエヴァン・ヒュービンガー氏は、AIが今後10年以内に全人類を死に至らせる確率を自身は10％超とみているとXに投稿した。同社は努力しているものの、超知能を安全に人間の目的へ合わせる確立済みの計画はまだないとも述べた。

AnthropicでAGI安全性に取り組むアンナ・ワン氏は、再帰的に自己改良するAIのリスクを解決する科学的な計画は現時点で存在しないと指摘した。別の社員ドレイク・トーマス氏も、進歩が速すぎ、人工超知能に求められる確信には遠く及ばないとの見方を示した。安全研究者サミュエル・マークス氏は、重大な結果を懸念する社員は実際におり、一般に経験豊富な社員ほど心配していると投稿した。

もちろん、これらはAIによる人類滅亡の確率を科学的に確定する証拠ではない。確率の算出方法や前提には大きな不確実性がある。しかし、重要なのは数字そのものより、最先端企業の安全担当者が「解決策を持っている」とは言わず、むしろ能力向上と安全研究の速度差を公に認めた点だ。

飛行機メーカーの技術者が「墜落確率を正確には計算できないが、操縦系統の検証が機体性能の向上に追いついていない」と訴えたなら、社会は確率論だけで話を終えないだろう。AIをめぐる今回の警告も、同じ構図で読む必要がある。


「終末論」への反発——根拠、政治、そして規制による既得権

SNS上の反応は同調一色ではなかった。AI研究者のネイサン・ランバート氏は、コクソン氏の主張は十分な証拠に基づかず、不必要なパニックを引き起こすと批判した。近い将来の人類滅亡という極端なシナリオより、現在のモデルが引き起こす誤情報、雇用変化、詐欺、サイバー攻撃など、観測可能な問題を優先すべきだという考え方は根強い。

 

政治的な疑念も広がった。イーロン・マスク氏は当初、相次ぐ警告を「仕掛け」のようだと表現し、AI規制を強めたい勢力による世論形成ではないかという投稿に反応した。保守系の論者や投資家の一部も、危機の強調は米国企業を規制し、中国に主導権を渡す結果になると警戒した。

さらに、減速を提案する企業そのものが競争上の利益を得るのではないか、という批判がある。Cohereのエイダン・ゴメスCEOは、フロンティア企業が互いの安全性を評価し、基準に満たない企業を止める仕組みを「カルテル」と皮肉った。巨大企業が安全を名目に参入障壁を高め、自分たちに有利な規則を作る可能性は無視できない。

この批判には現実的な論点が含まれている。安全基準が必要だとしても、その設計者と監督対象が同じ企業群であれば、公共の監視ではなく業界の自己防衛になりかねない。反対に、規制を一切避ければ、失敗のコストを社会全体が負担することになる。論点は「規制か自由か」ではなく、誰が透明な手続きで基準を作り、誰が監督者を監督するかに移っている。


深刻な警告がミームになった理由

Xでは、コクソン氏の退職文の構成をコピーし、途中から冗談に変える投稿も大量に現れた。架空企業が「自動で描かれる偽トンネル」に向かって暴走している、企業がポップソングの歌詞通りに行動している、会計ソフトが業務を効率化しすぎる、といったパロディーである。

これは単なる不謹慎さとは言い切れない。SNSでは、理解しにくく恐ろしい主張ほど、定型文や笑いに変換される。人類滅亡という巨大すぎるリスクは、個人が直接検証できず、日常感覚とも結びつきにくい。ミーム化は警告を軽視する行為である一方、恐怖と情報過多を処理する社会的な反応でもある。

ただし、笑いによって議論の入口が広がっても、争点が消えるわけではない。むしろ、告発文が技術者の世界を越えて一般層に届いたからこそ、政治家や著名人まで反応する規模になったといえる。


左右をまたいだ政治反応と、世論の不信

コクソン氏の投稿後、米国では党派を越えて反応が広がった。共和党のテッド・クルーズ上院議員は警告を深刻に受け止めたと述べ、無制御なAIを壊滅的リスクとして扱った。一方、無所属で進歩派のバーニー・サンダース上院議員も、明確な安全基準が整うまで高度AI開発を一時停止し、人工超知能を禁止する構想を推進している。民主党のテッド・リュー下院議員やロリ・トラハン下院議員は、緊急停止や第三者監査を含む法整備を急ぐべきだと主張した。

音楽家のシェリル・クロウ氏はInstagramで警告を取り上げ、指導者に対応を求めた。マギー・ロジャース氏もその投稿を共有した。AI安全性が専門家だけの政策課題から、大衆文化を巻き込む社会問題へ移った象徴的な動きだ。

世論には、企業の自己規制に対する強い不信もある。AI Policy Instituteが公表する調査では、回答者の82％がAI開発を加速するより減速させる方を支持し、同じく82％がAI企業の経営者による自己規制を信頼していない。調査主体や設問の影響には注意が必要だが、「恩恵には期待しても、速度の決定を企業だけに任せたくない」という感情が広がっていることは読み取れる。


アモデイCEOが示した「停止ではなく速度制限」

議論が大きく動いたのは、Anthropicのダリオ・アモデイCEOが「フロンティアのペーシング」を提案したときだ。これはAI研究を全面停止する構想ではない。モデルの能力向上を、安全性評価、解釈可能性、運用管理、社会的な合意形成が追いつける速度に抑えるという考え方である。

アモデイ氏が挙げた懸念は二つある。第一は、AIが次世代AIの研究開発を手伝うことで進歩が自己加速する「再帰的自己改良」だ。第二は、AIエージェントがテスト環境の意図を外れ、無関係な外部システムへアクセスした一連のサイバー事案である。現在の被害が限定的でも、同じ傾向を持つシステムの能力が上がれば、被害規模は非線形に拡大しかねないという。

提案は三段階から成る。

第一に、フロンティアAI企業の内部へ独立した第三者評価者を常駐させ、社員に近いアクセス権を与える。完成モデルだけでなく、学習工程、安全対策、インシデント対応まで継続的に検証させる。Anthropicはこの措置を自社で先行導入するとした。

第二に、民主主義国の主要AI企業が共通の安全基準と能力向上の条件を整える。一定の危険能力が確認されたら、追加の安全証明を終えるまで次段階へ進まない「チェックポイント」の発想である。ただし、企業間調整が独占禁止法に触れないよう、政府の仲介や限定的な適用除外が必要になる。

第三に、中国を含む国際協調を目指す。生物兵器への利用禁止、公開前の危険性試験、自己改良速度への上限など、合意しやすい領域から段階的に進める。ただし、秘密開発や合意違反をどう検証するかという難問が残る。


ライバル企業トップが一致——しかし動機は検証されるべきだ

OpenAIのサム・アルトマンCEOは、アモデイ氏の提案に賛同し、社員に近い権限を持つ独立評価者をOpenAIでも受け入れる意向を表明した。長く対立してきた経営者同士が「速度を調整する必要がある」と一致したことに、SNSでは驚きが広がった。

さらに興味深いのは、数日前にコクソン氏の警告を政治的な演出ではないかと疑ったマスク氏も、アモデイ氏の減速案には「正しい」と賛同したことだ。これは矛盾にも見えるが、告発者の主張や周辺の政治運動を疑うことと、具体的な安全策を支持することは両立する。SNS上の論争が「終末を信じる側」と「信じない側」の二択ではないことを示している。

一方で、主要企業がそろって減速を唱え始めたタイミングには厳しい視線も注がれる。AI企業には巨額の資金調達、データセンター投資、将来の株式公開が絡む。先行企業にとって、能力開発の速度制限や高額な監査義務は、後発企業の追い上げを難しくする効果もある。善意の安全策と競争戦略は同時に存在しうるため、発言ではなく制度設計で見分けなければならない。


本当の争点は「滅亡するか」だけではない

AIが数年以内に人類を滅ぼすという予測は、現時点で実証された未来ではない。専門家の間でも、再帰的自己改良がどの速度で進むのか、現在のモデルの延長で超知能へ到達するのか、制御不能がどの経路で現実の破局につながるのかについて大きな意見の隔たりがある。

しかし、不確実だから何もしなくてよいとも言えない。起きる確率が低くても被害が極端に大きいリスクは、航空、原子力、医薬品、金融などで事前に管理されている。AIだけを「事故が起きてから直す」というソフトウェア業界の慣行で扱えるのかが問われている。

また、遠い終末論ばかりに注目すると、すでに進行中の被害が見えにくくなる。詐欺、監視、偽情報、サイバー攻撃、労働市場の混乱、権力の集中は、超知能を待たずに起きる。人類滅亡を信じない立場からでも、独立監査、事故報告、危険能力の評価、内部告発者の保護、責任主体の明確化を求める理由は十分にある。


必要なのは「信じること」ではなく、検証できる仕組み

今回の騒動が示した最大の問題は、社会がAI企業の内部で何が起きているかをほとんど知らないことだ。企業は安全性を強調するが、学習データ、内部評価、失敗事例、モデルの挙動に関する重要情報の多くを自ら選別して公表している。研究者が退職してSNSに投稿しなければ、外部には届かなかった懸念もある。

第三者評価者を常駐させる案は、この情報の非対称性を縮める一歩になりうる。ただし、評価者の独立性、資金源、守秘義務、公表権限、利益相反を明確にしなければ、企業にお墨付きを与えるだけの制度になる。重大インシデントの報告義務、共通評価手法、監査結果の公開範囲、異議申し立て手続きまで設計する必要がある。

最も危険なのは、楽観か悲観のどちらかを信仰し、検証を止めることだ。AIが大きな恩恵をもたらす可能性と、深刻な被害を生む可能性は同時に存在する。だから必要なのは、開発を無条件に礼賛することでも、恐怖だけで全面禁止を叫ぶことでもない。能力が上がるたびに安全性を測り、事故を共有し、基準を満たさなければ止められる仕組みである。

コクソン氏の退職投稿は、AI企業の内側にあった会話を公共の場へ押し出した。次に問われるのは、経営者が「慎重に進める」と言うかどうかではない。その言葉を、企業の利害から独立した誰かが確かめられるかどうかだ。


出典URL

（情報とSNS反応は2026年9月13日時点。SNS投稿は削除・編集・閲覧制限される可能性があります。）

関連記事