« L'IA perdra-t-elle le contrôle avant de sauver l'humanité ? » Le « ralentissement » émergeant des lieux de développement

Un post de démission libère l'anxiété interne vers l'extérieur

Le débat sur l'avenir de l'intelligence artificielle a longtemps été déchiré entre deux récits. D'un côté, il y a l'espoir de surmonter les maladies, d'accélérer la recherche scientifique et d'améliorer considérablement la productivité. De l'autre, il y a la crainte de créer des systèmes que les humains ne peuvent ni comprendre ni contrôler.

En septembre 2026, ce conflit a éclaté non pas à travers des prévisions abstraites sur l'avenir, mais par un événement concret : la démission d'un chercheur au cœur du développement de l'IA.

Jacob Coxon, chercheur chez Anthropic, a annoncé sur X qu'il quittait l'entreprise. Il avait travaillé chez Anthropic jusqu'à récemment, et auparavant, il avait été impliqué dans la préformation de modèles de base chez OpenAI. En d'autres termes, ce n'était pas un critique extérieur de l'industrie, mais un acteur ayant observé de l'intérieur la création de modèles de pointe.

Les propos de Coxon étaient clairs et en même temps choquants. Ni OpenAI ni Anthropic ne prenaient de mesures responsables, et la compétition vers une superintelligence auto-améliorante mettait en jeu la sécurité de l'humanité entière. De plus, il a révélé que certains des créateurs d'IA envisageaient sérieusement la possibilité que l'IA détruise l'humanité d'ici la fin des années 2020.

Ce post a provoqué une grande onde de choc non seulement par la force de son expression. Selon le New York Times, au sein d'Anthropic, certains ont perçu cela comme "la révélation publique de ce dont tout le monde parlait". Des chercheurs d'autres entreprises, y compris OpenAI, Meta et Google, ont également examiné le post dans des chats internes, des conversations cryptées et des réunions privées, renforçant les appels à ralentir le développement et à adopter des mesures de sécurité.

La déclaration de démission d'un individu est devenue un "langage commun" pour les inquiétudes partagées par les chercheurs de plusieurs entreprises.

L'adhésion des chercheurs en activité a changé le poids de l'accusation

Ce ne sont pas seulement les démissionnaires qui ont exprimé leur inquiétude. Evan Hubinger, qui dirige la recherche sur l'alignement chez Anthropic, a posté sur X qu'il estimait à plus de 10 % la probabilité que l'IA cause la mort de toute l'humanité dans les dix prochaines années. Bien que l'entreprise fasse des efforts, il a également déclaré qu'il n'existait pas encore de plan établi pour aligner en toute sécurité une superintelligence sur les objectifs humains.

Anna Wang, qui travaille sur la sécurité de l'AGI chez Anthropic, a souligné qu'il n'existe actuellement aucun plan scientifique pour résoudre les risques liés à l'IA qui s'auto-améliore de manière récursive. Un autre employé, Drake Thomas, a également exprimé l'opinion que les progrès sont trop rapides et loin de la certitude requise pour une superintelligence artificielle. Le chercheur en sécurité Samuel Marks a posté que certains employés s'inquiètent réellement des conséquences graves, et que les employés les plus expérimentés sont généralement les plus préoccupés.

Bien sûr, cela ne constitue pas une preuve scientifique de la probabilité d'une extinction de l'humanité par l'IA. Il existe une grande incertitude quant aux méthodes de calcul des probabilités et aux hypothèses sous-jacentes. Cependant, ce qui est important, c'est que les responsables de la sécurité des entreprises de pointe ne disent pas "nous avons des solutions", mais reconnaissent publiquement l'écart entre l'amélioration des capacités et la recherche en sécurité.

Si un ingénieur d'une entreprise aéronautique déclarait "nous ne pouvons pas calculer précisément la probabilité de crash, mais la vérification des systèmes de contrôle ne suit pas l'amélioration des performances de l'appareil", la société ne se contenterait pas de discussions probabilistes. L'avertissement concernant l'IA doit être lu dans le même cadre.

Réactions contre la "théorie de l'apocalypse" — Fondements, politique et droits acquis par la régulation

Les réactions sur les réseaux sociaux n'ont pas été unanimes. Nathan Lambert, chercheur en IA, a critiqué les affirmations de Coxon comme étant non fondées et susceptibles de provoquer une panique inutile. L'idée qu'il faudrait donner la priorité aux problèmes observables tels que la désinformation, les changements d'emploi, la fraude et les cyberattaques causés par les modèles actuels, plutôt qu'à des scénarios extrêmes d'extinction humaine dans un avenir proche, reste forte.

Des doutes politiques se sont également répandus. Elon Musk a initialement décrit les avertissements successifs comme une "manipulation", réagissant à un post suggérant qu'il s'agissait d'une formation de l'opinion par ceux qui souhaitent renforcer la régulation de l'IA. Certains commentateurs conservateurs et investisseurs ont également mis en garde contre le fait que l'accent mis sur la crise pourrait conduire à la régulation des entreprises américaines et à la remise du leadership à la Chine.

De plus, il y a des critiques selon lesquelles les entreprises qui proposent de ralentir pourraient en tirer un avantage concurrentiel. Aidan Gomez, PDG de Cohere, a ironisé sur le fait que les entreprises de pointe évaluent mutuellement leur sécurité et arrêtent celles qui ne répondent pas aux normes, qualifiant cela de "cartel". Il est impossible d'ignorer la possibilité que les grandes entreprises augmentent les barrières à l'entrée au nom de la sécurité et créent des règles qui leur sont favorables.

Cette critique contient des points de vue réalistes. Même si des normes de sécurité sont nécessaires, si leurs concepteurs et les entités supervisées sont les mêmes groupes d'entreprises, cela pourrait devenir une auto-défense de l'industrie plutôt qu'une surveillance publique. À l'inverse, éviter toute régulation ferait supporter le coût de l'échec à l'ensemble de la société. Le débat ne porte plus sur "régulation ou liberté", mais sur qui établit les normes de manière transparente et qui supervise les superviseurs.

Pourquoi un avertissement sérieux est devenu un mème

Sur X, de nombreux posts ont copié la structure de la lettre de démission de Coxon, en la transformant en blague en cours de route. Il s'agit de parodies telles que des entreprises fictives se précipitant vers un "faux tunnel dessiné automatiquement", des entreprises agissant selon les paroles de chansons pop, ou des logiciels de comptabilité rendant le travail trop efficace.

Ce n'est pas simplement de l'irrévérence. Sur les réseaux sociaux, plus une affirmation est difficile à comprendre et effrayante, plus elle est transformée en formule ou en rire. Le risque trop grand de l'extinction de l'humanité ne peut être directement vérifié par un individu et est difficile à relier au sens commun quotidien. La mèmification est à la fois un acte de minimisation de l'avertissement et une réaction sociale pour gérer la peur et la surcharge d'informations.

Cependant, même si le rire élargit l'entrée du débat, cela ne fait pas disparaître les enjeux. Au contraire, c'est parce que la lettre d'accusation a atteint au-delà du monde des techniciens jusqu'au grand public que des politiciens et des personnalités ont réagi à une telle échelle.

Réactions politiques transpartisanes et méfiance de l'opinion publique

Après le post de Coxon, les réactions aux États-Unis ont traversé les lignes partisanes. Le sénateur républicain Ted Cruz a déclaré qu'il prenait l'avertissement au sérieux, traitant l'IA incontrôlée comme un risque catastrophique. D'autre part, le sénateur indépendant et progressiste Bernie Sanders promeut l'idée de suspendre le développement de l'IA avancée jusqu'à ce que des normes de sécurité claires soient établies, et d'interdire la superintelligence artificielle. Les représentants démocrates Ted Lieu et Lori Trahan ont soutenu la nécessité d'une législation urgente incluant des arrêts d'urgence et des audits tiers.

La musicienne Sheryl Crow a abordé l'avertissement sur Instagram, appelant les dirigeants à réagir. Maggie Rogers a également partagé ce post. C'est un mouvement symbolique du passage de la sécurité de l'IA d'une question de politique réservée aux experts à un problème social impliquant la culture populaire.

Il existe également une forte méfiance envers l'autorégulation des entreprises dans l'opinion publique. Selon une enquête publiée par l'AI Policy Institute, 82 % des répondants préfèrent ralentir le développement de l'IA plutôt que de l'accélérer, et 82 % ne font pas confiance à l'autorégulation par les dirigeants des entreprises d'IA. Bien qu'il faille être prudent quant à l'influence de l'entité de sondage et des questions posées, on peut lire que le sentiment de ne pas vouloir laisser aux seules entreprises la décision sur la vitesse se répand, même si l'on espère des bénéfices.

La proposition d'Amodei : "limitation de vitesse" plutôt qu'arrêt

Le débat a pris un tournant majeur lorsque Dario Amodei, PDG d'Anthropic, a proposé le "pacing de la frontière". Ce n'est pas une idée d'arrêt complet de la recherche en IA. C'est l'idée de limiter l'amélioration des capacités des modèles à une vitesse que l'évaluation de la sécurité, l'interprétabilité, la gestion opérationnelle et la formation d'un consensus social peuvent suivre.

Amodei a soulevé deux préoccupations. La première est le "self-improvement récursif", où l'IA aide à la recherche et au développement de la prochaine génération d'IA, accélérant ainsi les progrès. La seconde est une série d'incidents cybernétiques où des agents IA ont accédé à des systèmes externes non liés, échappant à l'intention des environnements de test. Même si les dommages actuels sont limités, si les systèmes ayant la même tendance voient leurs capacités augmenter, l'ampleur des dommages pourrait s'accroître de manière non linéaire.

La proposition se compose de trois étapes.

Premièrement, placer des évaluateurs tiers indépendants au sein des entreprises d'IA de pointe, leur donnant un accès proche de celui des employés. Ils vérifieraient en continu non seulement les modèles finis, mais aussi les processus d'apprentissage, les mesures de sécurité et la réponse aux incidents. Anthropic a déclaré qu'elle mettrait en œuvre cette mesure en premier dans sa propre entreprise.

Deuxièmement, les principales entreprises d'IA des pays démocratiques devraient établir des normes de sécurité communes et des conditions pour l'amélioration des capacités. L'idée de "checkpoints" est de ne pas passer à l'étape suivante tant que des preuves supplémentaires de sécurité n'ont pas été fournies lorsqu'une capacité dangereuse est confirmée. Cependant, pour éviter que la coordination inter-entreprises ne viole les lois antitrust, une médiation gouvernementale ou une exemption limitée pourrait être nécessaire.

Troisièmement, viser une coopération internationale incluant la Chine. Interdire l'utilisation pour les armes biologiques, tester les dangers avant la publication, et imposer des limites à la vitesse d'auto-amélioration sont des domaines où un accord pourrait être plus facilement atteint. Cependant, il reste le défi de savoir comment vérifier les développements secrets et les violations d'accords.

Les PDG des entreprises rivales s'accordent — mais les motivations doivent être examinées

Sam Altman, PDG d'OpenAI, a approuvé la proposition d'Amodei et a exprimé son intention d'accepter des évaluateurs indépendants avec des pouvoirs proches de ceux des employés chez OpenAI. Sur les réseaux sociaux, il y a eu une surprise face à l'accord entre des dirigeants qui ont longtemps été en désaccord sur la nécessité de "réguler la vitesse".

Plus intéressant encore, Elon Musk, qui quelques jours auparavant doutait que l'avertissement de Coxon soit une mise en scène politique, a également approuvé la proposition de ralentissement d'Amodei comme étant "correcte". Cela peut sembler contradictoire, mais douter des affirmations de l'accusateur et des mouvements politiques environnants et soutenir des mesures de sécurité concrètes peuvent coexister. Cela montre que le débat sur les réseaux sociaux n'est pas une simple dichotomie entre "ceux qui croient à l'apocalypse" et "ceux qui n'y croient pas".

Cependant, le moment où les principales entreprises ont commencé à prôner le ralentissement est également scruté avec attention. Les entreprises d'IA sont impliquées dans des levées de fonds massives, des investissements dans des centres de données et de futures introductions en bourse. Pour les entreprises en avance, limiter la vitesse de développement des capacités et imposer des obligations d'audit coûteuses peut également rendre difficile la poursuite par les entreprises retardataires. Les mesures de sécurité de bonne foi et les stratégies concurrentielles peuvent coexister, il est donc nécessaire de les distinguer par la conception du système plutôt que par les déclarations.

La véritable question n'est pas seulement "l'extinction se produira-t-elle"

La prédiction selon laquelle l'IA détruira l'humanité dans quelques années n'est pas un avenir prouvé à ce jour. Même parmi les experts, il existe de grandes divergences d'opinion sur la vitesse à laquelle l'auto-amélioration récursive progressera, si les modèles actuels atteindront la superintelligence, et par quel chemin l'incontrôlabilité pourrait mener à une catastrophe réelle.

Cependant, dire que rien ne doit être fait parce que c'est incertain n'est pas une option. Les risques avec une faible probabilité mais des dommages extrêmement importants sont gérés à l'avance dans des domaines tels que l'aviation, le nucléaire, les produits pharmaceutiques et la finance. La question est de savoir si l'IA peut être traitée selon la pratique de l'industrie logicielle consistant à "réparer après l'accident".

De plus, se concentrer uniquement sur les théories de l'apocalypse lointaine peut rendre invisibles les dommages déjà en cours. La fraude, la surveillance, la désinformation, les cyberattaques, le bouleversement du marché du travail et la concentration du pouvoir se produisent sans attendre la superintelligence. Même d'un point de vue qui ne croit pas à l'extinction de l'humanité, il y a de nombreuses raisons de demander des audits indépendants, des rapports d'incidents, une évaluation des capacités dangereuses, la protection des lanceurs d'alerte et la clarification des responsabilités.

Ce qui est nécessaire, ce n'est pas de "croire", mais un système vérifiable

Le plus grand problème révélé par cette agitation est que la société sait très peu de choses sur ce qui se passe à l'intérieur des entreprises d'IA. Les entreprises mettent en avant leur sécurité, mais sélectionnent elles-mêmes et publient de nombreuses informations cruciales sur les données d'apprentissage, les évaluations internes, les cas d'échec et le comportement des modèles. Certaines préoccupations n'auraient pas atteint l'extérieur si des chercheurs n'avaient pas démissionné et posté sur les réseaux sociaux.

La proposition de placer des évaluateurs tiers en résidence pourrait être un pas vers la réduction de cette asymétrie d'information. Cependant, il est nécessaire de clarifier l'indépendance des évaluateurs, leurs sources de financement, leurs obligations de confidentialité, leurs pouvoirs de publication et les conflits d'intérêts, sinon cela pourrait devenir un