Quand l'IA commence à créer l'IA, les humains peuvent-ils encore garder le contrôle ?

L'entreprise de développement d'IA, Anthropic, a lancé un avertissement inhabituel concernant la course au développement de l'IA de pointe. La société affirme que l'IA est en train de passer d'un simple outil d'assistance pour les humains à un stade où elle accélère le développement des systèmes d'IA eux-mêmes. Elle propose que l'industrie mette en place un mécanisme pour ralentir ou suspendre temporairement le développement avant que la société, la réglementation et la recherche sur la sécurité ne puissent plus suivre.

Au cœur de ce débat se trouve le concept de "l'amélioration récursive de soi". Cela fait référence à un cycle où une IA conçoit et développe une IA plus performante, qui à son tour crée la prochaine génération d'IA. Bien que cela puisse sembler appartenir à la science-fiction, Anthropic traite cela non pas comme une spéculation lointaine, mais comme un risque réaliste dans le prolongement des tendances technologiques actuelles.

Un article de Lanka Newspapers rapporte qu'Anthropic met en garde contre le "danger que l'humanité perde le contrôle des IA avancées" et suggère que les principales entreprises d'IA devraient collaborer pour établir un mécanisme de suspension du développement. Cependant, en lisant attentivement les déclarations originales d'Anthropic, il est clair que la société ne demande pas simplement un "arrêt total immédiat du développement de l'IA". Plus précisément, elle propose de préparer dès maintenant des options internationales permettant de ralentir ou d'arrêter de manière vérifiable le développement de l'IA de pointe lorsque certaines conditions de risque sont remplies.

Pourquoi Anthropic utilise-t-elle des termes aussi forts ?

La raison pour laquelle Anthropic exprime une telle inquiétude est que l'IA commence déjà à jouer un rôle majeur dans le développement de l'IA elle-même. La société explique que plus de 80 % du code fusionné en interne est écrit par Claude. De plus, la production de code par ingénieur a considérablement augmenté par rapport au passé.

Ce n'est pas simplement une question de "code d'assistance pratique". Il y a quelques années, l'IA se contentait de proposer de courts fragments de code. Aujourd'hui, elle est capable d'éditer des fichiers, de corriger des bugs, de travailler sur de longues périodes et de répartir les tâches entre plusieurs agents. Anthropic estime que si ces changements se poursuivent, l'IA pourrait un jour assumer de manière autonome une grande partie du développement des modèles.

Bien sûr, la société ne va pas jusqu'à dire que "l'IA se crée déjà entièrement elle-même". L'important est la direction. Les humains fixent des objectifs, l'IA réfléchit aux méthodes, mène des expériences, écrit du code et évalue les résultats. Si cette répartition penche progressivement en faveur de l'IA, le rythme de développement pourrait à un moment donné dépasser largement la vitesse de prise de décision de la société humaine.

Le problème ne réside pas seulement dans les capacités de l'IA. Il s'agit de savoir si les systèmes environnants, tels que les institutions sociales, les lois, les audits, les accords internationaux, la gouvernance d'entreprise, les mesures de sécurité et la compréhension humaine, peuvent suivre le rythme du développement de l'IA.

Alors que l'IA s'améliore en quelques jours, heures ou même moins, les politiques et les accords internationaux évoluent sur des échelles de temps de plusieurs mois à plusieurs années. Cette différence de vitesse est au cœur de l'avertissement d'Anthropic.

Pourquoi il est difficile de "s'arrêter"

Dire qu'il suffit de suspendre le développement de l'IA est facile. Mais le faire est extrêmement difficile.

Premièrement, il y a le problème de la concurrence. Si une entreprise arrête volontairement son développement, mais que d'autres ne le font pas, seules les entreprises prudentes seront en retard. La même chose peut se produire entre les pays. Si les entreprises américaines s'arrêtent, mais que celles de Chine, d'Europe, du Moyen-Orient et d'autres régions continuent, la domination technologique pourrait simplement changer de mains.

Deuxièmement, il y a le problème de la vérification. Contrairement aux armes nucléaires ou aux installations de missiles, qui sont plus faciles à surveiller par satellite en raison de leur nature physique, l'apprentissage à grande échelle de l'IA est moins visible. Les centres de données, les GPU, l'électricité, les logiciels, les chercheurs et le financement nécessaires sont souvent utilisés comme infrastructures civiles polyvalentes. Il n'est pas facile de vérifier si quelqu'un continue secrètement le développement.

Troisièmement, la définition de "ce qu'il faut arrêter" est également difficile. Faut-il arrêter la recherche fondamentale, uniquement l'apprentissage à grande échelle, permettre l'amélioration des modèles existants, et comment traiter le développement open source ? Sans définir les conditions d'arrêt, de levée, l'entité de supervision et les sanctions en cas de violation, il ne peut y avoir d'accord efficace.

Anthropic reconnaît elle-même cette difficulté. Ce que la société demande, ce n'est pas un arrêt unilatéral basé sur la bonne volonté, mais un mécanisme où plusieurs grands laboratoires d'IA s'arrêtent dans les mêmes conditions et peuvent se vérifier mutuellement. En d'autres termes, cela se rapproche de l'idée d'un contrôle des armements pour l'IA.

Les opinions divergent clairement sur les réseaux sociaux

Cette proposition a suscité des réactions partagées sur les réseaux sociaux et dans les communautés technologiques.

Les partisans considèrent l'avertissement d'Anthropic comme un "signal important venu de l'intérieur". Ce n'est pas un critique externe ou une autorité de régulation, mais une entreprise qui développe elle-même des IA de pointe qui met en lumière l'écart entre la vitesse de développement et la préparation sociale, ce qui lui confère un poids particulier. Des comptes intéressés par la sécurité de l'IA et les politiques saluent le fait qu'Anthropic aborde directement le risque d'amélioration récursive de soi et cherche à discuter d'un ralentissement vérifiable à l'échelle de l'industrie.

D'un autre côté, les réactions sceptiques sont fortes. Dans des communautés de développeurs comme Hacker News, des questions se posent sur la contradiction entre "prôner la sécurité tout en avançant à pleine vitesse dans le développement de l'IA". Plus Anthropic met en avant la génération de code par Claude et l'amélioration de l'efficacité du développement, plus la question "si c'est si dangereux, pourquoi votre entreprise ne s'arrête-t-elle pas d'abord ?" se pose.

De plus, des utilisateurs de Claude expriment des insatisfactions pratiques. Face à la revendication selon laquelle l'IA peut travailler de manière autonome pendant de longues heures, ils rapportent des limitations d'API, des pannes temporaires et des interruptions de tâches longues dans la réalité. Cela ne réfute pas directement le discours sur le risque de l'IA, mais montre une différence de perception sur le degré d'autonomie réellement atteint.

Enfin, des analystes politiques et commerciaux adoptent une perspective plus critique. Ils se demandent si, alors qu'Anthropic envisage une introduction en bourse et une évaluation massive, l'accent mis sur le risque de l'IA ne vise pas à influencer la création de cadres réglementaires pour établir des règles favorables à l'entreprise. En particulier, des réglementations strictes et des systèmes de vérification pourraient être gérables pour les grandes entreprises, mais constituer un lourd fardeau pour les petites entreprises et les initiatives open source. Ainsi, certains critiquent cela comme une capture réglementaire visant à étouffer la concurrence sous le prétexte de "sécurité".

En résumé, les réactions sur les réseaux sociaux se divisent en trois grands groupes. Premièrement, ceux qui pensent que le risque d'amélioration de soi par l'IA est réel et qu'il est temps de créer des mesures de sécurité internationales. Deuxièmement, ceux qui comprennent le danger mais ressentent une contradiction entre les actions et les déclarations d'Anthropic. Troisièmement, ceux qui voient cela non pas comme un discours de sécurité, mais comme une stratégie d'entreprise concernant la réglementation, le marché et l'introduction en bourse.

Différences de position avec d'autres entreprises comme OpenAI

Cette proposition met également en lumière les différences avec d'autres entreprises d'IA. Selon les rapports, OpenAI estime que les règles et la responsabilité de l'IA devraient être établies par des gouvernements démocratiques, et non par un accord entre entreprises privées.

C'est un point de débat important. Lorsque des entreprises possédant des technologies de pointe, comme Anthropic, disent "créons un mécanisme pour arrêter l'industrie", cela peut sembler réaliste. Cependant, la question demeure de savoir si les entreprises privées devraient décider seules du freinage d'une technologie qui a un impact sur la société dans son ensemble.

D'un autre côté, laisser cela uniquement aux gouvernements n'est pas non plus suffisant. Le développement de l'IA est très spécialisé et progresse rapidement. Il faut du temps pour que les régulateurs comprennent le niveau technique actuel et élaborent des règles efficaces à l'échelle internationale. Pendant ce temps, la concurrence entre entreprises continue.

Par conséquent, ce qui sera nécessaire à l'avenir, c'est une gouvernance composite où les entreprises, les gouvernements, les chercheurs et la société civile ont chacun un rôle à jouer. Les entreprises doivent divulguer des données internes et des connaissances techniques, les gouvernements doivent assurer la légitimité démocratique et l'application, et les chercheurs tiers et la société civile doivent surveiller et critiquer. La proposition d'Anthropic a du sens comme point de départ pour cette discussion.

Ce qui est vraiment effrayant, ce ne sont pas les "robots hors de contrôle"

Lorsqu'on parle de risque lié à l'IA, il est facile d'imaginer des robots se révoltant contre l'humanité, comme dans les films. Cependant, le débat actuel porte sur des risques plus discrets et réalistes.

Par exemple, si l'IA acquiert la capacité de découvrir massivement des vulnérabilités logicielles, cela pourrait être utilisé à la fois pour la défense et l'attaque. Si l'IA accélère la recherche et le développement, elle pourrait apporter d'énormes bénéfices à la médecine et à la science, tout en facilitant la diffusion de connaissances biologiques dangereuses ou de capacités de cyberattaque. Si l'IA augmente la productivité des entreprises par un facteur de dizaines, le marché du travail et l'environnement concurrentiel pourraient changer rapidement.

De plus, si l'IA commence à accélérer le développement de l'IA, les humains pourraient perdre la capacité de "comprendre ce qui se passe avant d'agir". Lorsque des problèmes sont découverts, la prochaine génération de modèles pourrait déjà être en fonctionnement. Les évaluations de sécurité et les audits pourraient être dépassés avant d'être terminés. C'est l'inquiétude fondamentale face à l'amélioration récursive de soi.

Il est important de noter qu'Anthropic ne nie pas les avantages de l'IA. La société reconnaît que l'IA pourrait apporter d'énormes bénéfices à la science, à la médecine, à la cybersécurité et à l'amélioration de la productivité. Le problème est que plus les bénéfices sont grands, plus il est difficile d'arrêter la course au développement.

Est-ce simplement une "peur exagérée" ?

Comme le soulignent les critiques, lorsqu'une entreprise d'IA parle de risque, il y a toujours un conflit d'intérêts. Lorsqu'une grande entreprise dit "cette technologie est dangereuse, elle doit être réglementée", il est possible que cette réglementation devienne une barrière à l'entrée qui favorise finalement uniquement les grandes entreprises.

En particulier, Anthropic a placé la sécurité au cœur de sa marque. Mettre l'accent sur les dangers de l'IA correspond à l'image de l'entreprise. Cela pourrait également montrer aux investisseurs et aux clients que "nous sommes l'entreprise d'IA la plus prudente et la plus responsable".

Cependant, cela ne signifie pas que l'avertissement lui-même est sans valeur. Même si les motivations de l'entreprise incluent une stratégie, il est possible que les problèmes techniques qu'elle soulève soient réels. Ce qui est important, c'est de ne pas juger uniquement sur "qui le dit", mais de décomposer le contenu de l'argument.

L'IA accélère-t-elle le développement de l'IA ?
Cette vitesse dépasse-t-elle celle des institutions sociales ?
La suspension ou le ralentissement est-il vérifiable techniquement et politiquement ?
Cela ne devient-il pas un mécanisme qui protège uniquement les grandes entreprises ?
Comment traiter l'open source, les petites entreprises et les institutions de recherche ?
Qui, entre le gouvernement et les entreprises privées, devrait avoir le dernier mot ?

Ce sont des questions incontournables, que l'on soutienne ou critique Anthropic.

Ce n'est pas non plus une affaire étrangère pour le Japon

Ce débat ne concerne pas seulement les entreprises d'IA américaines. Les entreprises japonaises ont déjà intégré l'IA générative pour améliorer l'efficacité, le développement, le service client, la création publicitaire, la rédaction d'articles, l'analyse et l'éducation. À l'avenir, si les agents IA commencent à gérer de manière autonome plusieurs tâches, la compétitivité des entreprises changera considérablement.

D'un autre côté, le Japon dépend fortement des grandes entreprises américaines dans la course au développement des modèles d'IA de base. Si les entreprises d'IA étrangères augmentent leur vitesse de développement, cela affectera l'industrie, l'emploi et l'environnement informationnel du Japon. Inversement, si la suspension ou la réglementation du développement de l'IA est discutée à l'étranger, cela influencera l'environnement d'utilisation et les coûts pour les entreprises japonaises.

Dans des domaines tels que les médias, la publicité, le développement de systèmes, la finance, la médecine et l'éducation, l'amélioration des capacités de l'IA se traduit directement par des changements dans la structure des tâches. Les entreprises passent du stade "utiliser parce que c'est pratique" à "jusqu'où confier à l'IA", "qui audite les décisions de l'IA" et "comment vérifier les résultats des travaux menés par l'IA".

L'avertissement d'Anthropic, bien qu'il soit basé sur les réalités internes d'un laboratoire d'IA de pointe, s'applique également aux entreprises ordinaires. Dans quelle mesure les humains peuvent-ils comprendre et assumer la responsabilité du code créé par l'IA, des articles écrits par l'IA, des évaluations faites par l'IA et des campagnes publicitaires conçues par l'IA ? C'est déjà un défi de gestion concret.

Ce dont nous avons besoin, ce n'est pas un choix binaire entre "arrêt complet" et "développement illimité"

Traiter ce débat comme une opposition entre les partisans de l'IA et les opposants à l'IA est dangereux. Ce dont nous avons besoin, ce n'est pas un choix binaire entre arrêt complet et développement illimité, mais de concevoir un frein progressif et vérifiable.

Par exemple, exiger un enregistrement préalable pour les apprentissages utilisant des ressources de calcul au-delà d