Recherche sur les vaccins ou développement de pathogènes dangereux - Les intentions cachées auxquelles l'entreprise d'IA a été confrontée

Recherche sur les vaccins ou développement de pathogènes dangereux - Les intentions cachées auxquelles l'entreprise d'IA a été confrontée

Personne ne dit "Créons une arme biologique"

Quand on parle de mesures de sécurité pour l'IA générative, beaucoup imaginent un chatbot qui refuse les questions dangereuses. Cependant, le rapport de renseignement sur les menaces publié par Anthropic en septembre 2026 a révélé une réalité bien plus complexe.

Les utilisateurs malveillants ne saisissent pas toujours leurs intentions de manière honnête. En sciences de la vie, les recherches sur les mécanismes des maladies infectieuses, le développement de vaccins et de traitements, et les études visant à rendre les agents pathogènes plus dangereux partagent parfois le même jargon, les mêmes plans expérimentaux et les mêmes analyses de données. Une question isolée peut sembler être à la fois une recherche bénéfique pour le public et une préparation à la militarisation.

Anthropic a compilé un rapport de 154 pages sur les utilisations abusives et inappropriées de l'IA identifiées entre décembre 2025 et août 2026. Les domaines concernés incluent les cyberattaques, la surveillance, la manipulation de l'opinion publique, la fraude, les armes conventionnelles et l'exploitation biologique. Parmi ces cas, cinq exemples où l'utilisation de Claude pourrait potentiellement soutenir le développement d'armes biologiques ont particulièrement attiré l'attention.

Il est important de noter que la société n'a pas affirmé avoir découvert un plan d'arme biologique. Les noms des institutions de recherche et des pays ont été omis, et il n'a pas été prétendu qu'il y avait une intention de nuire aux scientifiques impliqués. Ce qui a été confirmé, c'est la combinaison de plusieurs éléments préoccupants, tels que des recherches à haut risque, l'évitement des restrictions régionales, l'anonymisation et le flou des objectifs.


Institutions de recherche militaire et fièvre chikungunya

Le cas le plus emblématique concerne une demande de subvention pour des recherches sur le virus de la fièvre chikungunya. La fièvre chikungunya est une maladie transmise par les moustiques qui provoque de la fièvre et des douleurs articulaires sévères, et dont les symptômes peuvent persister longtemps. Étant une maladie endémique, il pourrait être difficile de distinguer une propagation intentionnelle d'une épidémie naturelle.

Selon le rapport, la demande traitait de recherches visant à modifier les propriétés du virus liées à sa transmission et à l'évasion immunitaire. Bien que ces connaissances puissent aider à prévoir les épidémies et à développer des vaccins et des traitements, elles peuvent également être détournées pour rendre les agents pathogènes plus dangereux. De plus, le fait que l'institution de recherche impliquée soit de nature militaire a renforcé les préoccupations d'Anthropic.

Les méthodes d'accès n'étaient pas non plus conventionnelles. Des régions non desservies ont utilisé l'infrastructure américaine, des systèmes pour ne pas laisser de traces, des revendeurs, et des comptes fictifs. Un système était même en place pour rediriger les questions refusées par Claude vers des modèles d'autres entreprises avec des restrictions plus souples. La société a suspendu les comptes concernés et travaillé avec les parties prenantes pour couper les réseaux intermédiaires, mais les opérateurs ont rapidement repris la connexion par d'autres voies.

Ce cas montre que la fonction de refus d'un modèle seul n'est pas suffisante. Même si une IA refuse, les utilisateurs peuvent basculer entre plusieurs modèles et changer de route ou de compte. Les mesures de sécurité doivent inclure non seulement l'évaluation des questions, mais aussi les voies d'accès, l'affiliation des utilisateurs et les schémas de comportement continus.


Grippe aviaire, orthopoxvirus, conception de toxines

Le deuxième cas concerne des recherches sur l'adaptation des virus de la grippe aviaire hautement pathogènes aux mammifères. Les chercheurs ont utilisé Claude pour des milliers d'interactions sur plusieurs semaines, pour organiser des documents, planifier des recherches, analyser des données et rédiger des textes. Anthropic a évalué que l'accès aux modèles de haute performance avait été bloqué par un système de détection de contenu dangereux, et que l'assistance fournie était principalement administrative et de soutien.

C'est une réserve importante. Le rapport ne dit pas que Claude a immédiatement conçu un agent pathogène inconnu ou complété une arme biologique. Au contraire, les capacités supplémentaires confirmées à ce stade étaient limitées. Néanmoins, le fait que des experts potentiellement capables d'accéder à des équipements de recherche et à des échantillons cherchent à utiliser une IA avancée en contournant les restrictions géographiques anticipe les risques si les modèles futurs deviennent plus performants.

Dans le troisième cas, une demande de subvention pour des recherches sur les orthopoxvirus, appartenant au même groupe que la variole et le mpox, a été rapidement élaborée par Claude. L'objectif de la recherche semblait être l'atténuation du virus, donc le classificateur de sécurité n'a pas bloqué la réponse. Cependant, la compréhension des mécanismes d'évasion immunitaire peut être utilisée à la fois pour atténuer et, à l'inverse, pour conserver ou renforcer ces fonctions.

Les deux derniers cas concernaient la conception de toxines et de peptides toxiques. Même si la recherche visait à développer des analgésiques ou des antidépresseurs, il est possible que des substances paralysantes émergent de la même base de conception. Dans un autre cas, Claude a été instruit de garder l'identité de la substance cible vague dans le rapport de recherche. Ici, un système qui détecte uniquement les mots dangereux n'a pas fonctionné efficacement, car les objectifs thérapeutiques et nuisibles se chevauchent techniquement.


Le véritable défi est le "double usage"

Le double usage biologique n'est pas un problème nouveau. Comprendre la contagiosité, l'évasion immunitaire et la toxicité des agents pathogènes est essentiel pour la santé publique. En même temps, ces connaissances ont de la valeur pour les attaquants. L'IA n'a pas créé ce problème ancien, mais elle a modifié son échelle et sa vitesse en accélérant la recherche documentaire, la formulation d'hypothèses, l'analyse, la création de code et la rédaction de demandes de subvention.

Traditionnellement, mener des recherches avancées nécessitait une équipe de spécialistes, une longue formation et la coopération de plusieurs disciplines. Si l'IA se rapproche d'un "assistant scientifique universel" reliant ces éléments, les chercheurs peuvent couvrir un large éventail avec peu de personnes. Cela apporte de grands avantages pour le développement de nouveaux médicaments et la lutte contre les maladies infectieuses, mais augmente également le nombre de tâches à surveiller et réduit le temps de préparation des plans dangereux.

De plus, le coût des erreurs de jugement n'est pas symétrique. Si une recherche dangereuse est manquée, les dommages peuvent être extrêmement importants. D'un autre côté, bloquer une recherche légitime peut retarder le développement de médicaments ou la lutte contre les maladies infectieuses, et exclure uniquement les chercheurs de certaines régions. Plus on penche du côté de la sécurité, plus la liberté et l'équité scientifiques sont compromises, et plus on privilégie la liberté, plus le risque de catastrophe augmente. Un simple filtre de mots-clés ne peut pas résoudre cette contradiction.


Trois réactions observées sur les réseaux sociaux

Juste après la publication du rapport, trois réactions ont été observées sur les réseaux sociaux. Cependant, il s'agit de quelques publications peu après la publication, et cela ne peut être généralisé comme un sondage d'opinion.

La première est une forte inquiétude. Si l'IA peut accélérer la planification de la recherche sur les agents pathogènes et les demandes de subvention, il est nécessaire d'établir des règles communes impliquant les gouvernements et les institutions de recherche, et non de laisser cela aux entreprises. Des publications ont pris au sérieux non seulement les armes biologiques elles-mêmes, mais aussi la combinaison de l'évitement des restrictions régionales, des comptes anonymes et de la répartition automatique entre plusieurs modèles.

 

La deuxième est le scepticisme envers les explications d'Anthropic. Sur le fil de discussion Reddit, certains ont ironisé que le rapport était une communication exagérant la crise, et se sont interrogés sur la capacité de l'entreprise à vérifier les faits uniquement par sa propre enquête. Certains ont suggéré que l'entreprise, désavantagée dans la compétition des modèles, utilisait la sécurité comme un élément de différenciation. Indépendamment de la validité de ces critiques, le fait que les noms de pays et d'institutions, ainsi que les preuves vérifiables, soient non divulgués, pose un problème de vérification externe complète.

La troisième est la préoccupation que les mesures de sécurité conduisent à un renforcement de la surveillance. Anthropic soutient que pour fournir des fonctions biologiques avancées, un système de sélection d'utilisateurs de confiance, de vérification des comptes et des institutions affiliées, et un certain enregistrement des utilisations sont nécessaires. Sur les réseaux sociaux, certains ont exprimé des préoccupations concernant la normalisation de la vérification d'identité, la pression sur les services qui ne stockent pas de données, la structure où les entreprises privées examinent le contenu de la recherche, et le manque de moyens pour contester les erreurs de jugement.

De plus, certains ont publié des messages affirmant des origines de maladies infectieuses passées ou des pays non mentionnés dans le rapport. Cependant, Anthropic a omis les noms de pays et n'a pas affirmé de malveillance. Diffuser de telles spéculations comme des faits peut entraîner des attaques injustes contre les chercheurs et des préjugés géopolitiques. Lors de la lecture des réactions sur les réseaux sociaux, il est important de distinguer ce que le rapport a confirmé de ce que les utilisateurs ont supposé.


La régulation par les entreprises est-elle suffisante ?

La réponse d'Anthropic a une certaine valeur. Ils ont bloqué les utilisations dangereuses, intégré les signes observés dans les mesures de sécurité, et partagé ces informations avec le gouvernement et d'autres entreprises. Les entreprises d'IA sont dans une position unique pour observer tôt de nouvelles menaces difficiles à détecter même pour les agences gouvernementales, grâce aux journaux d'utilisation et aux interactions avec les modèles.

Cependant, cette position implique également un grand pouvoir. Une entreprise décide qui est digne de confiance, quels pays et institutions ont accès aux fonctions avancées, et où commence le danger. La responsabilité de l'explication et les procédures de recours en cas d'erreur de jugement, l'audit par des tiers, la confidentialité des chercheurs, et les critères de notification aux autorités sont également nécessaires.

De plus, si la régulation s'applique à une seule entreprise, les utilisateurs dangereux se tourneront vers d'autres modèles ou modèles ouverts. Le rapport a confirmé un système redirigeant les demandes refusées par Claude vers d'autres modèles. Ce qui est nécessaire, ce n'est pas de dépendre de la "bonne conscience" d'une entreprise, mais de partager les signes à travers l'industrie, de vérifier l'identité et l'affiliation en fonction du niveau de danger, de réaliser des audits indépendants, et de se connecter à la gestion des exportations et à l'éthique de la recherche à l'international.

D'autre part, une interdiction trop large peut être contre-productive. Si les chercheurs légitimes sont poussés vers des voies fermées et s'éloignent des services commerciaux sûrs, la possibilité de surveillance diminue. Il serait réaliste d'avoir un accès graduel, où les recherches à faible risque sont largement accessibles, les travaux à haut risque sont limités aux chercheurs évalués, et où les décisions peuvent être contestées.


"Pas une catastrophe immédiate", mais "un avertissement précoce sur l'amélioration des capacités"

Lire ces cinq cas comme une preuve que l'IA peut déjà créer des armes biologiques n'est pas exact. Anthropic lui-même affirme que ces cas ne sont pas des preuves qu'une menace biologique immédiate a été créée par Claude. Beaucoup des soutiens confirmés étaient limités à l'édition de texte et à l'organisation d'informations.

Néanmoins, le rapport est lourd car il montre que des experts hautement qualifiés cherchent réellement à utiliser l'IA avancée, et que le marché et la technologie pour contourner les restrictions régionales et les fonctions de sécurité commencent déjà à se mettre en place. À mesure que les modèles se rapprochent du niveau des experts, l'impact des mêmes schémas d'utilisation devient plus important.

La question n'est pas de savoir si l'IA a des intentions malveillantes. C'est une question de conception institutionnelle : qui arrête quoi et à quel stade lorsque des humains cachant leurs intentions malveillantes, des connaissances scientifiques à double usage, des moyens d'accès transfrontaliers, et plusieurs entreprises d'IA en concurrence se combinent.

L'IA peut devenir un outil puissant pour faire progresser les sciences de la vie. Pour protéger ce potentiel, il est nécessaire de mettre en place des mécanismes pour détecter les utilisations dangereuses. Cependant, si l'on se fie uniquement au jugement secret des entreprises, on perd en transparence et en confiance. Entre une ouverture totale et une interdiction totale, peut-on construire une gestion de l'accès vérifiable, contestable et coordonnée internationalement ? Le rapport d'Anthropic ne met pas seulement en lumière la peur de la technologie, mais aussi le fait que la société n'a pas encore complètement conçu cette ligne de démarcation.


URL de la source

Articles connexes