Les angles morts de la régulation de l'IA : qui va passer des semaines à vérifier un document que l'IA a rédigé en quelques secondes ?

Les angles morts de la régulation de l'IA : qui va passer des semaines à vérifier un document que l'IA a rédigé en quelques secondes ?

Sur 194 citations, 50 ont soutenu l'affirmation

Les documents de la réunion indiquent que "70% des entreprises nationales ont adopté". En appuyant sur la note de bas de page, un rapport d'enquête s'ouvre effectivement. Cependant, en lisant la question originale, il s'avère qu'on demandait "Envisagez-vous d'adopter ?". Le chiffre "70%" et le nom de l'enquête sont corrects. Pourtant, si cette phrase est utilisée telle quelle lors de la réunion, elle comptera les entreprises en phase de réflexion comme ayant déjà adopté.

Vérifier la source d'un texte écrit par une IA signifie lire jusqu'à la différence d'un seul verbe. Ceux qui ont réellement pris cette tâche en charge sont Amartya Kumar, fondateur de l'institut de recherche indien "Oryx Centre for Strategic Futures", et son co-fondateur Rhea Narwa.

Selon un essai de Kumar publié le 18 novembre 2026 dans le magazine australien 'On Line Opinion', ils ont passé plusieurs semaines à examiner chaque citation de 30 documents d'enquête générés par l'IA. Ils ont vérifié les affirmations écrites dans les documents et les sources immédiatement adjacentes.


Résultat du suivi des citationsNombre de cas
Impossible d'accéder aux documents liés en raison de déplacements de pages95 cas
La source soutenait l'affirmation du texte50 cas
La source existait mais son contenu divergeait de l'affirmation17 cas
Non vérifié31 cas
Pas de lien mentionné1 cas
Total194 cas

Le pourcentage de cas où les deux ont pu vérifier les sources était d'environ 26%. Les 74% restants incluent des liens rompus ou impossibles à vérifier. Il est possible que le texte original ait été correct et que seules les pages aient été déplacées. Les chiffres sont basés sur les 30 documents examinés par les auteurs et ne reflètent pas le taux de précision global de l'IA générative.


Le plus difficile à détecter est le lien qui s'ouvre

Parmi la liste, 17 cas méritent une attention particulière. Si un lien est rompu, le lecteur se rend compte immédiatement qu'il "n'a pas pu vérifier". En revanche, si une page d'un institut de recherche existant s'ouvre et que des mots similaires au texte apparaissent, le lecteur peut être tenté de s'arrêter là. Dans l'exemple initial, c'est le moment où l'on trouve le chiffre "70%" en recherchant dans la page.

Les erreurs de citation ont plusieurs étapes. Le document existe-t-il vraiment ? Les auteurs et le journal sont-ils corrects ? Et peut-on tirer la conclusion actuelle de ce document ? Même après avoir passé les deux premières étapes, on peut trébucher à la dernière.

Une étude publiée en 2023 dans le journal 'Scientific Reports' s'est concentrée sur l'existence des documents et l'exactitude des informations bibliographiques. Les chercheurs ont demandé à ChatGPT de rédiger une revue de littérature sur 42 thèmes, vérifiant 636 références. Les documents fictifs représentaient 55% avec GPT-3.5 et 18% avec GPT-4. De plus, même parmi les documents existants avec GPT-4,24% contenaient des erreurs bibliographiques importantes. Bien que le modèle et l'objectif diffèrent de l'enquête de Kumar, cela montre que la présence de véritables documents dans une liste de références ne garantit pas la fiabilité de l'ensemble.


Sur les réseaux sociaux, un bibliothécaire a raconté "la page couvrant deux articles"

Comment ce problème se manifeste-t-il au comptoir de la bibliothèque ? En juin 2025, avant la publication de l'article original, une expérience a été partagée dans la communauté des bibliothèques sur Reddit, concernant la recherche de livres et d'articles recommandés par l'IA.

 

Un contributeur a mentionné qu'un article demandé par un professeur comportait le nom d'un chercheur et le titre d'un journal existants, avec le bon volume et la bonne date de publication. Cependant, en ouvrant les pages spécifiées, il a trouvé la fin d'un article et le début d'un autre. Le professeur, interrogé sur la source, a répondu qu'il avait demandé à ChatGPT une nouvelle fois et avait reçu la même réponse. La différence entre poser à nouveau la question et vérifier dans le journal est illustrée par ces quelques pages.

Dans un autre fil, un contributeur a partagé son expérience de vérification des titres d'œuvres avec un utilisateur, en montrant une liste des œuvres de l'auteur. Le titre suggéré par l'IA semblait être une combinaison de parties de deux titres existants et des mots utilisés par l'utilisateur lors de la recherche. L'utilisateur a été convaincu après avoir vu la liste des œuvres.

Bien que ce soient des récits personnels, ils révèlent une charge invisible dans les chiffres de l'enquête. Créer un titre plausible peut être instantané, mais expliquer pourquoi il est introuvable nécessite de consulter une liste d'œuvres, d'ouvrir le journal, et parfois de tourner les pages avec l'autre personne.


Pour les documents de réunion au Japon, quelle phrase vérifier en premier

En discutant des réglementations internationales concernant l'IA, Kumar a posé une question très pratique. Même si des politiques de sécurité sont établies et des rapports de problèmes désignés, qui ouvrira les notes de bas de page des documents distribués aujourd'hui ?

Dans un lieu de travail japonais, commencer par se demander "Si cette phrase est incorrecte, la conclusion de la réunion changera-t-elle ?" peut aider à déterminer l'ordre de vérification. Si une proposition d'investissement pressante repose sur le "70%" initial, le responsable devrait vérifier, non pas la couverture du rapport, mais la question et le tableau qui ont généré ce chiffre. L'échantillon est-il représentatif des "entreprises nationales" ? "Adopté" et "envisagé" sont-ils des choix distincts ? Une fois cela lu, la phrase à laisser dans le document est claire.

La même méthode peut être appliquée aux rapports scolaires. Avant de copier le titre d'un article dans la section des références, notez dans la marge "Quelle page et quelle description de l'article soutiennent ma phrase ?". Si la section correspondante ne peut être trouvée, restreignez l'affirmation à ce que vous pouvez dire dans le texte original. Si l'ouverture de la source rend le texte un peu plus terne, c'est cette révision qui a de la valeur.


Sources