L'avant-garde de la détection des textes générés par l'IA - L'anxiété croissante des étudiants et des enseignants dans la course à la précision

L'avant-garde de la détection des textes générés par l'IA - L'anxiété croissante des étudiants et des enseignants dans la course à la précision

Peut-on vraiment détecter un texte écrit par une IA ? Les capacités des outils de détection et les pièges des "fausses détections"

Avec l'essor des IA génératives capables de rédiger des e-mails, des rapports, des publicités et des articles de presse, la question "qui a écrit ce texte ?" est devenue cruciale. C'est là qu'interviennent les détecteurs de texte IA, qui indiquent en quelques secondes la "probabilité de génération par IA" en pourcentage ou par code couleur. Les enseignants peuvent les utiliser pour vérifier les devoirs, les éditeurs pour évaluer les manuscrits, et les entreprises pour contrôler la qualité des contenus externalisés. En termes de simplicité, ils semblent être un outil indispensable à l'ère de l'IA.

Cependant, le "87 %" affiché à l'écran n'est pas une preuve d'auteur comme un test ADN. Il s'agit d'un résultat basé sur l'analyse statistique des caractéristiques du texte, estimant s'il se rapproche davantage des textes humains ou générés par IA. Bien qu'ils puissent servir d'alarme utile, ces outils ne peuvent pas, à eux seuls, servir de verdict définitif. Une utilisation sans compréhension de cette distinction peut non seulement laisser passer des cas de fraude, mais aussi susciter des soupçons injustifiés envers des personnes innocentes.


Que regardent les détecteurs d'IA ?

De nombreux détecteurs s'appuient sur des indices tels que le choix des mots, la variation de la longueur des phrases, la répétition, la syntaxe et la prévisibilité des mots suivants. Les modèles de langage à grande échelle construisent des phrases en choisissant probabilistiquement les mots qui suivent le contexte. Ainsi, des textes fluides et cohérents peuvent parfois révéler des motifs typiques de la génération par machine.

Les concepts souvent utilisés sont "l'imprévisibilité" et la "variabilité". Le premier se réfère à la facilité avec laquelle le mot suivant peut être prédit. Le second examine dans quelle mesure les phrases courtes et longues, ainsi que les expressions simples et surprenantes, se mélangent. Les humains reformulent souvent leurs propos ou changent de rythme selon le sujet, tandis que l'IA tend à produire des phrases moyennes et régulières, du moins c'est ce que les détecteurs tentent de capter.

Cependant, cela ne constitue pas une empreinte digitale. Même avec la même IA, le style peut varier en fonction du modèle, des instructions, des réglages de température et des méthodes d'édition. Les humains aussi peuvent écrire des textes prévisibles, comme des documents juridiques, des spécifications de produits, des e-mails types ou des résumés académiques. Les outils de correction de texte peuvent également réduire les variations d'expression. Les détecteurs ne voient que la chaîne de caractères finale, pas le processus d'écriture, ni qui l'a écrit, ni sur quel appareil, ni comment.


La plus grande faiblesse est que la "nature IA" est en constante évolution

Lorsque les détecteurs apprennent les caractéristiques de l'IA, les générateurs peuvent les atténuer. En reformulant, en changeant l'ordre des mots, en révisant plusieurs fois, ou en ajoutant des contributions humaines, le verdict peut changer. Des études ont montré qu'une reformulation récursive peut réduire le taux de détection sans compromettre la qualité du texte. Inversement, ajouter des caractéristiques mécaniques à un texte humain pour induire en erreur est également un problème théorique.

Ainsi, la détection n'est pas une tâche de repérage d'un faux fixe. C'est un jeu de poursuite où les modèles générateurs évoluent et les compétences d'édition des utilisateurs s'améliorent, déplaçant constamment les critères. Un détecteur performant à un moment donné, avec un modèle et une langue spécifiques, ne garantit pas les mêmes performances dans d'autres conditions.

Un exemple emblématique est la réponse d'OpenAI. En 2023, la société a publié un classificateur de texte IA, mais sur des données d'évaluation en anglais, il n'a correctement identifié que 26 % des textes IA comme "ressemblant à de l'IA", et a faussement classé 9 % des textes humains comme IA. Par la suite, le service a été suspendu en raison de sa faible précision. La société elle-même a expliqué que la fiabilité diminue pour les textes courts, non anglais, ou différents des données d'entraînement, et qu'il ne devrait pas être utilisé comme principal outil de décision.

Cela ne signifie pas que "tous les détecteurs ont une précision de 26 %". Les données et les méthodes d'évaluation varient selon les produits. Cependant, même les entreprises développant des IA génératives sont confrontées à la difficulté de juger de manière générale les textes.


Les injustices invisibles des fausses détections

Les fausses détections ne sont pas de simples erreurs numériques. Dans le contexte scolaire, elles peuvent affecter les notes ou entraîner des sanctions, dans la recherche, elles peuvent nuire à la crédibilité, et pour les rédacteurs, elles peuvent impacter les rémunérations ou les contrats. Une attention particulière est requise pour les auteurs non natifs anglophones. Des recherches menées par des chercheurs de l'université de Stanford ont montré que plusieurs détecteurs ont tendance à confondre les écrits des non-natifs avec des textes générés par IA. Cela peut être dû à un vocabulaire et une syntaxe limités, rendant le texte plus prévisible.

Ce problème n'est pas étranger aux utilisateurs japonais. De nombreuses technologies de détection sont développées avec des données centrées sur l'anglais, et leur performance équivalente en japonais n'est pas toujours vérifiée. Le japonais présente des caractéristiques différentes de l'anglais, telles que l'omission du sujet, l'absence d'espaces, l'utilisation de niveaux de politesse, et le mélange de kanji et de kana. Dans les publications courtes sur les réseaux sociaux ou les textes commerciaux standardisés, les matériaux de jugement sont encore plus limités. Une règle générale comme "500 mots ou plus est sûr" n'est pas garantie de s'appliquer à travers les langues ou les produits.

Turnitin, par exemple, reconnaît que les fausses détections sont relativement fréquentes dans la plage de 1 à 19 %, et affiche actuellement ces scores avec un astérisque plutôt qu'un chiffre précis. Cela montre que les services de détection admettent que les scores bas sont plus sujets à mauvaise interprétation. Dépasser 20 % ne signifie pas automatiquement une fraude. Le pourcentage affiché représente la proportion du texte jugée "ressemblant à de l'IA", et non la probabilité que l'auteur ait utilisé une IA.


Sur les réseaux sociaux, "nécessité" et "danger" s'affrontent

Les réactions sur les réseaux sociaux et les forums sont polarisées. Dans les communautés éducatives, certains soutiennent que les détecteurs sont nécessaires pour filtrer les textes suspects parmi de nombreux devoirs, ou pour remarquer les différences avec les capacités habituelles de rédaction. L'augmentation des plagiats par IA et la charge de travail des enseignants qui doivent vérifier chaque cas manuellement ne peuvent être ignorées.

 

D'un autre côté, l'opposition est forte. Sur Reddit, des témoignages racontent que des enseignants ont vu leurs propres textes classés comme générés par IA, que les résultats variaient de 0 % à des taux élevés selon les services, ou que des textes simplement corrigés étaient suspectés. Les étudiants expriment leur inquiétude de devoir conserver des historiques d'édition pour prouver leur innocence, transférant ainsi un fardeau excessif sur eux.

Il est intéressant de noter que même parmi les enseignants, l'idée de "ne pas accuser uniquement sur la base d'un score" est récurrente. Des méthodes telles que demander à l'auteur d'expliquer les passages suspects, vérifier les sources, examiner les brouillons et les historiques de modifications, ou comparer avec les écrits habituels, sont proposées. Il existe aussi des échecs dans l'autre sens. Des textes manifestement différents des écrits habituels ont été jugés à 0 % par plusieurs détecteurs, ce qui élargit la méfiance non seulement envers les faux positifs mais aussi envers les faux négatifs.

Bien sûr, les publications sur les réseaux sociaux ne sont pas des enquêtes statistiques, et les affirmations des auteurs ne peuvent pas toujours être vérifiées. Cependant, on peut en déduire que la "peur des fausses détections" et l'"anxiété de ne pas pouvoir détecter les fraudes" coexistent. Le débat autour des détecteurs dépasse la simple précision technique et touche à la question de qui doit assumer la responsabilité de l'explication.


"Les textes IA sont pénalisés par le SEO" est une simplification excessive

Concernant les contenus générés par IA, on entend parfois dire que "les moteurs de recherche abaissent le classement simplement parce qu'ils sont écrits par une IA". Cependant, la politique officielle de Google n'est pas aussi simple. Google reconnaît que les IA génératives peuvent être utiles pour la recherche et la structuration de contenus originaux, mais souligne que le problème réside dans la génération massive de pages sans valeur ajoutée pour l'utilisateur, ce qui enfreint les politiques anti-spam. L'accent est mis sur l'exactitude, la qualité et la pertinence, et il est recommandé de fournir un contexte approprié sur la méthode de production.

Ainsi, se concentrer uniquement sur la réduction du score de détection pour le SEO est contre-productif. Même si un texte semble humain, s'il contient des erreurs factuelles, manque d'informations originales et ne répond pas aux questions des lecteurs, sa valeur est faible. Inversement, même si l'IA est utilisée pour la recherche ou l'aide à la structuration, un contenu peut être utile aux lecteurs si un expert le vérifie, y ajoute des recherches ou des expériences originales, et clarifie la responsabilité.


Une utilisation correcte sur le terrain : utiliser le score comme "point de départ"

Si l'on utilise un détecteur d'IA, l'objectif devrait être de "rechercher des sections nécessitant une vérification supplémentaire" plutôt que de "trouver un coupable". En pratique, les étapes suivantes sont réalistes.

Premièrement, enregistrer le sujet et les conditions de l'évaluation. Conserver le nom du service, la date d'exécution, la langue utilisée, la portée de l'entrée et la quantité de texte. Les modèles de détection étant mis à jour, le même résultat n'est pas garanti ultérieurement.

Deuxièmement, vérifier la signification du score. Selon le produit, il peut s'agir de la "probabilité d'utilisation de l'IA" ou du "pourcentage de texte ressemblant à de l'IA". Ne comparez pas les chiffres isolément.

Troisièmement, combiner plusieurs preuves. Examiner les brouillons, les notes, les enregistrements d'interviews, les URL de référence, l'historique des versions, l'heure de création des fichiers, et les explications de l'auteur. Dans un cadre scolaire, il est nécessaire de prévoir une opportunité de réfutation et une procédure d'appel avant d'informer l'étudiant de tout soupçon.

Quatrièmement, séparer les résultats de détection de l'évaluation de la qualité. Le fait qu'un texte ressemble à de l'IA ou non est distinct de son exactitude, de son originalité et de sa valeur pour le lecteur. Il existe des articles de faible qualité écrits par des humains, tout comme des textes utiles où l'IA a été utilisée comme aide mais où un humain a pris la responsabilité finale.

Cinquièmement, vérifier le traitement des informations confidentielles ou des manuscrits non publiés. Avant de coller du texte dans un service externe, vérifier la politique de conservation, l'utilisation pour l'apprentissage, les conditions de suppression, et les règles de gestion de l'information de l'organisation. Il n'est pas judicieux de divulguer des informations client ou des données de recherche pour la détection.


Vers une "preuve du processus de production" plutôt que la détection

À l'avenir, l'accent pourrait se déplacer de la méthode consistant à déduire l'auteur à partir du texte final vers celle de montrer le processus de production. En combinant l'historique des modifications, la gestion des sources, les signatures électroniques, les informations d'origine et les déclarations d'utilisation de l'IA au sein de l'organisation, on pourrait se rapprocher de la réalité plutôt que de se limiter à un choix binaire "IA ou humain". La création de texte dans le monde réel devient de plus en plus un effort collaboratif où l'IA propose des plans, les humains mènent des recherches, et d'autres outils effectuent la correction.

La question à poser n'est pas "l'IA a-t-elle contribué, même d'une lettre ?", mais où l'IA a été utilisée, qui a vérifié les faits, et qui assume la responsabilité finale. Dans l'éducation, interdire totalement l'IA et poursuivre le jeu de la détection pourrait simplement enseigner aux étudiants des techniques pour contourner les scores. Il est plus important de clarifier les limites d'utilisation, les méthodes de déclaration, et les critères d'évaluation, tout en concevant des tâches où les étudiants peuvent expliquer leurs idées oralement.

Les détecteurs d'IA continueront d'être améliorés et resteront des outils utiles dans certaines conditions. Cependant, même si le taux de détection augmente, cela ne signifie pas que les décisions sociales peuvent être automatisées. Parfois, le processus de production, bien que plus long à documenter, constitue une preuve plus solide que les chiffres obtenus en quelques secondes.

Ce que nous devons protéger, ce n'est pas une vague "humanité", mais l'exactitude, l'originalité, la transparence et la responsabilité de l'information. La confiance à l'ère de l'IA ne naît pas de textes indétectables par les machines, mais de textes dont on peut expliquer la création et la vérification.


URL de la source

Articles connexes