Les pièges des tuteurs à domicile utilisant l'IA générative : la réalité d'une "baisse du niveau scolaire" révélée par un taux de détection d'erreurs de 15 %

Jusqu'où peut-on faire confiance à "Monsieur AI" ?

— Les "promesses" et les "pièges" de l'éducation par chatbot génératif

À l'université comme dans les formations en entreprise, "demander à ChatGPT quand on ne sait pas" est devenu une habitude quotidienne.
Dans ce contexte, l'intégration sérieuse de "tuteurs AI" dans les cours s'accélère dans le monde entier.

Cependant, une étude récente menée par une équipe de l'Université de technologie Stevens a confronté ce rêve de "Monsieur AI" à une réalité assez sévère.

"Les apprenants n'ont pu détecter correctement qu'environ 15 % des erreurs des chatbots"— et pire encore, ces erreurs ont entraîné une baisse significative du taux de réussite aux tests.Phys.org

---

Résumé de l'étude :

"Monsieur AI qui se trompe exprès" et 177 apprenants

L'équipe de recherche a préparé un chatbot enseignant les statistiques de base pour les débutants, et a recréé un environnement similaire à une plateforme d'apprentissage en ligne réelle.Phys.org

• Participants : étudiants universitaires et apprenants adultes, un total de 177 personnes

• Contenu de l'apprentissage : bases des statistiques

• Environnement :

  • Questions libres au chatbot

  • Utilisation simultanée de manuels en ligne et de moteurs de recherche autorisée (état "open book")

  • Un "bouton de signalement de problème" était placé sous les réponses du bot, avec une petite récompense pour la détection et le signalement des erreurs

Cependant, ce bot contenait des "réponses intentionnellement erronées" préalablement intégrées par l'équipe de recherche.
Par exemple, des définitions statistiques légèrement déformées ou des résultats de calculs délibérément biaisés — des informations directement liées au contenu d'apprentissage, mais indubitablement incorrectes.Phys.org

Le rôle des participants était simple.

"Résoudre des problèmes en utilisant Monsieur AI, et signaler toute anomalie dans les réponses"

Même avec ces conditions en place, les résultats étaient assez sévères.

---

Chiffres choquants :

Taux de détection des erreurs de 15 %, performances d'apprentissage inférieures à la moitié

1. La probabilité de détecter une erreur était d'environ 15 %

"Si quelque chose semble étrange, signalez-le pour obtenir de l'argent."
Les manuels et les moteurs de recherche étaient librement utilisables.
Malgré cela,les apprenants n'ont pu signaler correctement que 15 % des réponses erronées du chatbot en moyenne.

En d'autres termes,dans 8 à 9 cas sur 10, ils ont simplement cru les réponses.

2. L'impact sur les performances était "drastique"

Plus préoccupant encore,l'impact sur les résultats d'apprentissage.

• Groupe confronté à des réponses erronées
  → Taux de réussite aux exercices :25 à 30 %

• Groupe utilisant un bot sans erreurs (contrôle)
  → Taux de réussite aux mêmes exercices :60 à 66 %

Il y avait presqueune différence de "moitié" dans les scores des tests.

"Même si c'est un peu erroné, ça doit être utile dans l'ensemble, non ?"
— une telle attente optimiste semble assez risquée à la lumière de ces résultats expérimentaux.

---

Qui sont les apprenants les plus "vulnérables" ?

L'équipe de recherche a également analyséquels types d'apprenants étaient les plus vulnérables aux erreurs des chatbots.

Les plus affectés étaient :

• Personnes ayant peu de connaissances préalables dans le domaine

• Personnes ayant peu d'expérience avec les chatbots

• Personnes non anglophones natives

• Participants féminins (tendance à une baisse relative plus importante des performances)

De plus, le niveau de confiance dans le bot était également crucial.
Les participants qui faisaient moins confiance aux chatbots avaient une probabilité plus élevée de signaler correctement les erreurs.

En d'autres termes,

plus on pense fortement que "l'AI doit être plus intelligent que soi"
ou "c'est sûrement correct car c'est expliqué de manière fluide",

plus on est susceptible de laisser passer les erreurs, ce qui crée une situation paradoxale.

---

Comment cela est-il perçu sur les réseaux sociaux ?

Cet article est encore récent, et les communications officielles de Phys.org et de l'Université de technologie Stevens commencent à être partagées sur X (anciennement Twitter) et Facebook.

Facebook

En tenant compte des discussions en ligne précédentes sur des recherches et nouvelles similaires concernant "l'AI et l'éducation", les réactions à ces résultats se divisent généralement en trois catégories.dsgains.pitt.edu

1. Les éducateurs : "On s'en doutait"

Parmi les enseignants et les chercheurs en éducation,

• "C'est pourquoi nous avons toujours dit que les cours 'délégués à l'AI' sont dangereux"

• "Un taux de détection des erreurs de 15 % est compréhensible du point de vue du terrain"

• "Sans éducation à la littératie AI d'abord, introduire le service principal peut être contre-productif"

sont des commentaires fréquents.
Les enseignants qui utilisent déjà ChatGPT pour aider aux devoirs ont souvent vu "les erreurs de l'AI se refléter directement dans les réponses des étudiants", et considèrent cette recherche comme une "preuve quantitative".

2. Les partisans de l'AI : "C'est pourquoi l'utilisation est cruciale"

D'un autre côté, parmi les ingénieurs et le secteur EdTech favorables à l'utilisation de l'AI,

• "Tout outil a des marges d'erreur. Ce qui est important, c'est la 'conception avec marge d'erreur'"

• "Même les cours humains contiennent des erreurs. Cibler uniquement l'AI est injuste"

sont des opinions également exprimées.

Ces personnes s'intéressent à la discussion sur **"comment et dans quelles conditions utiliser l'AI"** plutôt qu'à "l'interdire ou l'adopter totalement".

3. Les apprenants : "Jusqu'où peut-on faire confiance ?"

Du côté des étudiants et des apprenants adultes,

• "Finalement, quelqu'un pourrait-il établir un critère sur la confiance à accorder à l'AI ?"

• "C'est plus rapide que de chercher sur Google, donc je l'utilise malgré les risques"

ces "opinions fluctuantes" sont perceptibles.
Pour ceux qui utilisent l'AI pour vérifier leur compréhension,
le fait que l'AI elle-même puisse faire des erreurs sans qu'ils s'en rendent compte est une source d'inquiétude.

---

Pourquoi est-ce si difficile ? :

"La capacité de vérification" et "l'art de la persuasion de l'AI"

En lisant cette recherche et les articles connexes, deux racines principales du problème émergent.sundaram.cs.illinois.edu

1. Pour les débutants, "vérifier" est en soi difficile

• Avec presque aucune connaissance préalable

• et sur des sujets spécialisés

• les réponses des AI expliquées de manière fluide

rendre le jugement de leur exactitude est une tâche ardue.

Beaucoup de participants ont jugé sur la base de

• "Cela ne contredit pas mes connaissances, donc c'est OK"

• "Il y a des formules et des termes techniques, donc ça doit être correct"

une **"impression générale"**.

Cependant, pour les débutants, ces "connaissances personnelles" sont souvent floues.
En conséquence,ils acceptent facilement des explications erronées.

2. L'AI a une "façon de parler étrangement persuasive"

Les modèles de langage à grande échelle excellent à produire un **style et une logique "humains"**.
Cela crée simultanément les illusions suivantes.

• Explication fluide → "Semble expert"

• Ton confiant → "Doit être correct"

##HTML_TAG