Las trampas del tutor de IA generativa: la realidad de la "disminución del rendimiento académico" que indica una tasa de detección de errores del 15%

¿Hasta qué punto podemos confiar en el "profesor de IA"?

— Las "promesas" y "trampas" de la educación con chatbots generativos de IA

En universidades y entrenamientos corporativos, "preguntar a ChatGPT cuando no sabemos algo" se ha vuelto algo cotidiano.
En este contexto, el movimiento para integrar seriamente a los "tutores de IA" en las clases está acelerándose en todo el mundo.

Sin embargo, una investigación reciente realizada por un equipo de la Universidad Tecnológica de Stevens ha presentado una realidad bastante dura para este "profesor de IA" de ensueño.

"Los estudiantes solo pudieron identificar correctamente alrededor del 15% de las respuestas incorrectas del chatbot en promedio"— y además, estas equivocaciones llevaron a una disminución significativa en la tasa de respuestas correctas en las pruebas.Phys.org

Resumen general del estudio:

"El profesor de IA que comete errores a propósito" y 177 estudiantes

El equipo de investigación preparó un chatbot para enseñar estadística básica a principiantes, recreando un entorno similar a una plataforma de aprendizaje en línea real.Phys.org

• Participantes: estudiantes universitarios y adultos aprendices, un total de 177 personas

• Contenido de aprendizaje: fundamentos de la estadística

• Entorno:

  • Preguntas libres al chatbot

  • Se permite el uso simultáneo de libros de texto en línea y motores de búsqueda (estado de "libro abierto")

  • Se instaló un "botón de reporte de problemas" debajo de las respuestas del bot,ofreciendo una pequeña recompensa por encontrar y reportar errores

Sin embargo, este bot contenía **respuestas "erróneas a propósito" preparadas de antemano por el equipo de investigación**.
Por ejemplo, confundiendo ligeramente las definiciones estadísticas o alterando deliberadamente los resultados de los cálculos — información relacionada con el contenido de aprendizaje pero definitivamente incorrecta.Phys.org

El papel de los participantes era simple.

"Resolver problemas usando el profesor de IA y reportar cualquier anomalía en las respuestas"

Incluso con estas condiciones, los resultados fueron bastante duros.

Cifras impactantes:

Tasa de detección de errores del 15%, el rendimiento académico cae por debajo de la mitad

1. La probabilidad de detectar errores fue de solo alrededor del 15%

Si pensaban "¿esto es raro?", podían reportarlo para ganar dinero.
Se les permitía usar libros de texto y motores de búsqueda libremente.
Aun así,los estudiantes solo pudieron reportar correctamente las respuestas incorrectas del chatbot en un promedio del 15%del total.

En otras palabras,en 8 o 9 de cada 10 ocasiones simplemente lo creyeronsin cuestionarlo.

2. El impacto en el rendimiento fue a un nivel "grave"

Lo más preocupante esel impacto en los resultados de aprendizaje.

• Grupo que encontró respuestas incorrectas
  → Tasa de respuestas correctas en ejercicios:25-30%

• Grupo que usó un bot sin errores (control)
  → Tasa de respuestas correctas en los mismos ejercicios:60-66%

Hubo una diferenciaequivalente a que la puntuación en el examen se redujera a "la mitad".

"Si solo hay pequeños errores, ¿no será útil en general?"
— Este tipo de expectativa optimista parece bastante arriesgada a la luz de estos resultados experimentales.

¿Quiénes son los "aprendices más vulnerables"?

El equipo de investigación también analizóqué tipo de estudiantes son más susceptibles a los errores del chatbot.

Los más afectados fueron:

• Personas con poco conocimiento previo en el área

• Personas con poca experiencia en el uso de chatbots

• Hablantes no nativos de inglés

• Participantes femeninas (tendencia a una caída más pronunciada en el rendimiento)

Además, la confianza en el bot también fue importante.
Los participantes que confiaban menos en el chatbot tenían una mayor probabilidad de reportar correctamente los errores.

En otras palabras,

cuanto más pensaban
"La IA debe ser más inteligente que yo"

"Explica de manera tan fluida que debe ser correcto", más propensos eran a pasar por alto los errores, lo cual es una paradoja

¿Cómo se percibe en las redes sociales?

Este artículo es relativamente nuevo y las publicaciones oficiales de Phys.org y la Universidad Tecnológica de Stevens están comenzando a compartirse en X (anteriormente Twitter) y Facebook.Facebook

Considerando las discusiones previas en línea sobre investigaciones y noticias relacionadas con "IA y educación", las reacciones a estos resultados generalmente se dividen en tres categorías.dsgains.pitt.edu

1. Desde el ámbito educativo: "Sabíamos que esto pasaría"

Entre los docentes e investigadores educativos,

• "Por eso hemos dicho que las clases 'dependientes de IA' son peligrosas"

• "Una tasa de detección de errores del 15% es comprensible desde la perspectiva del aula"

• "Necesitamos enseñar alfabetización en IA antes de implementar servicios principales, de lo contrario será contraproducente"

son comentarios comunes.
Los docentes que ya usan ChatGPT como apoyo en tareas han experimentado que "los errores de IA se reflejan directamente en las respuestas de los estudiantes", por lo que ven este estudio como un "respaldo cuantitativo".

2. Desde los defensores de la IA: "Por eso es importante saber cómo usarla"

Por otro lado, desde el ámbito de los ingenieros y el sector EdTech,

• "Todos los instrumentos tienen márgenes de error. Lo importante es el 'diseño considerando el error'"

• "Las conferencias humanas también tienen errores. Criticar solo a la IA es injusto"

son opiniones que también se expresan.

Estas personas están interesadas en el debate sobre **"no si prohibir o implementar completamente, sino cómo y en qué situaciones usarla con restricciones"**.

3. La perspectiva de los aprendices: "¿Hasta qué punto podemos confiar?"

Desde la perspectiva de los estudiantes y aprendices adultos,

• "Al final, ¿cuánto podemos confiar en la IA? Alguien debería establecer un estándar"

• "Es más rápido que buscar en Google, así que lo uso a pesar de los riesgos"

son opiniones que reflejan una "honestidad vacilante".
Para aquellos que usan la IA para verificar su comprensión,
el hecho de que la propia IA pueda cometer errores sin que se den cuentaes un resultado bastante inquietante.

¿Por qué es tan difícil?:

"La habilidad de verificar" y "la elocuencia de la IA"

Al leer este estudio y los artículos relacionados, el problema se puede resumir en dos grandes raíces.sundaram.cs.illinois.edu

1. Para los principiantes, "verificar" es difícil en sí mismo

• Con un conocimiento casi nulo en el campo

• y sobre temas especializados

• las respuestas de IA que explican de manera fluida

es un desafío considerable determinar si son "correctas o no".

Muchos participantes

• juzgaron basándose en "no contradice mi conocimiento, así que está bien"

• "Aparecen fórmulas y términos técnicos, así que debe ser correcto"

usando un juicio basado en **"sensaciones generales"**.

Sin embargo, para los principiantes, ese "conocimiento propio" es incierto.
Como resultado,absorben explicaciones incorrectas sin cuestionarlas.

2. La IA tiende a hablar de manera "extrañamente convincente"

Los modelos de lenguaje a gran escala son muy hábiles en producir un **"tono y lógica que parecen humanos"**.
Esto genera las siguientes ilusiones.

• Explicación fluida → "Parece un experto"

• Tono confiado → "Debe ser correcto"

Este estudio también mostró quelas personas que confiaban más en el chatbot eran más propensas a pasar por alto los errores.

##HTML