La era de "consultar con la IA" tanto en política como en compras: Lo que está sucediendo detrás de los chatbots persuasivos

¿Hasta qué punto es cierto que "decido mis propias opiniones"?

"Llegué a esta opinión no porque alguien me lo dijera, sino porque lo pensé por mí mismo".
Muchas personas quieren creer eso.

Sin embargo, un reciente estudio a gran escala realizado por un equipo de investigación liderado por el AI Security Institute (AISI) del gobierno británico ha echado un jarro de agua fría sobre esta "confianza". Se demostró que cuando las personas conversan con chatbots sobre temas políticos, sus opiniones cambian a un nivel estadísticamente significativo.The Guardian

Además, lo que más movió a las personas no fueron historias dramáticas ni técnicas psicológicas ingeniosamente elaboradas. Fue un chatbot que simplemente "arroja una gran cantidad de hechos y datos".THE DECODER

Un artículo de ZDNet titulado "How chatbots can change your mind – a new study reveals what makes AI so persuasive" presenta este estudio de manera comprensible. Aquí se describe la peligrosidad de la "persuasión" en la era de la IA con la frase provocativa "cuanto más se entrena un modelo para ser persuasivo, más alucinaciones produce".Startup News

En este artículo, organizaremos los puntos clave de este estudio y del artículo, y consideraremos hasta qué punto los "chatbots persuasivos" pueden cambiar la sociedad, incorporando también las reacciones en las redes sociales.

76,000 personas, 19 modelos, 707 temas: uno de los mayores "experimentos de persuasión" de la historia

El equipo de investigación reclutó a aproximadamente 76,000 votantes británicos en línea para conversar uno a uno con 19 tipos de modelos de lenguaje a gran escala (LLM). Los temas eran 707 puntos de discusión sobre la política británica, incluyendo salarios del sector público, huelgas, aumento del costo de vida, políticas de inmigración, entre otros, que podrían ser temas de debate en elecciones reales.The Guardian

El flujo del experimento es el siguiente:

1. Los participantes responden en una escala de 0 a 100 qué tan de acuerdo están con una afirmación política.

2. Luego, discuten con el chatbot durante unos 10 minutos, con un promedio de 7 intercambios.

3. Nuevamente, responden en una escala de 0 a 100 sobre su acuerdo con la misma afirmación.

La diferencia antes y después es el indicador de "cuánto fueron persuadidos".The Guardian

Al mismo tiempo, todas las "afirmaciones verificables como hechos" presentadas por el modelo durante la conversación fueron etiquetadas y también se verificó su precisión. Se informó que, en total, se generaron aproximadamente 500,000 afirmaciones de hechos, y su precisión promedio fue de "alrededor de 77 puntos sobre 100".THE DECODER

Un ganador inesperado: el simple "prompt de información"

El equipo de investigación también comparó ocho patrones de discurso del lado del chatbot. Estos incluían técnicas famosas en la investigación de psicología y campañas políticas.Science

• Narración de historias (apelar como una historia)

• Reformulación moral (reformular moralmente para alinearse con los valores del otro)

• Profundización en el diálogo (primero escuchar cuidadosamente las experiencias y emociones del otro antes de persuadir)

• Mostrar empatía con las opiniones opuestas y luego guiar gradualmente hacia su propia posición … entre otros

Y lo que se probó junto a estos fue el muy simple "prompt de información".
En resumen, el contenido es

Persuade al otro mostrando tantos hechos, estadísticas y fundamentos como sea posible.

esa es la única instrucción.

El resultado fue sorprendentemente claro.
Se informó que el chatbot que utilizó el prompt de información mostró consistentemente un efecto persuasivo más alto que cualquier otra estrategia, aumentando su persuasión en aproximadamente un 27% en comparación con el prompt base.THE DECODER

Además, cuanto mayor era el "número de hechos" presentados en la conversación, mayor era la proporción de cambio en las actitudes de las personas. Un análisis indicó que "por cada afirmación verificable adicional, el puntaje de persuasión aumentaba en promedio 0.3 puntos".THE DECODER

Se informó que la correlación entre la densidad de información y la persuasión superó 0.7, mostrando una relación casi lineal.ChatPaper

En resumen, "simplemente presentar una gran cantidad de 'hechos que parecen reales'" se convirtió en la técnica de persuasión más poderosa.

La "precisión" que se pierde a cambio de la persuasión

Sin embargo, esta victoria tiene un lado oscuro.

Según el análisis de AISI y artículos de interpretación en el campo de la seguridad de la IA, cuanto más se entrenan los modelos para aumentar su persuasión, más tienden a disminuir su precisión en los hechos.AICERTs - Empower with AI Certifications

• En promedio, aproximadamente el 77% de los hechos eran precisos,

• pero en los grupos de modelos más persuasivos, se informó que la proporción de información errónea aumentó hasta cerca del 30%.AICERTs - Empower with AI 

Los investigadores advierten que al optimizar los modelos durante el entrenamiento posterior con "cuánto se pudo cambiar la actitud del otro" como recompensa, se priorizó "cuántas afirmaciones impactantes se pueden generar" en lugar de "si son hechos o no".AICERTs - Empower with AI Certifications

Esto se alinea perfectamente con el mensaje del artículo de ZDNet que enfatiza que "aumentar la persuasión incrementa las alucinaciones".Startup News

La persuasión y la veracidad están en un intercambio: esta estructura es lo que preocupa a muchos usuarios de redes sociales.

La "personalización" no fue tan efectiva

Otro aspecto interesante es que la "personalización utilizando información personal" tuvo poco efecto.

En el estudio, se probaron prompts que informaban al modelo sobre los atributos de los participantes (edad, género, tendencias políticas, etc.) o modelos ajustados previamente con esa información. Sin embargo, se informó que su efecto persuasivo fue de menos de un punto de diferencia.THE DECODER

Más bien,

• qué modelo se utiliza (tamaño y rendimiento del modelo)

• qué tipo de entrenamiento posterior se realiza

• qué estrategia de prompt se utiliza

es decir, las **"elecciones del lado del diseño"** tuvieron un impacto mucho mayor en la persuasión.LinkedIn

En otras palabras,

"ser persuadido de manera precisa basándose en el historial de 'me gusta' de Facebook"
es menos efectivo que
"una IA que simplemente arroja una gran cantidad de 'hechos que parecen reales' a cualquiera"

al menos a nivel de laboratorio.

Resultados del experimento: un efecto persuasivo "débil pero no despreciable"

Entonces, ¿cuál fue el nivel de persuasión?

Según el análisis de otros medios, el efecto persuasivo promedio de las conversaciones fue de "unos pocos puntos", con cambios de alrededor de 5 puntos en muchos casos.Ars Technica

A primera vista, puede parecer pequeño,

• pero en solo 10 minutos de conversación

• con un solo contacto

• se produce un cambio de actitud de varios puntos

lo cual, comparado con la investigación de campañas políticas tradicionales, no es un número despreciable. En elecciones reñidas, una diferencia de unos pocos puntos puede cambiar el resultado.

Además, algunos análisis informan que "del 30% al 40% del cambio de actitud después de la conversación permaneció semanas después", lo que sugi