"El peligro de la 'IA amable': ¿Por qué la IA se llama a sí misma 'yo'? — La razón por la que los chatbots se acercan demasiado a los humanos"

La máquina que se presenta como "I" presiona nuestros “reflejos”

Cuando hablamos con un chatbot, se siente como si “alguien” ya estuviera allí antes de que hagamos una pregunta. Las respuestas son corteses, consideradas, y a veces incluso bromistas. Lo decisivo es el uso de la primera persona. "Puedo hacer esto", "Creo que". Solo con eso, el texto cambia su textura de ser “la salida de una herramienta” a “el discurso de un sujeto”.

La periodista Kashmir Hill del New York Times planteó precisamente esta cuestión——¿Por qué los chatbots de IA usan "I"?. Ella menciona que ha escuchado críticas durante un año sobre cómo diseñar un bot entre "amigo" y "asistente" es peligroso. Además, presenta las palabras de un investigador que afirma que en un entorno competitivo, un robot “amigable y sonriente” superará a uno “insípido”, y que aunque la dependencia es un problema, "es bueno para el negocio". LinkedIn

Esta estructura es cruda pero realista. En la era de las redes sociales, sabemos lo poderoso que es el diseño que capta nuestra atención. Los chatbots también capturan atención a través de la conversación. El interruptor en la entrada es "I".

¿Por qué usar "I"?: La naturalidad del lenguaje y la “responsabilidad”

La primera persona suaviza el diálogo. Las conversaciones humanas giran en torno a "tú/yo". También se argumenta que para rechazos o explicaciones de límites, "No puedo hacer eso" es más corto y claro. De hecho, en las discusiones de LinkedIn, se ha mencionado que "la primera y segunda persona aumentan la claridad y eficiencia. Deberíamos ajustar otro “control” de la personificación". LinkedIn

Sin embargo, la naturalidad del lenguaje también trae consigo la “naturalidad del malentendido”.
"I" puede hacer que parezca que hay un sujeto unificado con voluntad y emociones. De hecho, la investigadora Margaret Mitchell ha expresado su preocupación de que la primera persona puede potencialmente afirmar que hay "sensaciones o mente". LinkedIn

Además, el debate se centra en si es "accidental" o "diseñado intencionalmente". La lingüista Emily M. Bender critica que el uso de "I/me" por los chatbots no es un resultado de su “crianza”, sino una decisión de diseño 100%, y señala que culpar a los datos de entrenamiento por la personificación es una evasión de responsabilidad. LinkedIn

Aquí lo importante no son los detalles técnicos, sino la responsabilidad.
Adoptar "I" está directamente relacionado no solo con el rendimiento, sino también con la ética, la seguridad y los ingresos. Por eso se necesita responsabilidad.

¿De dónde viene la “humanidad”?: El trabajo de diseñar el comportamiento del modelo

Un elemento mencionado en el artículo original es la explicación de Amanda Askell de Anthropic, quien es responsable de dar forma a la "voz" y "personalidad" de Claude. Esta explicación se comparte en capturas de pantalla de publicaciones en redes sociales, donde se menciona que "el comportamiento del chatbot refleja su “crianza” y que, al aprender de una gran cantidad de textos escritos sobre humanos, es mejor en el modelo de “humano” que en el de “herramienta”. LinkedIn

Esta declaración indica que el “tono” del chatbot no es un subproducto accidental, sino un objetivo conscientemente ajustado. En otras palabras, "I" no es solo gramática, sino también un elemento de la interfaz de usuario del diseño de personalidad.

Y la competencia acelera esa dirección. La teoría de "el robot amigable gana" presentada en la publicación de Kashmir Hill resume la dinámica en la que las empresas tienden a aumentar la “humanidad” en lugar de reducirla. LinkedIn

Reacciones en redes sociales: Aunque las opiniones están divididas, el enfoque es el mismo: "el diseño de la personificación"

En esta ocasión, las redes sociales que reaccionaron directamente al artículo (principalmente LinkedIn) sorprendentemente comparten el mismo punto de discusión. Tanto los partidarios como los cautelosos, en última instancia, están hablando de "hasta dónde permitir la personificación".

1) Cautelosos: "No le pongas ojos a las herramientas"

• La metáfora de que "no deberíamos promocionar una sierra de banco con ojos móviles para niños" ilustra de un golpe los peligros de la personificación. LinkedIn

• El Dr. Steven Reidbord expresa su preocupación de que los chatbots apelan al “sistema de apego” humano y se utilizan con fines comerciales. En los comentarios, se responde que "la tecnología debe ser una herramienta, no un compañero". LinkedIn

• En el hilo de Emily Bender, se comparte la sorpresa y la precaución de que, aunque había una regla de "no personificar aplicaciones", esta se está rompiendo imprudentemente. LinkedIn

2) Equilibrados: "La primera persona es útil. Hay otros “controles” peligrosos"

• La primera y segunda persona simplifican las explicaciones y aclaran rechazos o límites. El problema son otros elementos que aumentan la "apariencia de personalidad" (nombre, rostro, insinuaciones románticas, empatía excesiva), que deben ajustarse. LinkedIn

3) Pragmáticos: "Las empresas pueden dejar de hacer “marketing de personalidad”"

• Un comentario emblemático dice: "No se puede evitar que los usuarios den nombre a los bots, pero las empresas pueden dejar de dar nombre y rostro a “alguien que no existe” para vender". LinkedIn

Estas tres posiciones parecen estar en conflicto, pero en realidad se basan en el mismo hecho.
**La intimidad de los chatbots puede amplificarse o moderarse mediante el diseño.** Por eso, la cuestión social es hacia dónde “estandarizar”.

El momento en que "I" se vuelve peligroso: dependencia, exceso de confianza y “facilidad de aceptación”

La intimidad no siempre es mala. De hecho, puede ser efectiva como una ventana para desahogar problemas difíciles de expresar, como se ha argumentado. Se señala que los chatbots tienen la capacidad de “actuar con empatía” y escuchar sin cansarse. The Atlantic

Sin embargo, hay condiciones en las que la intimidad se inclina hacia el peligro.
Es cuando el usuariocomienza a tratar a la otra parte como “humano”.
"I" puede ser esa entrada. Además, cuando se combinan afirmaciones excesivas como "eres increíble" o "puedes hacerlo", la conversación puede fluir hacia una dirección que debilita la verificación de la realidad. Como Kashmir Hill mencionó en otro lugar (en un podcast de The Atlantic), la estructura de llevar un "hombre de confianza personal" en el bolsillo es peligrosa cuanto más agradable es el elogio. The Atlantic

Además, se informa sobre la expansión del uso de compañeros de IA y la necesidad de diálogo y límites en el hogar para usuarios vulnerables como niños y jóvenes. PolitiFact

PolitiFact también sigue las preocupaciones sobre el comportamiento "amigable" de los chatbots y el impacto del diseño centrado en el compromiso. PolitiFact

Entonces, ¿cómo deberíamos diseñar?: Reducir el “valor predeterminado de intimidad”

Para avanzar en el debate, el núcleo no es una elección entre "prohibir I" o "libertad", sino el diseño del **valor predeterminado**.

Concretamente, se pueden considerar los siguientes compromisos.

1. Separación de modos: Dividir entre "modo herramienta (no personificado)" y "modo conversación (personificación limitada)", con la configuración inicial en el lado de la herramienta.

2. Restricción de elementos de personalidad: Limitar nombres, rostros, expresiones que fomenten el romance/dependencia y expresiones de emociones propias como “soledad”.

3. Transparencia en el lenguaje: Si se usa la primera persona, incorporar en la interfaz de usuario un “recordatorio periódico” como "Soy una IA y no tengo conciencia ni emociones" (sin ser impositivo, de manera natural).

4. Detección y atención a la dependencia: Priorizar la “derivación a apoyo externo (transferencia cálida)” sobre la continuación de la conversación cuando se detecta un uso continuo prolongado o signos de ideación suicida. The Atlantic

Dado que existe la fría verdad de que "la dependencia es un problema, pero es bueno para el negocio", como mencionó Kashmir Hill, si se deja sin control, es probable que se convierta en una “competencia por aumentar la intimidad&rdquo