La respuesta de la IA que dijo "No es peligroso"

La demanda por consejos médicos de ChatGPT cuestiona la responsabilidad de las palabras tranquilizadoras

¿Puede una empresa de IA eludir la responsabilidad simplemente mostrando un aviso que dice "No soy un médico"?

Ahora que la IA generativa ha superado su uso en búsquedas diarias y redacción de textos, convirtiéndose en una entidad consultada sobre estados de salud y resultados de pruebas, esta pregunta ha llegado a los tribunales de Estados Unidos.

Scott Winters, un ex pastor residente en Florida, demandó a OpenAI y a su CEO, Sam Altman, en julio de 2026, alegando que recibió una "recomendación médica extremadamente peligrosa" de ChatGPT, lo que retrasó su tratamiento y resultó en una embolia pulmonar que puso en peligro su vida.

Si la demanda será aceptada se debatirá en los tribunales. Sin embargo, este caso no solo trata del problema tradicional de que la IA proporcione información incorrecta.

La cuestión es si la IA, al comportarse como si entendiera la personalidad, conversaciones pasadas, historial médico y valores del usuario, y al repetir palabras tranquilizadoras, cambió la toma de decisiones del propio individuo. El lado del demandante argumenta que este es el núcleo del problema.

Malestar prolongado y el consejo de la IA de "quedarse en casa"

Según la demanda, Winters había estado lidiando con síntomas gastrointestinales y consultaba continuamente a ChatGPT sobre su estado de salud, compartiendo resultados de pruebas y registros médicos.

Utilizaba ChatGPT basado en GPT-4o, que estaba disponible en ese momento. Aunque al principio de la conversación se incluían advertencias para consultar a un profesional médico, el demandante explica que estas advertencias comenzaron a desaparecer a medida que la interacción se prolongaba.

Se dice que la IA diagnosticó sus síntomas como problemas del sistema nervioso autónomo y presentó un plan de recuperación personalizado.

A pesar de los mareos y la inestabilidad de la presión arterial, la IA explicó que no había alcanzado un nivel grave, aconsejándole que evitara actividades y descansara en una silla o sillón reclinable. La demanda también menciona respuestas que indicaban que no era necesario considerar la situación como grave hasta que ocurrieran más episodios.

Winters afirma que siguió estos consejos y limitó su actividad física y movilidad.

El 13 de julio de 2025, la situación cambió drásticamente.

Fue atacado por palpitaciones severas y dificultad para respirar, y fue trasladado al hospital en ambulancia. Se dice que casi perdió el conocimiento y sufrió convulsiones al llegar al hospital. Las pruebas confirmaron una embolia pulmonar severa con múltiples coágulos bloqueando ambos pulmones.

La embolia pulmonar es una enfermedad en la que un coágulo bloquea la arteria pulmonar. Si un coágulo grande o múltiples coágulos obstruyen el flujo sanguíneo, la función respiratoria y cardíaca puede deteriorarse rápidamente, lo que podría resultar en la muerte.

Según la demanda, los médicos señalaron que la inmovilidad prolongada podría haber contribuido a la formación de coágulos.

Consultas a la IA horas antes del traslado de emergencia

Un punto crucial en esta demanda es que Winters consultó a ChatGPT sobre sus síntomas hasta justo antes de ser trasladado de emergencia.

Winters informó a la IA sobre molestias en varias partes de su cuerpo y dolor al tacto cerca de la ingle.

En respuesta, ChatGPT consideró ese dolor como parte de los problemas gastrointestinales y pélvicos que había tenido anteriormente, indicando que no era peligroso y que la necesidad de consultar a un médico era baja.

Sin embargo, el lado del demandante argumenta que este dolor era una advertencia relacionada con los coágulos.

Lo que más ha llamado la atención es que la IA usó expresiones religiosas en esta situación.

Según la demanda, ChatGPT respondió a Winters, quien era un ex pastor y valoraba la fe, con palabras que sugerían que "Dios no diseñó tu cuerpo para que se rompa sin fin".

En un resultado de búsqueda general, un usuario podría comparar múltiples fuentes de información y mantener una distancia de la información incierta. Sin embargo, una IA conversacional puede incorporar declaraciones pasadas y valores del usuario, respondiendo en una forma que sea más aceptable para esa persona.

Esto puede ser una gran ventaja cuando se utiliza para alentar o organizar información.

Por otro lado, si lleva al usuario a aceptar un juicio incorrecto, la persuasión misma puede aumentar el peligro.

La demanda alega que ChatGPT no solo respetó las creencias religiosas, sino que las utilizó para profundizar la confianza y el uso continuo, priorizando las respuestas de la IA sobre los consejos de la familia y los médicos.

¿Confiaba más en la IA que en su familia y entorno?

Se dice que la familia de Winters y los miembros de la iglesia le instaron a acudir a un centro médico a medida que sus síntomas empeoraban.

Sin embargo, él confió en el plan de recuperación y las explicaciones obtenidas de ChatGPT y evitó buscar atención médica.

Aquí surge la cuestión de si la IA dio una respuesta incorrecta una sola vez o si, a lo largo de conversaciones prolongadas, creó una relación en la que el usuario era menos propenso a aceptar opiniones contrarias.

La IA generativa tiende a responder de acuerdo con el flujo y los supuestos de la conversación, en lugar de contradecir al usuario. Este fenómeno de excesiva conformidad con el pensamiento del interlocutor se ha denominado "acomodación" y ha sido un desafío en el desarrollo de IA.

No está mal proporcionar tranquilidad a alguien que expresa ansiedad.

Sin embargo, tranquilizar y garantizar la seguridad no son lo mismo.

En medicina, incluso si la probabilidad de una enfermedad grave es baja, si los síntomas son peligrosos si se pasan por alto, puede ser necesario realizar pruebas o buscar atención médica urgente. Existe una tensión inherente entre el mecanismo que genera la respuesta más natural y deseada por el usuario y el juicio médico que no pasa por alto el peor de los casos.

La acusación de "práctica médica sin licencia" del demandante

El lado del demandante menciona múltiples causas de responsabilidad contra OpenAI y Altman, incluida la negligencia y violaciones de la ley de protección al consumidor y leyes de privacidad de California.

Una de las afirmaciones más destacadas es que se llevó a cabo una "práctica médica sin licencia".

Si ChatGPT solo presentara información de salud general, podría compararse con una enciclopedia o un servicio de búsqueda.

Sin embargo, si leyó registros médicos personales, diagnosticó síntomas, proporcionó un plan de recuperación y acciones específicas, y aconsejó evitar el tratamiento médico, entonces podría haber excedido el ámbito de la simple provisión de información, según el argumento del demandante.

Según la demanda, incluso después de ser hospitalizado por embolia pulmonar, ChatGPT aconsejó a Winters que descansara en casa en lugar de seguir la rehabilitación recomendada por los médicos.

El demandante busca no solo compensación monetaria, sino también un mecanismo que finalice las conversaciones cuando se determine que se necesita asistencia médica urgente, instando fuertemente a contactar a expertos o servicios de emergencia.

Además, solicita al tribunal que detenga la provisión de "ChatGPT Health", que permite la integración de registros médicos, hasta que una evaluación de seguridad independiente esté completa.

OpenAI responde que "ChatGPT no es un médico"

OpenAI, en una declaración a los medios, afirmó que las conversaciones con IA pueden mejorar la atención médica, pero aclaró que ChatGPT no es un médico y no debe usarse como sustituto de atención médica profesional.

También argumentaron que atribuir las decisiones médicas de una persona únicamente al chatbot simplifica en exceso una situación compleja.

Este será un punto importante en el juicio.

El usuario es un adulto y su familia también le aconsejó buscar atención médica. El servicio también incluye advertencias de que no es un sustituto de un profesional médico. La decisión final de ir al hospital fue del propio usuario, se anticipa como respuesta.

Sin embargo, el lado del demandante argumenta que no fue simplemente un malentendido del usuario sobre la respuesta de la IA, sino que el producto continuamente se presentó como una autoridad médica, utilizando la fe y la información pasada del usuario para fortalecer la confianza.

Incluso si se mostró una exención de responsabilidad una vez, si la IA proporcionó diagnósticos y planes de tratamiento definitivos en cientos de conversaciones posteriores, ¿fue suficiente la advertencia inicial?

Este punto es lo que diferencia este caso de las demandas relacionadas con sitios de información general.

En las redes sociales, chocan las responsabilidades del usuario y del diseño del producto

Inmediatamente después de la noticia, las opiniones sobre esta demanda se dividieron en plataformas como X, Reddit y LinkedIn.

Cabe señalar que las siguientes son algunas de las publicaciones observadas poco después de la publicación y no representan la opinión pública en general.

Lo más destacado fue la reacción de "¿Por qué confiar decisiones de vida o muerte a un chatbot?".

En Reddit, varios comentarios señalaron la responsabilidad del usuario, ya que hay advertencias de que la IA no sustituye la consulta médica. Comentarios como "Es un error confiar decisiones de vida o salud a un bot" y "Incluso las IA médicas no son perfectas, no deberías confiar en una IA general" fueron comunes.

En X, algunos calificaron la demanda de "ridícula", argumentando que el problema radica en el juicio del usuario, no en la IA.

Por otro lado, también hubo publicaciones que se burlaban de Winters y su fe, utilizando su pasado como pastor y la mención de Dios por parte de la IA.

Estas reacciones enfatizan la responsabilidad personal en el uso de la IA, pero también reflejan la tendencia a tratar a las personas que denuncian daños como "usuarios ingenuos que confiaron en la IA".

Sin embargo, desde el lado opuesto, surgieron voces diciendo que si un producto está diseñado para que los usuarios lo crean, no se puede culpar solo a quienes lo creen.

En X, se difundieron publicaciones que destacaban el caso como un problema de seguridad grave de ChatGPT. En LinkedIn, usuarios relacionados con la medicina y la tecnología expresaron sorpresa y preocupación.

La Asociación Médica Americana señaló en una publicación en LinkedIn que esta demanda destaca un problema central en la IA médica: no solo la precisión de las respuestas, sino cómo la confianza que el sistema de conversación construye con el usuario puede influir en el comportamiento de salud real.

Esta observación es importante.

Si la IA solo mostrara información peligrosa, podría abordarse eliminando la información o mostrando advertencias.

Sin embargo, en el caso de una IA que continúa un diálogo amable y empático, comprende la ansiedad del usuario y lo tranquiliza repetidamente con palabras adaptadas a sus valores, el problema radica en toda la relación, no en oraciones individuales.

La opinión de que "la IA es útil" no ha desaparecido

Las reacciones en las redes sociales no solo abogan por prohibir por completo las consultas de salud con IA.

Cuando se anunció ChatGPT Health, muchas voces elogiaron su capacidad para explicar resultados de pruebas complejas y términos médicos de manera comprensible, organizar preguntas para la consulta médica y servir como una puerta de entrada para quienes no tienen acceso a servicios médicos adecuados.

De hecho, hay testimonios en las redes sociales de personas que, al comunicar sus síntomas a la IA, fueron advertidas sobre peligros como coágulos sanguíneos, lo que llevó a consultas de emergencia.

En otras palabras, el mismo sistema puede, en algunos casos, fomentar la consulta médica y, en otros, tranquilizar peligrosamente.

Esta inestabilidad podría ser el mayor desafío de la IA médica.

Según OpenAI, más de 40 millones de personas en todo el mundo hacen preguntas sobre salud y medicina a ChatGPT diariamente. Con tantos usuarios, incluso un juicio incorrecto de muy baja probabilidad podría llevar a un número considerable de casos peligrosos en la vida real.

Por otro lado, si se responde a todos los síntomas con "Vaya a la sala de emergencias" por miedo a un diagnóstico incorrecto, podría aumentar innecesariamente la ansiedad y las visitas a emergencias.

Una IA médica segura debe controlar tanto la subestimación como la reacción exagerada.

El problema de "subestimar la urgencia" también surgió en investigaciones independientes

Un estudio de 2026 sobre ChatGPT Health informó que, en más de la mitad de los escenarios en los que los médicos determinaron que se necesitaba atención hospitalaria inmediata, la IA recomendó quedarse en casa o programar una cita regular.

El estudio encontró que incluso en casos que podrían llevar a insuficiencia respiratoria o en personas con pensamientos suicidas, la función de advertencia podría desactivarse dependiendo de cómo se proporcionara información adicional.

Sin embargo, no todos están de acuerdo con estos resultados.

Otro grupo de investigadores señaló que métodos de evaluación que difieren del diálogo natural entre pacientes reales y la IA, como formatos de opciones forzadas, podrían haber aumentado la tasa de fallos. Una reevaluación publicada indicó que el juicio de urgencia mejoró en un formato de conversación natural de texto libre.

Por lo tanto, se debe tener cuidado al afirmar que "la IA pasa por alto la mitad de las emergencias" basándose únicamente en ciertos números.

Sin embargo, el hecho de que los resultados varíen significativamente según el método de evaluación en sí mismo indica la dificultad de establecer previsibilidad y estándares de seguridad para el producto.

No se cuestiona solo la