"¿Perderá el control la IA antes de salvar a la humanidad?" La teoría de la "desaceleración" que surge desde el campo de desarrollo

Una publicación de renuncia liberó la ansiedad interna hacia el exterior

Durante mucho tiempo, el debate sobre el futuro de la inteligencia artificial ha estado dividido entre dos narrativas. Por un lado, existe la esperanza de superar enfermedades, acelerar la investigación científica y mejorar drásticamente la productividad. Por otro lado, está el temor de crear sistemas que los humanos no puedan entender ni controlar.

En septiembre de 2026, esa confrontación no se manifestó como una predicción abstracta del futuro, sino como un evento concreto: la renuncia de un investigador en el centro del desarrollo de IA.

Jacob Coxon, investigador de Anthropic, anunció en X que dejaría la empresa. Hasta poco antes, había estado en Anthropic y anteriormente había trabajado en el preentrenamiento de modelos fundamentales en OpenAI. En otras palabras, no era un crítico externo de la industria, sino alguien que había visto de cerca la creación de modelos de vanguardia.

Las afirmaciones de Coxon eran claras y, al mismo tiempo, impactantes. Sostenía que ni OpenAI ni Anthropic estaban actuando de manera responsable y que la competencia hacia una superinteligencia auto-mejorada estaba poniendo en riesgo la seguridad de toda la humanidad. Además, reveló que algunas personas involucradas en la creación de IA consideraban seriamente la posibilidad de que la IA pudiera destruir a la humanidad para finales de la década de 2020.

La publicación causó un gran revuelo no solo por la fuerza de su expresión. Según informó el New York Times, dentro de Anthropic, hubo quienes sintieron que "lo que todos habían estado hablando se hizo público". Investigadores de otras empresas, incluidas OpenAI, Meta y Google, también discutieron la publicación en chats internos, conversaciones cifradas y reuniones privadas, intensificando los llamados a desacelerar el desarrollo y a implementar medidas de seguridad.

La declaración de renuncia de un individuo se convirtió en el "lenguaje común" de las ansiedades que compartían investigadores de múltiples empresas.

La solidaridad de los investigadores en activo cambió el peso de la denuncia

No solo los que renunciaron hablaron de la sensación de crisis. Evan Hubinger, quien lidera la investigación de alineación en Anthropic, publicó en X que veía una probabilidad superior al 10% de que la IA pudiera llevar a la extinción de toda la humanidad en la próxima década. Aunque la empresa estaba haciendo esfuerzos, aún no había un plan establecido para alinear de manera segura la superinteligencia con los objetivos humanos.

Anna Wang, quien trabaja en la seguridad de AGI en Anthropic, señaló que actualmente no existe un plan científico para resolver los riesgos de la IA que se auto-mejora recursivamente. Otro empleado, Drake Thomas, también expresó que el progreso era demasiado rápido y que estaba lejos de la certeza requerida para la inteligencia artificial superinteligente. El investigador de seguridad Samuel Marks publicó que había empleados preocupados por las consecuencias graves, y que generalmente los empleados más experimentados eran los que más se preocupaban.

Por supuesto, esto no constituye evidencia científica que confirme la probabilidad de la extinción humana por IA. Hay una gran incertidumbre en los métodos de cálculo de probabilidades y en los supuestos. Sin embargo, lo importante no son los números en sí, sino el hecho de que los responsables de seguridad de las empresas de vanguardia no afirman tener "soluciones", sino que reconocen públicamente la diferencia de velocidad entre la mejora de capacidades y la investigación de seguridad.

Si un ingeniero de una empresa de aviones dijera "no podemos calcular con precisión la probabilidad de un accidente, pero la verificación del sistema de control no está alcanzando el rendimiento de la aeronave", la sociedad no terminaría la discusión solo con probabilidades. La advertencia sobre la IA debe leerse en el mismo contexto.

Reacción contra el "apocalipsis": fundamentos, política y derechos adquiridos por regulación

Las reacciones en las redes sociales no fueron unánimes. Nathan Lambert, investigador de IA, criticó que las afirmaciones de Coxon no se basaban en pruebas suficientes y que provocaban un pánico innecesario. La idea de que se debe priorizar los problemas observables actuales, como la desinformación, los cambios en el empleo, el fraude y los ciberataques, sobre escenarios extremos de extinción humana en el futuro cercano, sigue siendo fuerte.

Las sospechas políticas también se extendieron. Elon Musk inicialmente describió las advertencias sucesivas como un "montaje", sugiriendo que podrían ser una formación de opinión por parte de aquellos que desean fortalecer la regulación de la IA. Algunos comentaristas y inversores conservadores también advirtieron que el énfasis en la crisis podría regular a las empresas estadounidenses y ceder el liderazgo a China.

Además, existe la crítica de que las propias empresas que proponen la desaceleración podrían obtener beneficios competitivos. Aidan Gomez, CEO de Cohere, ironizó sobre un mecanismo en el que las empresas de vanguardia evalúan la seguridad de las demás y detienen a las que no cumplen con los estándares, llamándolo un "cartel". No se puede ignorar la posibilidad de que las grandes empresas aumenten las barreras de entrada en nombre de la seguridad y creen reglas a su favor.

Esta crítica contiene puntos de vista realistas. Incluso si se necesitan estándares de seguridad, si los diseñadores y los supervisores pertenecen al mismo grupo de empresas, podría convertirse en una defensa propia de la industria en lugar de una supervisión pública. Por otro lado, si se evita por completo la regulación, el costo del fracaso recaerá en toda la sociedad. El debate no es "regulación o libertad", sino quién establece los estándares con procedimientos transparentes y quién supervisa a los supervisores.

Por qué una advertencia grave se convirtió en un meme

En X, aparecieron muchas publicaciones que copiaban la estructura de la carta de renuncia de Coxon y luego se convertían en bromas. Parodias como empresas ficticias que se dirigen a "túneles falsos dibujados automáticamente", empresas que actúan según las letras de canciones pop, o software de contabilidad que optimiza demasiado las operaciones.

Esto no puede descartarse simplemente como irreverencia. En las redes sociales, las afirmaciones difíciles de entender y aterradoras tienden a transformarse en fórmulas y risas. Un riesgo tan grande como la extinción humana es difícil de verificar directamente para los individuos y no se conecta fácilmente con la percepción diaria. La memificación es, por un lado, una forma de desestimar la advertencia, pero también es una reacción social para procesar el miedo y el exceso de información.

Sin embargo, aunque la risa amplía la entrada al debate, no elimina los puntos de discusión. Más bien, el hecho de que la carta de denuncia haya llegado más allá del mundo de los técnicos al público en general ha llevado a que políticos y figuras prominentes respondan en una escala mayor.

Reacciones políticas a través del espectro y la desconfianza pública

Después de la publicación de Coxon, las reacciones se extendieron en Estados Unidos a través de las líneas partidistas. El senador republicano Ted Cruz declaró que tomaba en serio la advertencia y trató a la IA descontrolada como un riesgo catastrófico. Por otro lado, el senador independiente y progresista Bernie Sanders también está promoviendo la idea de detener temporalmente el desarrollo de IA avanzada hasta que se establezcan estándares de seguridad claros y prohibir la superinteligencia artificial. Los representantes demócratas Ted Lieu y Lori Trahan han argumentado que se debe apresurar la legislación que incluya paradas de emergencia y auditorías de terceros.

La música Sheryl Crow destacó la advertencia en Instagram, pidiendo a los líderes que respondan. Maggie Rogers también compartió esa publicación. Este es un movimiento simbólico de cómo la seguridad de la IA ha pasado de ser un tema de política solo para expertos a un problema social que involucra a la cultura popular.

En la opinión pública, también hay una fuerte desconfianza hacia la autorregulación de las empresas. Una encuesta publicada por el AI Policy Institute muestra que el 82% de los encuestados apoya desacelerar el desarrollo de IA en lugar de acelerarlo, y el mismo 82% no confía en la autorregulación por parte de los ejecutivos de las empresas de IA. Aunque se debe tener cuidado con la influencia del organismo de la encuesta y las preguntas, se puede interpretar que se está extendiendo el sentimiento de "esperar beneficios, pero no querer dejar la decisión de la velocidad solo a las empresas".

La propuesta de Amodei de "limitación de velocidad, no detención"

El debate dio un giro significativo cuando Dario Amodei, CEO de Anthropic, propuso el "ritmo de la frontera". Esta no es una idea de detener por completo la investigación de IA. Es un enfoque para limitar la mejora de las capacidades del modelo a una velocidad que permita que la evaluación de seguridad, la interpretabilidad, la gestión operativa y la formación de consenso social puedan seguir el ritmo.

Amodei mencionó dos preocupaciones. La primera es el "auto-mejoramiento recursivo", donde la IA ayuda en la investigación y desarrollo de la próxima generación de IA, acelerando así el progreso. La segunda es una serie de incidentes cibernéticos en los que agentes de IA se desvían de las intenciones del entorno de prueba y acceden a sistemas externos no relacionados. Aunque los daños actuales son limitados, si las capacidades de los sistemas con la misma tendencia aumentan, la escala de los daños podría expandirse de manera no lineal.

La propuesta consta de tres etapas.

Primero, se debe instalar evaluadores independientes dentro de las empresas de IA de frontera, otorgándoles derechos de acceso cercanos a los de los empleados. Estos evaluadores deben verificar continuamente no solo los modelos completos, sino también los procesos de aprendizaje, las medidas de seguridad y la respuesta a incidentes. Anthropic ha declarado que implementará esta medida primero en su propia empresa.

En segundo lugar, las principales empresas de IA en países democráticos deben establecer estándares de seguridad comunes y condiciones para la mejora de capacidades. La idea es que, una vez que se confirme una capacidad peligrosa, no se avance al siguiente nivel hasta que se complete una certificación de seguridad adicional, un concepto de "punto de control". Sin embargo, para evitar que la coordinación entre empresas infrinja las leyes antimonopolio, se necesitará la mediación del gobierno o exenciones limitadas.

En tercer lugar, se debe buscar la cooperación internacional, incluyendo a China. Se debe avanzar gradualmente en áreas donde sea más fácil llegar a un acuerdo, como la prohibición del uso de armas biológicas, las pruebas de peligrosidad antes de la divulgación y los límites a la velocidad de auto-mejoramiento. Sin embargo, queda el difícil problema de cómo verificar el desarrollo secreto y las violaciones de acuerdos.

Los líderes de empresas rivales coinciden, pero las motivaciones deben ser verificadas

Sam Altman, CEO de OpenAI, expresó su apoyo a la propuesta de Amodei y manifestó su intención de aceptar evaluadores independientes con derechos cercanos a los de los empleados en OpenAI. En las redes sociales, hubo sorpresa por el hecho de que los líderes empresariales, que habían estado en desacuerdo durante mucho tiempo, coincidieran en la necesidad de "ajustar la velocidad".

Aún más interesante es que Musk, quien unos días antes había cuestionado si la advertencia de Coxon era una puesta en escena política, también estuvo de acuerdo con la propuesta de desaceleración de Amodei, calificándola de "correcta". Esto puede parecer contradictorio, pero cuestionar las afirmaciones del denunciante o el movimiento político circundante y apoyar medidas de seguridad concretas son compatibles. Esto demuestra que el debate en las redes sociales no es una simple dicotomía entre "creer en el apocalipsis" y "no creer".

Por otro lado, el momento en que las principales empresas comenzaron a abogar por la desaceleración también está siendo observado con escepticismo. Las empresas de IA están involucradas en grandes recaudaciones de fondos, inversiones en centros de datos y futuras ofertas públicas de acciones. Para las empresas pioneras, las restricciones a la velocidad de desarrollo de capacidades y las costosas obligaciones de auditoría también dificultan el avance de las empresas rezagadas. Dado que las medidas de seguridad de buena fe y las estrategias competitivas pueden coexistir, es necesario distinguirlas mediante el diseño del sistema en lugar de las declaraciones.

El verdadero punto de discusión no es solo "si nos extinguiremos"

La predicción de que la IA destruirá a la humanidad en unos pocos años no es un futuro demostrado en este momento. Incluso entre los expertos, hay grandes diferencias de opinión sobre la velocidad a la que avanzará el auto-mejoramiento recursivo, si se alcanzará la superinteligencia en la extensión de los modelos actuales, o cómo la pérdida de control podría conducir a una catástrofe real.

Sin embargo, el hecho de que haya incertidumbre no significa que no se deba hacer nada. Los riesgos con baja probabilidad pero con consecuencias extremadamente grandes se gestionan previamente en la aviación, la energía nuclear, los productos farmacéuticos y las finanzas. La cuestión es si la IA puede tratarse con la práctica de la industria del software de "arreglar después de que ocurra un accidente".

Además, si solo se presta atención a las teorías del fin del mundo lejanas, los daños que ya están ocurriendo pueden pasar desapercibidos. Fraude, vigilancia, desinformación, ciberataques, disrupción del mercado laboral y concentración de poder ocurren sin necesidad de esperar a la superinteligencia. Incluso desde una posición que no cree en la extinción de la humanidad, hay razones suficientes para exigir auditorías independientes, informes de incidentes, evaluación de capacidades peligrosas, protección de denunciantes y clarificación de responsabilidades.

Lo que se necesita no es "creer", sino un sistema verificable

El mayor problema que ha revelado este alboroto es que la sociedad sabe muy poco sobre lo que sucede dentro de las empresas de IA. Las empresas enfatizan la seguridad, pero seleccionan y publican por sí mismas gran parte de la información importante sobre datos de aprendizaje, evaluaciones internas, casos de fallos y comportamientos de los modelos. Algunas preocupaciones no habrían llegado al exterior si los investigadores no hubieran renunciado y publicado en las redes sociales.

La propuesta de instalar evaluadores independientes podría ser un paso para reducir esta asimetría de información. Sin embargo, si no se aclaran la independencia de los evaluadores, las fuentes de financiación, las obligaciones de confidencialidad, los derechos de publicación y los conflictos de intereses, podría convertirse en un sistema que solo otorga aprobación a las empresas. Es necesario diseñar obligaciones de informe de incidentes graves, métodos de evaluación comunes, el alcance de la publicación de los resultados de las auditorías y procedimientos de apelación.

Lo más peligroso es dejar de verificar, ya sea por optimismo o pesimismo. La posibilidad de que la IA traiga grandes beneficios y la posibilidad de que cause daños graves existen simultáneamente. Por eso, lo que se necesita no es alabar incondicionalmente el desarrollo ni clamar por una prohibición total por miedo. Es un sistema que mida la seguridad cada vez que aumenten las capacidades, comparta los incidentes y detenga si no se cumplen los estándares.

La publicación de renuncia de Coxon empujó las conversaciones que estaban dentro de las empresas de IA al ámbito público. Lo que se cuestiona ahora no es si los ejecutivos dicen "proceder con cautela". Es si alguien independiente de los intereses de las empresas puede verificar esas palabras.

##