Dos crisis más allá de la conveniente IA: descontrol y concentración de poder, desafíos planteados en la ONU

Las empresas que crean AI piden "gestión" al mundo

Se utiliza porque es conveniente. Se implementa porque acelera el trabajo. La AI, que forma parte de nuestra vida diaria, fue discutida en un foro sobre paz y seguridad internacional como un riesgo que afecta a toda la humanidad.

El 23 de septiembre de 2026, Sam Altman, CEO de OpenAI, y Dario Amodei, CEO de Anthropic, hablaron sobre AI en el Consejo de Seguridad de la ONU. Según AD HOC NEWS de Alemania, del 24 de septiembre, ambos destacaron la necesidad de reglas internacionales.

Lo notable es que no solo las personas que se oponen a la AI, sino también los líderes de las empresas que desarrollan esta tecnología, emitieron una advertencia.

Sin embargo, esto no es una declaración de que "toda la AI ya está fuera del control humano". Es un debate sobre cómo prevenir la pérdida de control en vista de futuras mejoras de capacidad. Es importante distinguir entre advertencias y eventos que realmente han ocurrido.

El peligro no es solo el "descontrol de la AI"

Las preocupaciones de Altman, presentadas en el artículo original, se dividen en dos grandes partes.

Una es que el funcionamiento y desarrollo de la AI se acelere tanto que los humanos no puedan entenderlo o intervenir. La otra es que un pequeño número de empresas o países que controlan AI poderosa concentren un poder excesivo.

Aunque estas dos preocupaciones parecen similares, la raíz del problema es diferente.

En el primer caso, se cuestiona si los humanos pueden detener la AI. En el segundo, se cuestiona si la sociedad puede supervisar a los humanos que operan la AI. Incluso si la AI funciona técnicamente según las instrucciones, si solo unas pocas personas pueden dar esas instrucciones, no necesariamente es un sistema deseable para toda la sociedad.

Por lo tanto, la seguridad de la AI no se completa solo reduciendo las respuestas peligrosas. Es necesario diseñar quién tiene el derecho de uso, quién decide las políticas de operación y dónde pueden presentar objeciones las personas perjudicadas.

El peso de la promesa de "retrasar la publicación"

Según el artículo original, Amodei mostró una disposición a retrasar la implementación de modelos futuros si fuera necesario por razones de seguridad. Además, pidió una prohibición internacional del uso de AI en armas biológicas, un sistema de pruebas y verificaciones, y un sistema global de informes de accidentes.

Lo que no debe confundirse aquí es la postura de "retrasar si es necesario" con el hecho de que "se ha decidido posponer un producto específico". Las declaraciones presentadas no significan que se hayan cambiado las fechas de publicación individuales.

Además, enfatizar la verificación de seguridad no es lo mismo que poder eliminar completamente el peligro. Lo que se debe cuestionar es qué se investiga, qué resultados justificarían posponer la publicación y quién verifica esa decisión.

En un ensayo publicado por separado, Amodei también presentó la idea de que evaluadores externos tengan acceso continuo al lugar de desarrollo para verificar las medidas de seguridad y los accidentes. Es importante distinguir el ajuste del ritmo de desarrollo de una detención completa del progreso tecnológico.

En un mercado donde lanzar nuevos productos rápidamente es ventajoso, es difícil que solo una empresa sea cautelosa. Por eso, además de confiar en la buena voluntad de las empresas, se necesitan condiciones de evaluación comunes para los competidores.

El debate sobre "auto-mejora" no es para predecir el futuro

El artículo original también presenta preocupaciones sobre la "auto-mejora recursiva", donde la AI participa en la mejora de la siguiente AI, acelerando aún más el progreso.

El problema es la diferencia entre la velocidad de aumento de la capacidad y la velocidad de verificación de la seguridad. Aunque se pueda confirmar la mejora del rendimiento, no siempre se puede entender con la misma rapidez las debilidades operativas o comportamientos inesperados.

Sin embargo, estas preocupaciones no deben transformarse en una predicción de que "una catástrofe ocurrirá inevitablemente en unos años". Las perspectivas a corto plazo en el artículo original también son predicciones de los oradores, no un calendario fijo.

Los lectores deben centrarse más en las bases de esas predicciones y en las medidas de seguridad que serían útiles incluso si las predicciones no se cumplen, en lugar de en plazos estimulantes.

En las redes sociales, más dudas sobre las "empresas que advierten" que sobre la advertencia misma

Las reacciones observadas en las redes sociales no son unánimes. Aquí se presentan comentarios sobre publicaciones que introdujeron la reunión y reacciones a debates relacionados con la seguridad de la AI. Todos son publicaciones públicas limitadas y no indican una tendencia general de la opinión pública.

En una publicación de LinkedIn de CNBC que anunciaba la reunión del Consejo de Seguridad, hubo comentarios sugiriendo que aún faltaban personas que deberían participar en la discusión. Esto puede interpretarse como una preocupación no solo por quién habla sobre seguridad, sino también por quiénes están incluidos en ese foro.

Por otro lado, en una comunidad de inversión en Reddit, hubo publicaciones que cuestionaban si la explicación de OpenAI sobre el momento de su salida a bolsa, debido a preocupaciones de seguridad, no tenía también razones comerciales.

En el mismo hilo, hubo comentarios que refutaban la idea de que el progreso tecnológico se había estancado, argumentando que, de hecho, se estaba acelerando. Esta no es una reacción directa al discurso en la ONU, sino una respuesta a los debates de seguridad subyacentes. Es importante distinguir las evaluaciones de gestión y tecnología en las publicaciones de hechos verificados.

Lo que estas publicaciones sugieren es que la confianza no se establece solo con explicaciones sobre peligros. Las empresas tienen conocimientos especializados, pero también intereses competitivos. Se necesita un sistema que permita verificar las afirmaciones desde el exterior, considerando ambos aspectos.

¿Es suficiente una regulación estricta para estar tranquilos?

Si la verificación de seguridad es estricta, las pruebas y auditorías tendrán un costo. Dependiendo de su diseño, solo las empresas con recursos financieros podrían cumplir, lo que podría perjudicar a los nuevos participantes.

Esto no es una razón para prescindir de la regulación. Es necesario asegurarse de que el sistema de protección de seguridad no termine protegiendo solo la posición de las grandes empresas existentes.

En el discurso publicado por Altman, también se menciona que los estándares no deben fijar a las empresas existentes ni favorecer un solo modelo de negocio.

La independencia de la evaluación por terceros, la transparencia de los estándares y la carga según el nivel de riesgo. Cómo equilibrar estos tres aspectos determinará la confiabilidad del sistema. No solo importa que las empresas digan "es seguro", sino quién y hasta qué punto se ha verificado.

La "autoridad para detener" también afecta a los usuarios en Japón

Este debate no es solo para grandes laboratorios o la ONU. Las empresas japonesas también pueden aplicar estas preguntas a menor escala cuando confían tareas a la AI.

Por ejemplo, las verificaciones necesarias difieren si se utiliza AI para crear propuestas de respuesta a consultas o para realizar reembolsos y cambios en los datos de los clientes. Este no es un ejemplo específico presentado en la reunión, sino un ejemplo de cómo aplicar el debate a la operación diaria.

¿Quién aprueba la ejecución? ¿Quién detecta anomalías? Si se detiene a mitad de camino, ¿hasta dónde se puede revertir? La comparación de rendimiento por sí sola no responde a estas preguntas.

Mientras se espera la finalización de las reglas internacionales, los usuarios pueden decidir concretamente la autoridad que se otorga a la AI y la responsabilidad que asumen los humanos.

Lo que se necesita después del discurso son acciones verificables

La advertencia tiene significado. Sin embargo, la seguridad no se mide solo por la fuerza de la advertencia.

¿Pueden los evaluadores externos acceder a suficiente información? ¿Pueden publicar resultados inconvenientes? ¿Se puede realmente retrasar el desarrollo o la publicación cuando se detecta un peligro? ¿Se han explicado los criterios de juicio de antemano?

El futuro en el que la AI amplía las posibilidades humanas y el futuro en el que los humanos pierden el poder de decisión no se decide solo por el alto rendimiento.

¿Quién y cómo transformará la advertencia emitida por las empresas que crean AI en la ONU en acciones verificables? Eso es lo que se debe observar a continuación.

URL de la fuente

1. AD HOC NEWS (24 de septiembre de 2026). Advertencias de ambos CEOs, postura de Amodei sobre el retraso de la implementación del modelo, propuestas de verificación y sistema de informes de accidentes. El texto se puede verificar en el material adjunto proporcionado.
   https://www.ad-hoc-news.de/wissenschaft/openai-und-anthropic-vor-der-un-chefs-warnen-vor-unkontrollierter-ki/70171896

2. OpenAI (23 de septiembre de 2026). Discurso de Altman en el Consejo de Seguridad de la ONU. Control humano, concentración de poder, normas internacionales y evitar la fijación de empresas existentes como fuente primaria.
   https://openai.com/index/sam-altman-un-security-council-remarks/

3. Dario Amodei "Debemos marcar el ritmo de la frontera" (septiembre de 2026). Ensayo del autor que explica el ajuste del ritmo de desarrollo y la idea de evaluadores externos con acceso continuo al lugar de desarrollo. Material de fondo separado de la reunión.
   https://darioamodei.com/post/we-must-pace-the-frontier

4. Sitio oficial de la ONU (23 de septiembre de 2026). Comunicación oficial que presenta la explicación de OpenAI y Anthropic al Consejo de Seguridad.
   https://www.un.org/en/live-openai-and-anthropic-brief-security-council-amid-%E2%80%98real-and-imminent%E2%80%99-threat-posed-runaway-ai

5. Publicación de LinkedIn de CNBC. Publicación que anunció la reunión del Consejo de Seguridad y comentarios públicos que señalan la falta de participantes. Usado como ejemplo de reacción en redes sociales.
   https://www.linkedin.com/posts/cnbc_altman-and-amodei-expected-to-join-un-security-activity-7508491118909562880-PApn

6. Reddit "r/stocks". Reacciones a otro informe sobre el momento de la salida a bolsa de OpenAI y la seguridad de la AI. Se confirmaron dudas sobre las explicaciones de la empresa y refutaciones sobre la evaluación del progreso tecnológico. No es una reacción directa al discurso en la ONU, ni un material para verificar las afirmaciones de la publicación.
   https://www.reddit.com/r/stocks/comments/1wexcu6/openai_ipo_will_not_happen_in_2026_amid_ai_safety/

※Fecha de verificación: 24 de septiembre de 2026. Las reacciones en redes sociales son resúmenes del contenido accesible públicamente y no son encuestas de opinión estadísticamente representativas.