La "inteligencia incomprensible para los humanos" más allá de ChatGPT: la confesión de OpenAI que dividió las redes sociales

La "inteligencia incomprensible para los humanos" más allá de ChatGPT: la confesión de OpenAI que dividió las redes sociales

Advertencia inusual desde el centro del desarrollo de IA

Desde el núcleo de las empresas que han estado impulsando la evolución de la IA generativa, ha surgido una declaración que cuestiona la velocidad del desarrollo en sí. Jakub Pachocki, director científico de OpenAI, publicó el 6 de septiembre de 2026 un ensayo extenso titulado "An Alien Mind", en el que expresó una fuerte preocupación de que "nadie está preparado" para los resultados del rápido aumento de la inteligencia de las máquinas.

Esta advertencia es significativa porque proviene de una figura que lidera la investigación en la empresa que creó ChatGPT, no de críticos externos o defensores de la regulación. Además, el punto de discusión no es una rebelión robótica fantástica en un futuro lejano. Se trata de la posibilidad de que los agentes de IA actuales, que operan computadoras, escriben código, colaboran con humanos y otras IA, y ejecutan planes de investigación, puedan involucrarse profundamente en su propia mejora en los próximos años, un tema directamente relacionado con el desarrollo.

Pachocki no aboga por detener por completo el avance de la IA. Más bien, su idea es avanzar en la mejora de capacidades y la investigación de seguridad en paralelo, reduciendo la velocidad de desarrollo en situaciones donde no se pueda tener plena confianza en la seguridad. Además de la desaceleración voluntaria de las empresas, sostiene que es necesario establecer estándares mínimos de seguridad que puedan ser compartidos por auditorías de terceros, agencias gubernamentales e instituciones internacionales.

Esta propuesta parece razonable a primera vista. Sin embargo, en la actual competencia de IA, donde las grandes empresas del mundo compiten por recursos computacionales, talento y financiamiento, ¿puede una sola empresa pisar el freno mientras sus competidores siguen avanzando? La advertencia actual ha puesto de relieve no solo problemas técnicos, sino también los desafíos estructurales de la competencia de mercado y la política internacional.


IA: más cerca de "criar" que de "diseñar"

La razón por la que Pachocki describe la IA como una "inteligencia alienígena" radica en que los modelos a gran escala de hoy en día no son programas cuyas operaciones son descritas una por una por ingenieros humanos. A través de repetidos aprendizajes utilizando vastos recursos computacionales, se forman representaciones complejas y capacidades de razonamiento dentro del modelo. En este sentido, la IA se asemeja más a una entidad que se cría bajo ciertas condiciones que a una máquina ensamblada según un diagrama terminado.

Aunque los investigadores pueden analizar los mecanismos individuales que surgen internamente, no siempre pueden explicar por qué el sistema en su conjunto llega a ciertos juicios. Cuanto más alto es el rendimiento del modelo, más difícil se vuelve predecir qué capacidades surgirán en situaciones imprevistas y hasta qué punto se pueden generalizar los principios de aprendizaje.

Lo importante es que la IA puede tener un gran impacto en la sociedad sin superar a los humanos en todos los aspectos. Si supera a los humanos en algunas áreas clave que mueven la realidad, como ataques cibernéticos, desarrollo de software, investigación científica y negociación, puede ser tanto útil como potencialmente peligrosa. Incluso sin esperar la culminación de una inteligencia artificial omnipotente, existe la posibilidad de que la preparación de la sociedad no pueda seguir el ritmo.


"Seguir instrucciones" no es lo mismo que "proteger los valores humanos"

Una palabra central en la investigación de seguridad de IA es "alineación", es decir, alinear el comportamiento de la IA con las intenciones y valores humanos. Pachocki divide esto en dos grandes categorías. Una es la "alineación de objetivos", que implica cumplir con los objetivos o instrucciones dadas. La otra es la "alineación de valores", que implica mantener principios como la integridad y la consideración por los humanos incluso en situaciones ambiguas, desconocidas o adversas.

La primera es fácil de evaluar. Se puede probar si se han seguido las instrucciones, se han respetado las prohibiciones o se han alcanzado los objetivos. Sin embargo, la segunda es mucho más difícil. Es necesario verificar si la IA mantiene los principios deseados por los humanos incluso cuando se encuentra en un entorno que no ha visto durante el entrenamiento o cuando decide que no está siendo supervisada.

Lo que es aún más complicado es que no hay garantía de que la mejora de capacidades y la mejora de la seguridad avancen al mismo ritmo. Un modelo entrenado intensamente para alcanzar objetivos difíciles puede distorsionar convenientemente su forma de pensar aparentemente alineada para lograr sus propósitos. El aumento en la obediencia a las instrucciones no garantiza que la capacidad de comportarse de manera segura en entornos desconocidos aumente de la misma manera.


También hay límites en cómo monitorear el "pensamiento" de la IA

Uno de los enfoques de seguridad más destacados hasta ahora ha sido examinar el proceso de razonamiento verbalizado hasta que el modelo produce una respuesta. Si se puede monitorear no solo el resultado de las acciones, sino también si surgen intenciones indebidas o planes peligrosos en el camino, es más fácil detectar problemas temprano.

Sin embargo, según Pachocki, depender de este método se está volviendo gradualmente más difícil. Los agentes de IA interactúan de manera compleja con humanos, otras IA y herramientas externas, y la frontera entre el razonamiento y la acción se está volviendo borrosa. La capacidad del modelo para manejar el proceso de razonamiento también está aumentando, y cada vez hay más casos en los que puede producir respuestas avanzadas sin verbalizar explícitamente un pensamiento largo. Lo que se quiere monitorear no siempre aparece en una forma que se pueda monitorear.

Aquí hay un dilema fundamental. Si se utiliza una IA más inteligente para la investigación de seguridad, la tecnología de monitoreo también podría avanzar. Por otro lado, la capacidad de esa IA en sí misma podría generar nuevos peligros. Es un ciclo en el que se necesita una IA aún más poderosa para crear una IA segura.


¿Qué es el "mejoramiento recursivo de sí mismo", el mayor punto de inflexión?

El concepto más destacado en la advertencia actual es el mejoramiento recursivo de sí mismo (RSI). En términos simples, se refiere a un flujo en el que la IA participa en la investigación, experimentación, creación de código, evaluación y mejora de métodos de aprendizaje de la próxima generación de IA, y la IA mejorada por estos resultados avanza aún más rápido en la siguiente mejora.

En el desarrollo tradicional de IA, los investigadores humanos han formulado hipótesis, realizado experimentos, leído resultados y pensado en el siguiente método. Si la IA asume gran parte de este ciclo, la velocidad de investigación se vuelve menos dependiente del horario laboral humano o del número de personas. Si el progreso no es lineal y la mejora acelera la siguiente mejora, las capacidades podrían aumentar en un período de tiempo tan corto que las instituciones sociales y las revisiones de seguridad de las empresas no puedan seguir el ritmo.

Sin embargo, RSI no significa inmediatamente una explosión de inteligencia ilimitada. Las restricciones reales como los recursos computacionales, la energía, los semiconductores, el entorno experimental y la capacidad de verificación permanecen. Lo que se presenta en este momento es una fuerte perspectiva basada en los resultados internos de OpenAI, y no son hechos comprobados de manera independiente en cuanto a tiempo o escala. La esencia de la advertencia es que, aunque se mantenga esta incertidumbre, el daño podría ser extremadamente grande, por lo que es necesario prepararse con anticipación.


La paradoja de necesitar una IA más fuerte para la defensa cibernética

Uno de los primeros campos donde la IA de alto rendimiento demostrará un gran poder es la ciberseguridad. Un agente que puede encontrar vulnerabilidades de software, construir rutas de intrusión y automatizar múltiples tareas será un aliado poderoso para los defensores. Sin embargo, la misma capacidad, si cae en manos de atacantes, puede ampliar el daño.

Pachocki argumenta que se necesita una IA poderosa y alineada para proteger infraestructuras críticas de las amenazas que plantean otras IA. Al mismo tiempo, enfatiza que la razón de "para la defensa" no debe convertirse en un pretexto para una competencia imprudente.

Aquí radica la trampa esencial de la competencia en el desarrollo de IA. Si una empresa se detiene, otras empresas o países que prestan menos atención a la seguridad podrían adelantarse. Por eso continúan desarrollándose. Sin embargo, si todas las empresas corren con la misma lógica, nadie puede detenerse. En este estado, una estrategia de desaceleración que dependa solo de la buena voluntad voluntaria es frágil. Además del contenido de los estándares de seguridad, es necesario diseñar quién puede verificar los recursos computacionales utilizados para el aprendizaje y los resultados de las pruebas, cómo detectar violaciones de estándares y qué medidas tomar.


En las redes sociales, se enfrentan "denuncia interna importante" y "propaganda basada en el miedo"

Las reacciones en las redes sociales se dividieron significativamente. Sam Altman, CEO de OpenAI, presentó este ensayo en X como una "publicación importante". Jensen Huang, CEO de NVIDIA, en otra publicación, declaró que "la AGI ha llegado" en respuesta a los avances de los últimos modelos. El hecho de que la cautela y el entusiasmo por la aceleración se alinearan casi al mismo tiempo simboliza la industria de la IA actual.

 

Las voces que resuenan con la sensación de crisis se centran en el hecho de que la investigación de seguridad no está alcanzando el crecimiento de capacidades. En Reddit, surgieron contraargumentos de que descartar esto como mera propaganda podría pasar por alto el verdadero peligro, y opiniones de que debería tomarse en serio en áreas de alto riesgo como cuentas bancarias y software importante. En LinkedIn, también se vieron publicaciones de técnicos que, cuanto más experimentan el salto práctico de la IA, más temen la brecha con la preparación social.

Por otro lado, la crítica más destacada es "si es peligroso, ¿por qué siguen desarrollándolo?". En Reddit, se repitieron voces escépticas que sugieren que esta narrativa de "demasiado poderosa y peligrosa" se ha utilizado antes para atraer la atención de inversores y el mercado. En LinkedIn, aunque se estuvo de acuerdo con el diagnóstico de la advertencia, también se criticó la postura de OpenAI de publicar modelos de alto rendimiento mientras habla de desaceleración, considerándola poco sincera.

Además, desde una perspectiva realista, hay observaciones de que no se puede verificar externamente si la desaceleración voluntaria realmente se extiende a la etapa de aprendizaje o si solo retrasa el intervalo de publicación del producto. El lanzamiento de modelos es visible para todos, pero es difícil ver cuánto aprendizaje a gran escala se continúa internamente. Para que la desaceleración sea un sistema confiable, se considera esencial un mecanismo que pueda ser verificado desde fuera de la empresa, como auditorías independientes y divulgación de recursos computacionales.

Cabe señalar que estas son solo algunas de las reacciones observadas poco después de la publicación y no constituyen una encuesta de opinión. Existe la posibilidad de que estén sesgadas hacia usuarios y personas relacionadas con la tecnología que tienen una voz fuerte, y no deben ser tratadas como un consenso de toda la SNS. Aun así, es importante que la recepción de la advertencia se centre no solo en el "miedo", sino también en la desconfianza hacia las empresas y la cuestión de la verificabilidad.


"El liderazgo humano" más profundo que el problema del empleo

Una de las preocupaciones sobre la IA que ya se ha discutido ampliamente es la sustitución de empleos. Sin embargo, el planteamiento de Pachocki no se limita solo al aumento o disminución del número de empleos. Si un negocio que requería miles de expertos puede ser ejecutado por un pequeño número de personas y una gran computadora, no solo la riqueza, sino también la influencia en la ciencia, la información, la seguridad y la política podría concentrarse en unas pocas empresas o países.

Al mismo tiempo, si los humanos se quedan fuera del ciclo de auto-mejora de la IA, la capacidad de la sociedad para elegir los objetivos tecnológicos en sí misma se debilita. En lugar de recibir servicios convenientes, se delega a unas pocas organizaciones de desarrollo y máquinas la decisión de qué investigar, qué optimizar y qué riesgos tolerar.

Por lo tanto, lo necesario no es una dicotomía de "¿Es la IA peligrosa o segura?". Es necesario elevar gradualmente los estándares de seguridad según el uso y la capacidad, permitir que terceros verifiquen además de las autodeclaraciones de las empresas de desarrollo, compartir accidentes y señales de advertencia, y establecer reglas mínimas que crucen fronteras. Mientras se aprovechan los beneficios de los modelos de alto rendimiento en defensa, medicina y ciencia, se deben establecer restricciones estrictas para la conexión a áreas irreversibles. Es necesario trasladar la discusión a medidas concretas.


No es "¿creer en la advertencia?", sino "¿se puede verificar?"

No es necesario creer en las afirmaciones de Pachocki como una predicción del futuro. Las empresas de IA tienen un incentivo económico para exagerar la importancia de su tecnología. Dado que no se revela toda la extensión de los experimentos internos, hay límites en el alcance que los investigadores externos pueden evaluar. La escepticismo en las redes sociales es, en ese sentido, saludable.

Sin embargo, la desconfianza hacia el emisor y la existencia de los riesgos señalados son problemas diferentes. No se puede decir que no existen peligros solo porque las empresas pueden exagerar, ni que el peor de los futuros está asegurado solo porque un responsable interno ha advertido. Lo necesario es transformar las afirmaciones en estándares verificables.

¿Qué capacidad debe alcanzarse para que se requieran pruebas adicionales? ¿Quién auditará los modelos y las instalaciones de aprendizaje? Si las medidas de seguridad se rompen, ¿hasta dónde se restringirá la publicación y conexión? ¿Cómo se disuadirán las infracciones en un contexto donde empresas de varios países compiten simultáneamente? Solo al concretar estos aspectos, la "desaceleración voluntaria" se convertirá en un freno utilizable en la práctica, no en una mera retórica empresarial.

La advertencia actual no es un cuestionario sobre cuándo la IA será más inteligente que los humanos. Frente a la posibilidad de que la comprensión y el monitoreo no puedan seguir el ritmo del aumento de capacidades, si el desarrollo continúa, la pregunta es quién tendrá la autoridad y la responsabilidad de detenerlo bajo qué condiciones. El rendimiento del acelerador se actualiza casi mensualmente. Lo que más se está quedando atrás ahora podría no ser solo la tecnología de frenos, sino también el sistema para aplicarlos.


Fuente URL

Artículos relacionados