¿Podrán los humanos mantener el control cuando la IA comience a crear IA?

La empresa de desarrollo de IA, Anthropic, ha lanzado una advertencia inusual sobre la carrera por desarrollar IA de vanguardia. La compañía sugiere que la IA está comenzando a acelerar no solo como herramienta auxiliar para los humanos, sino también en el desarrollo de los propios sistemas de IA. Propone que antes de que la sociedad, la regulación y la investigación en seguridad se queden atrás, se debe establecer un mecanismo para desacelerar o pausar temporalmente el desarrollo en toda la industria.

En el centro de este debate está la idea de "mejora recursiva de sí misma". Esto se refiere a un ciclo en el que la IA diseña y desarrolla IA más avanzadas, y estas nuevas IA crean la siguiente generación. Aunque suena a ciencia ficción, Anthropic trata esto no como una fantasía lejana, sino como un riesgo realista en la extensión de las tendencias tecnológicas actuales.

El artículo de Lanka Newspapers informa que Anthropic advierte sobre el "peligro de que la humanidad no pueda controlar una IA avanzada" y sugiere que las principales empresas de IA deben establecer un mecanismo conjunto para detener el desarrollo. Sin embargo, al leer cuidadosamente las afirmaciones originales de Anthropic, queda claro que no están pidiendo simplemente "detener por completo el desarrollo de IA ahora mismo". Más bien, proponen que se preparen opciones internacionales para desacelerar o detener el desarrollo de IA de vanguardia de manera verificable cuando se cumplan ciertas condiciones de riesgo.

¿Por qué Anthropic utilizó expresiones tan contundentes?

La razón por la que Anthropic muestra preocupación es que la IA ya está comenzando a desempeñar un papel importante en el desarrollo de IA. La compañía explica que más del 80% del código fusionado internamente es escrito por Claude. Además, la producción de código por ingeniero ha aumentado significativamente en comparación con el pasado.

Esto no es solo una cuestión de "asistencia conveniente para el código". Hasta hace unos años, la IA solo sugería fragmentos cortos de código. Hoy en día, realiza ediciones a nivel de archivo, corrige errores, trabaja durante largos períodos y distribuye tareas entre múltiples agentes. Anthropic ve que si estos cambios continúan, eventualmente la IA podría asumir de manera autónoma una parte considerable del desarrollo de modelos.

Por supuesto, la compañía no está diciendo que "la IA ya se está creando completamente a sí misma". Lo importante es la dirección. Los humanos establecen objetivos, la IA piensa en los métodos, ejecuta experimentos, escribe código y evalúa los resultados. Si esta proporción se inclina gradualmente hacia el lado de la IA, en algún momento la velocidad de desarrollo podría superar significativamente la velocidad de toma de decisiones de la sociedad humana.

El problema aquí no es solo la capacidad de la IA. La cuestión es si los sistemas circundantes, como las instituciones sociales, las leyes, las auditorías, los acuerdos internacionales, la gobernanza corporativa, las medidas de seguridad y la comprensión humana, pueden seguir el ritmo del desarrollo de la IA.

Mientras la IA mejora en ciclos de días, horas o incluso menos, las políticas y los acuerdos internacionales se mueven en plazos de meses a años. Esta diferencia de velocidad es el núcleo de la advertencia de Anthropic.

Por qué es difícil "detener"

Es fácil decir que se debe pausar el desarrollo de IA. Sin embargo, llevarlo a cabo es extremadamente difícil.

En primer lugar, está el problema de la competencia. Si una empresa detiene el desarrollo de manera voluntaria, pero otras no lo hacen, solo las empresas cautelosas quedarán rezagadas. Lo mismo ocurre entre naciones. Si las empresas estadounidenses se detienen, pero las empresas y las instituciones de investigación gubernamentales de China, Europa, Medio Oriente y otras regiones continúan, el liderazgo tecnológico podría simplemente cambiar de manos.

En segundo lugar, está el problema de la verificación. A diferencia de áreas como las armas nucleares o las instalaciones de misiles, donde las instalaciones físicas son más fáciles de monitorear por satélite, el aprendizaje a gran escala de IA es menos visible. Lo necesario son centros de datos, GPU, electricidad, software, investigadores y financiamiento, muchos de los cuales también se utilizan como infraestructura general en el sector privado. No es fácil verificar si alguien está desarrollando en secreto.

En tercer lugar, también es difícil definir "qué detener". ¿Se detiene la investigación básica, solo el aprendizaje a gran escala, se permite la mejora de modelos existentes, qué pasa con el desarrollo de código abierto? Sin decidir las condiciones de detención, las condiciones de levantamiento, la entidad supervisora y las sanciones por violaciones, no se puede llegar a un acuerdo efectivo.

Anthropic reconoce esta dificultad. Lo que la compañía busca no es una detención unilateral basada solo en la buena voluntad, sino un mecanismo en el que varios laboratorios de IA principales se detengan bajo las mismas condiciones y puedan verificarse mutuamente. En otras palabras, es un enfoque similar al control de armamentos en el ámbito de la IA.

Las opiniones en las redes sociales están claramente divididas

La propuesta ha generado reacciones divididas en las redes sociales y en las comunidades tecnológicas.

Los partidarios consideran la advertencia de Anthropic como una "señal importante desde dentro". Argumentan que el hecho de que una empresa que desarrolla IA de vanguardia, y no críticos externos o reguladores, esté preocupada por la brecha entre la velocidad de desarrollo y la preparación social, le da peso a su advertencia. Las cuentas interesadas en la seguridad de la IA y en políticas han elogiado que se aborde el riesgo de mejora recursiva de sí misma y que se intente discutir una desaceleración verificable en toda la industria.

Por otro lado, hay una fuerte reacción escéptica. En comunidades de técnicos como Hacker News, surgen preguntas sobre si "no es contradictorio avanzar a toda velocidad en el desarrollo de IA mientras se aboga por la seguridad". Cuanto más enfatiza Anthropic la generación de código por Claude y la mejora de la eficiencia del desarrollo, más surge la pregunta: "Si es tan peligroso, ¿por qué no se detiene primero su propia empresa?".

Además, hay quejas prácticas de los usuarios de Claude. Frente a la afirmación de que la IA puede trabajar de manera autónoma durante largos períodos, hay reacciones de usuarios que enfrentan limitaciones de API, fallos temporales e interrupciones en tareas prolongadas. Esto no es una refutación directa al argumento del riesgo de IA, pero muestra una diferencia de percepción sobre si realmente se ha llegado a un nivel tan autónomo.

Además, algunos analistas políticos y empresariales tienen una visión más crítica. Hay sospechas de que, mientras Anthropic busca una salida a bolsa o una alta valoración, enfatizar el riesgo de IA podría influir en la creación de un marco regulatorio que favorezca a la empresa. Especialmente, las regulaciones estrictas o los sistemas de verificación pueden ser manejables para las grandes empresas, pero representarían una carga significativa para las pequeñas empresas y el sector de código abierto. Por lo tanto, hay críticas de que podría ser una captura regulatoria para suprimir a los competidores bajo el pretexto de la "seguridad".

En resumen, las reacciones en las redes sociales se dividen en tres grandes grupos. Primero, los que creen que el riesgo de que la IA se auto-mejore es real y que ahora es el momento de crear medidas de seguridad internacionales. Segundo, los que comprenden el peligro pero sienten una contradicción entre las acciones y afirmaciones de Anthropic. Tercero, los que ven esto no como una discusión de seguridad, sino como una estrategia empresarial centrada en regulación, mercado y salida a bolsa.

Diferencias con otras empresas como OpenAI

La propuesta actual también ha resaltado diferencias con otras empresas de IA. Según los informes, OpenAI cree que las reglas y la responsabilidad de la IA deben ser establecidas por gobiernos democráticos, no por acuerdos entre empresas privadas.

Este es un punto de debate importante. Cuando una empresa con tecnología de vanguardia como Anthropic dice "hagamos un mecanismo para detenernos en la industria", puede sonar realista a primera vista. Sin embargo, queda la cuestión de si las empresas privadas deberían decidir el freno de una tecnología que afecta a toda la sociedad.

Por otro lado, confiar solo en el gobierno también es complicado. La realidad del desarrollo de IA es muy especializada y avanza rápidamente. Puede llevar tiempo a los reguladores comprender el nivel técnico actual y crear reglas efectivas que crucen fronteras. Mientras tanto, la competencia en el desarrollo entre empresas continúa.

Por lo tanto, lo que se necesitará en el futuro es una gobernanza compleja en la que empresas, gobiernos, investigadores y la sociedad civil tengan roles. Las empresas deben compartir datos internos y conocimientos técnicos, los gobiernos deben proporcionar legitimidad democrática y capacidad de ejecución, y los investigadores y la sociedad civil deben realizar vigilancia y crítica. La propuesta de Anthropic tiene sentido como un punto de partida para esta discusión.

Lo realmente aterrador no son los "robots descontrolados"

Cuando se habla de riesgo de IA, es fácil imaginar robots rebelándose contra la humanidad como en las películas. Sin embargo, lo importante en este debate son los riesgos más discretos y realistas.

Por ejemplo, si la IA tiene la capacidad de encontrar vulnerabilidades de software en masa, podría usarse tanto para la defensa como para el ataque. Si la IA acelera la investigación y el desarrollo, podría traer grandes beneficios a la medicina y la ciencia, pero también podría llevar a la difusión de conocimientos biológicos peligrosos o capacidades de ciberataque. Si la IA multiplica la productividad de las empresas, el mercado laboral y el entorno competitivo cambiarán rápidamente.

Además, si la IA comienza a acelerar el desarrollo de IA, los humanos podrían perder la capacidad de "entender lo que está sucediendo antes de actuar". Cuando se descubra un problema, la próxima generación de modelos ya podría estar en funcionamiento. Las evaluaciones de seguridad y auditorías podrían quedar obsoletas antes de completarse. Esta es la preocupación fundamental sobre la mejora recursiva de sí misma.

Es importante señalar que Anthropic no está negando los beneficios de la IA. La compañía reconoce que la IA tiene el potencial de aportar grandes beneficios a la ciencia, la medicina, la defensa cibernética y la mejora de la productividad. El problema es que, precisamente porque los beneficios son grandes, la competencia en el desarrollo es difícil de detener.

¿Solo están fomentando el miedo?

Como señalan los críticos, cuando las empresas de IA hablan de riesgos, siempre hay un conflicto de intereses. Cuando una gran empresa dice "esta tecnología es peligrosa y necesita regulación", no se puede negar la posibilidad de que esa regulación se convierta en una barrera de entrada que beneficie solo a las grandes empresas.

En particular, Anthropic ha centrado su marca en la seguridad. Enfatizar los peligros de la IA coincide con la imagen corporativa de la empresa. También podría demostrar a los inversores y clientes que "somos la empresa de IA más cautelosa y responsable".

Sin embargo, eso no significa que la advertencia en sí sea inútil. Incluso si la motivación de la empresa incluye una estrategia, es posible que el problema técnico que señala sea real. Lo importante es descomponer el contenido de la afirmación, en lugar de juzgar solo por "quién lo dice".

¿Está la IA acelerando el desarrollo de IA?
¿Está esa velocidad superando a las instituciones sociales?
¿Es técnicamente y políticamente verificable una pausa o desaceleración?
¿Se convertirá en un mecanismo que solo proteja a las grandes empresas?
¿Cómo se tratarán el código abierto, las pequeñas empresas y las instituciones de investigación?
¿Quién debería tener la autoridad de decisión final, el gobierno o las empresas privadas?

Estas son preguntas inevitables, independientemente de si se apoya o se critica a Anthropic.

No es un asunto ajeno para Japón

Este debate no es solo sobre las empresas de IA de EE. UU. Las empresas japonesas ya están introduciendo IA generativa en la eficiencia operativa, el desarrollo, la atención al cliente, la creación de publicidad, la redacción de artículos, el análisis y la educación. En el futuro, si los agentes de IA comienzan a manejar múltiples tareas de manera autónoma, la competitividad de las empresas cambiará significativamente.

Por otro lado, Japón depende en gran medida de las grandes empresas estadounidenses en la competencia por desarrollar modelos de IA. Si las empresas de IA extranjeras aumentan su velocidad de desarrollo, el impacto se extenderá a la industria, el empleo y el entorno informativo de Japón. Por el contrario, si se discute una pausa o regulación en el desarrollo de IA en el extranjero, también afectará el entorno de uso y los costos de las empresas japonesas.

Especialmente en campos como los medios, la publicidad, el desarrollo de sistemas, las finanzas, la medicina y la educación, la mejora de las capacidades de la IA se traduce directamente en cambios en la estructura laboral. Las empresas están pasando de la etapa de "usarlo porque es conveniente" a considerar "hasta qué punto confiar en la IA", "quién auditará las decisiones de la IA" y "cómo verificar los resultados de las tareas realizadas por IA".

La advertencia de Anthropic, aunque basada en las circunstancias internas de un laboratorio de IA de vanguardia, también se aplica a las empresas en general. ¿Hasta qué punto pueden los humanos entender y asumir la responsabilidad del código creado por IA, los artículos escritos por IA, las evaluaciones realizadas por IA y las campañas publicitarias diseñadas por IA? Esto ya es un desafío de gestión real.

No se trata de una elección entre "detener completamente" o "desarrollar sin límites"

Es peligroso tratar este debate como un conflicto entre los defensores de la IA y los opositores a la IA. Lo que se necesita no es una elección entre detener completamente o desarrollar sin límites, sino diseñar un freno gradual y verificable.

Por ejemplo, exigir un registro previo para el aprendizaje que utilice recursos computacionales por encima de cierto nivel. Obligar a una evaluación de terceros para agentes autónomos avanzados. Compartir de manera limitada los resultados de la evaluación de capacidades peligrosas. Establecer protocolos para que múltiples empresas puedan desacelerar el desarrollo simultáneamente si se confirma un riesgo de seguridad significativo. Investigar mecanismos técnicos para detectar violaciones o desarrollos encubiertos.

Estos sistemas no se pueden crear fácilmente. Sin embargo, si no se comienza a construirlos, nunca se llegará a tiempo. Como dice Anthropic, los mecanismos de confianza y verificación no se establecen de la noche a la mañana. Los sistemas internacionales como el control de armamentos nucleares se han construido a lo largo del tiempo. En el caso de la IA, puede haber menos margen de tiempo.

Por supuesto, el diseño del sistema debe ser transparente. Si solo las grandes empresas de IA crean reglas a puerta cerrada, no se ganará la confianza social. Incluso si se necesita detener o desacelerar el desarrollo de IA, no debe ser una excusa para fortalecer el dominio del mercado de algunas empresas.

Conclusión: la advertencia de Anthropic ha señalado el "pr