El punto ciego de la regulación de la IA: ¿quién verificará en semanas los documentos que la IA escribe en segundos?

El punto ciego de la regulación de la IA: ¿quién verificará en semanas los documentos que la IA escribe en segundos?

De las 194 citas, 50 respaldaron la afirmación

En los materiales de la conferencia se menciona que "el 70% de las empresas nacionales han implementado". Al presionar la nota al pie, efectivamente se abre un informe de investigación. Sin embargo, al leer la pregunta original, se descubre que lo que se preguntaba era "¿Está considerando implementar?". Tanto el número "70%" como el nombre de la investigación son correctos. Aun así, si se usa esta frase tal cual en la conferencia, se contaría a las empresas que están en la etapa de consideración como si ya hubieran implementado.

Verificar las fuentes de un texto escrito por IA implica leer hasta las diferencias de un solo verbo. Quienes asumieron esta tarea fueron Amartya Kumar, fundador del instituto de investigación indio "Oryx Centre for Strategic Futures", y su cofundadora Rhea Narwa.

Según un ensayo de Kumar publicado el 18 de noviembre de 2026 en la revista australiana 'On Line Opinion', ambos dedicaron varias semanas a revisar cada una de las citas de 30 documentos de investigación generados por IA. Lo que verificaron fue la afirmación escrita en el documento y la fuente adjunta justo al lado.


Resultado del seguimiento de las citasNúmero de casos
No se pudo acceder al documento de destino debido a cambios de página, etc.95 casos
La fuente respaldaba la afirmación del texto50 casos
La fuente existía, pero el contenido difería de la afirmación17 casos
No se pudo verificar31 casos
No había enlace proporcionado1 caso
Total194 casos

El porcentaje de casos en los que pudieron confirmar la base fue de aproximadamente el 26%. El restante 74% incluye enlaces rotos y casos no verificables. Es posible que la página solo se haya movido y que la descripción original fuera correcta. Estos números son un resumen de los 30 documentos investigados por los autores y no representan la tasa de precisión general de la IA generativa.


El enlace que se abre es el más difícil de detectar

En la lista, los 17 casos que merecen detenerse son aquellos. Si el enlace está roto, el lector se da cuenta de inmediato de que "no se pudo verificar". Por otro lado, si se abre la página de una institución de investigación existente y aparecen palabras similares a las del texto, es fácil querer terminar la verificación allí. En el ejemplo inicial, sería el momento en que se encuentra el mismo número "70%" al buscar en la página.

Los errores en las citas tienen diferentes etapas. Primero, si el documento existe. Segundo, si el autor y la revista coinciden. Y finalmente, si se puede derivar la conclusión del documento. Incluso si se superan las dos primeras etapas, a veces se tropieza en la última.

Un estudio publicado en 2023 en la revista 'Scientific Reports' se centró en la existencia de documentos y la precisión de la información bibliográfica. Los investigadores pidieron a ChatGPT de la época que escribiera una revisión de la literatura sobre 42 temas y revisaron 636 referencias. Encontraron que el 55% de las referencias eran ficticias con GPT-3.5 y el 18% con GPT-4. Además, con GPT-4,incluso en documentos existentes, el 24% tenía errores bibliográficos significativos. Aunque el modelo y el tema son diferentes de la investigación de Kumar, se puede entender que "la presencia de documentos reales" no puede ser la base para confiar en toda la lista de referencias.


"Páginas que abarcan dos documentos" discutido por bibliotecarios en redes sociales

Cómo este problema llega al mostrador de la biblioteca. Antes de la publicación del artículo original en junio de 2025, en la comunidad de bibliotecas de Reddit, se compartieron experiencias de búsqueda de libros y documentos recomendados por IA.

 

Un usuario informó que un documento solicitado por un profesor contenía el nombre de un investigador real y el nombre de una revista académica, y que el volumen y la fecha de publicación coincidían. Sin embargo, al abrir la página especificada, lo que apareció fue el final de un documento y el comienzo de otro. Cuando se le preguntó al profesor sobre la fuente, respondió que había preguntado nuevamente a ChatGPT y recibió la confirmación de que era real. La diferencia entre preguntar nuevamente y verificar abriendo la revista se refleja en estas pocas páginas.

En otro hilo, un usuario compartió su experiencia de verificar títulos de obras de un autor con un usuario. El título sugerido por la IA parecía ser una combinación de partes de dos títulos reales del autor y palabras utilizadas por el usuario en su búsqueda. El usuario quedó satisfecho al revisar la lista de obras con el bibliotecario.

Aunque son experiencias personales, hay una carga que no se ve en el número de casos investigados. Crear un título plausible puede llevar un momento, pero explicar por qué no se encuentra requiere que alguien revise la lista de obras, abra la revista y, a veces, pase las páginas junto con la otra persona.


En los materiales de conferencia japoneses, ¿qué frase verificar primero?

La pregunta práctica planteada por Kumar al discutir las políticas de IA en varios países fue: incluso si se crean políticas de seguridad y se designan lugares para informar problemas, ¿quién abrirá las notas al pie de los documentos distribuidos hoy?

En un entorno laboral japonés, primero se debe considerar "si esta frase es incorrecta, ¿cambiará la conclusión de la reunión?" para ver el orden de verificación. Si la propuesta es apresurar la inversión basada en el "70%" mencionado al principio, el lugar que el responsable debe abrir es el texto de la pregunta y la tabla de agregados que generaron ese número, más que la portada del informe. ¿Es una muestra que puede llamarse "empresas nacionales"? ¿Son "implementado" y "en consideración" opciones separadas? Al leer hasta ese punto, se decide qué frase se puede dejar en el documento.

Lo mismo se puede hacer en un informe escolar. Antes de transcribir el nombre del documento en la sección de referencias, intente escribir en el margen "¿qué página y qué descripción del documento respalda esta frase mía?". Si no se encuentra la sección correspondiente, limite la afirmación al alcance que pueda expresar en el texto original. Si el documento abierto hace que el texto sea un poco más modesto, ese ajuste es precisamente el valor de haber verificado.


Fuentes