Cómo funcionan los detectores de texto de IA, explicado a través de una disputa de novela premiada

El hallazgo de una herramienta de detección de que una novela premiada fue escrita casi en su totalidad por máquina ha puesto los detectores de texto de IA bajo escrutinio. El caso plantea una pregunta práctica para escritores, estudiantes y editores por igual: ¿qué están midiendo realmente estas herramientas y cuánto se puede confiar en sus veredictos?

Qué desencadenó el debate

El autor peruano David Silva Rojas ganó el primer Premio Internacional de Novela Corta Almadía Ventosa-Arrufat, dotado con €20.000, por su novela "Donde el agua trabaja", una historia ambientada en una finca vinícola en la región de Ica, Perú. Un jurado unánime que incluía a los escritores Cristina Rivera Garza, Selva Almada y Mónica Ojeda seleccionó la obra entre 2.204 presentaciones de 22 países, según Infobae.

Según Infobae, que citó un análisis del periódico español El País, al pasar la novela de aproximadamente 26.000 palabras por la herramienta de detección Pangram 4.1, se atribuyó el 99% a la inteligencia artificial. La misma herramienta marcó el 97% de las respuestas de una entrevista que Silva Rojas concedió en septiembre y el 80% de un texto autobiográfico de 924 palabras que presentó, mientras que las palabras propias del entrevistador se registraron como totalmente humanas. Las reglas del concurso requerían que los participantes declararan que sus manuscritos no fueron "escritos, ni parcial ni totalmente, con herramientas de inteligencia artificial", bajo pena de descalificación.

La editorial Almadía suspendió los eventos de presentación de la novela en Madrid, Barcelona, Sevilla y Cádiz, que estaban programados para comenzar el 23 de octubre de 2026, según Proceso. La editorial dijo que Silva Rojas había firmado un contrato declarando que no había utilizado tales herramientas y solicitó tiempo para investigar. Silva Rojas rechazó hacer comentarios cuando fue contactado por Infobae para dar su versión.

Cómo funcionan realmente los detectores de texto de IA

Según la metodología publicada de GPTZero, su herramienta califica el texto en tres señales principales: perplejidad, o qué tan predecibles son las opciones de palabras para un modelo de lenguaje; explosividad, es decir, cuánto varían la longitud y el estilo de las oraciones en un pasaje; y tono general, verificando si la escritura se lee como genérica o repetitiva. GPTZero dice que superpone un modelo patentado con "cientos de factores" sobre estas medidas base.

Pangram, la herramienta utilizada en el caso de la novela, funciona diferentemente. Según la entrada de Pangram en Wikipedia y el propio blog de Pangram, se entrena emparejando grandes volúmenes de escritura humana con texto generado por IA coincidente por tema, longitud y tono, luego utiliza una arquitectura de "mezcla de expertos" para clasificar secciones individuales de un documento antes de combinarlas en una puntuación a nivel de pasaje. Pangram requiere al menos 50 palabras de prosa para producir un resultado e informa tasas de falsos positivos separadas por dominio de escritura, por ejemplo, cercana al 0% en documentos médicos versus tasas más altas en poesía y recetas.

De manera crucial, ninguna de estas herramientas afirma identificar un autor. Generan una estimación estadística, una probabilidad de que un pasaje dado se parezca más a texto generado por máquina que a texto humano que el modelo ha visto en el entrenamiento.

Por qué ningún detector ofrece certeza

OpenAI cerró su propio clasificador de texto de IA en julio de 2023, citando una baja tasa de precisión, según TechCrunch. En la prueba informal de TechCrunch de siete pasajes generados por IA, la herramienta de OpenAI identificó correctamente solo uno, mientras que GPTZero identificó cinco. OpenAI dijo en ese momento que estaba investigando "técnicas de procedencia más efectivas" en su lugar.

Las propias cifras de Pangram muestran la misma tensión entre confianza y error. La entrada de Pangram en Wikipedia señala que evaluaciones independientes encontraron que se perdió aproximadamente el 10,1% de pasajes escritos por sistemas de IA que imitaban el estilo de un autor humano específico, y que tuvo un desempeño peor en texto procesado con herramientas "humanizadoras" destinadas a disimular la salida de IA. La misma entrada enumera disputas pasadas en las que se cuestionaron los resultados de Pangram, incluida la novelista Mia Ballard, cuya escritura fue marcada como 78% de IA, y críticas del editor del Wall Street Journal James Taranto, quien llamó a la herramienta una "máquina de difamación" después de que marcara tres artículos del personal, aunque dos de esos autores de artículos dijeron que solo habían usado IA para ayudar a revisar sus borradores.

Lo que el caso de la novela muestra y no muestra

La puntuación de Pangram 4.1 es una señal fuerte que llevó a Almadía a pausar el lanzamiento de la novela e iniciar una investigación, pero una puntuación de detección por sí sola no constituye prueba de cómo se produjo un texto. Según la declaración del editor reportada por Proceso, Almadía no había anunciado un hallazgo final, y Silva Rojas no había dado su versión de forma oficial. La regla del concurso contra el uso de IA, y la declaración firmada vinculada a ella, es lo que expone al autor a una posible descalificación si una investigación confirma la sospecha, separado de lo que una sola puntuación de detector pueda establecer por sí sola.