Dos tipos de error
Un detector puede equivocarse en dos direcciones. Puede marcar un texto que escribió una persona, lo que se llama falso positivo, o dejar pasar un texto de IA, lo que se llama falso negativo.
Los dos errores tiran en sentidos opuestos. Todo detector compara una puntuación con un umbral: si lo bajas, detecta más texto de IA pero marca a más personas; si lo subes, marca a menos personas pero se le escapa más texto de IA. Ningún ajuste elimina los dos.
Por eso, la primera pregunta sobre cualquier detector no es cuánto acierta, sino qué error intenta evitar. Cuando se decide sobre personas, el falso positivo suele ser el más dañino.
Hasta las grandes empresas se han topado con esto. En 2023, OpenAI retiró su propio clasificador de textos de IA alegando su baja precisión.
Por qué engaña un 99 % de precisión
Una sola cifra de precisión oculta más de lo que muestra. Mezcla los dos tipos de error en un número y describe un único conjunto de prueba, elegido por quien hizo la prueba.
Ese conjunto de prueba es lo que más pesa. Un detector medido con respuestas de chatbot en inglés, en bruto y sin editar, parecerá mucho mejor que el mismo detector con textos cortos, editados o traducidos en otro idioma.
Además, los errores pequeños se acumulan. Supón que un detector marca por error 1 de cada 100 textos humanos. En una asignatura con 300 trabajos honestos, eso son unos tres estudiantes señalados por un trabajo que escribieron ellos mismos.
Cuando leas una cifra de precisión, busca lo que hay detrás: qué idiomas y géneros se probaron, qué longitud tenían los textos, si estaban editados, quién eligió los textos humanos y cuántos de ellos se marcaron. Una cifra sin esos datos te dice muy poco.
Dónde fallan los detectores
Los detectores funcionan peor justo con los textos que más a menudo hay que comprobar:
- Textos cortos. Unas pocas frases dan muy pocas pistas, y por eso Textumi muestra «Muy poco texto para concluir» con cualquier texto de menos de 50 palabras.
- Textos editados, parafraseados o traducidos. Cada cambio aleja la redacción de lo que aprendió el detector, en las dos direcciones.
- Escritura formal y de fórmula, como resúmenes, cartas de presentación y escritos oficiales, que sigue plantillas que un detector puede leer como propias de una máquina.
- Textos escritos en una segunda lengua. Investigadores de Stanford informaron en 2023 de que los detectores marcaban con más frecuencia los ensayos de personas cuya lengua materna no es el inglés.
- Idiomas y géneros de los que el detector vio pocos ejemplos durante el entrenamiento.
Este último punto también se aplica a Textumi. Nuestros detectores para idiomas distintos del inglés y el ucraniano se entrenaron y se probaron con prosa de Wikimedia. Al evaluarlos con una pequeña muestra de textos de IA de otro tipo (como avisos, reclamaciones e instrucciones), los detectores de francés, vietnamita, turco e indonesio dejaron pasar la mayor parte. Los de sueco y neerlandés dejaron pasar aproximadamente la mitad.
Por qué se marcan textos escritos por personasCómo funcionan los detectores de IA
Cómo probar un detector por tu cuenta
La prueba más justa es la que haces con textos como los tuyos. Lleva una hora y te dice más que cualquier cifra publicada.
- Reúne diez textos o más que sepas que escribió una persona, en tu idioma y tu género, mejor si se escribieron antes de que los asistentes de IA se generalizaran.
- Escribe o genera el mismo número de textos de IA sobre temas parecidos y de longitud similar, y edita algunos como lo haría la gente en la realidad.
- Comprueba cada texto con cada detector que estés comparando y anota el resultado, sin cambiar nada entre una comprobación y otra.
- Cuenta por separado cuántos textos humanos se marcaron y cuántos textos de IA se escaparon, y mira qué fragmentos resaltó cada detector.
Si un detector marca varios de los textos que sabes que son humanos, trata con mucha cautela sus resultados con ese tipo de escritura, diga lo que diga su publicidad.
Cómo prueba Textumi su propio detector
No publicamos una cifra única de precisión para Textumi, porque no existe ninguna honesta que valga para todos los idiomas y todos los tipos de texto. En su lugar, publicamos la regla que debe cumplir cada versión del detector.
En los idiomas distintos del inglés y el ucraniano, el umbral se sitúa donde se marcan como máximo 2 de cada 100 textos humanos de los que el clasificador no aprendió. Así las falsas alarmas son raras, a cambio de aceptar que se escapen más textos de IA.
Después, cada versión se prueba una única vez, con un conjunto cerrado de textos que nunca ha visto y con condiciones para los dos tipos de error. Una prueba fallida no se reutiliza. En la página de metodología se explica esa regla, junto con lo que las pruebas no cubren y el único idioma que Textumi ofrece por decisión propia, aunque su prueba se quedó justo por debajo.
Sea cual sea la regla, un resultado es una estimación basada en el estilo del texto. No es una probabilidad ni una prueba de quién lo escribió.
Preguntas frecuentes
¿Son fiables los detectores de IA?
Pueden resultar útiles, pero ninguno acierta de forma fiable con todos los textos. Todo detector marca algunos textos humanos como IA y deja pasar algunos textos de IA. Con qué frecuencia ocurre esto depende del idioma, el género, la longitud del texto y su edición. Trata cada resultado como una señal que necesita contexto, nunca como una prueba de autoría.
¿Puede un detector de IA tener un 99 % de precisión?
Usando un conjunto de prueba concreto, un detector puede obtener una cifra muy alta. Esa cifra solo describe esos textos, a menudo largos y sin editar, y mezcla en un solo número dos errores distintos. Con textos cortos, editados, traducidos o formales, ese mismo detector puede funcionar mucho peor. Por eso, pregunta con qué textos se midió la cifra.
¿Cuál es el detector de IA más preciso?
No hay una respuesta única y honesta. Cada empresa hace sus pruebas con textos propios, y los resultados no son comparables. Te conviene más el detector que marca menos textos tuyos que sabes que son humanos y que, aun así, detecta los textos de IA del tipo con el que trabajas, así que prueba unos cuantos con tu propio material.
¿Qué precisión tiene Textumi?
En lugar de una cifra única, que no sería cierta para todos los idiomas y géneros, publicamos el método. En los idiomas distintos del inglés y del ucraniano, el umbral admite como máximo 2 de cada 100 textos humanos marcados entre textos de los que el modelo no aprendió. Además, cada versión debe cumplir determinadas condiciones en una prueba cerrada. Los detalles figuran en la página de metodología.
¿Por qué dos detectores dan resultados distintos con el mismo texto?
Se entrenaron con ejemplos distintos y sitúan sus umbrales en puntos diferentes. Un texto cercano a la línea puede caer a uno u otro lado, y una redacción que un detector marca puede pasar inadvertida para otro. De ahí que un solo resultado, procedente de cualquier detector, diga menos de lo que suele suponerse.
¿Debe el resultado de un detector decidir una nota o una contratación?
No. Un resultado es una señal estadística sobre la redacción, y nunca debería ser la única base para decidir sobre una persona. Para mostrar quién ha escrito un texto, son mucho más reveladores los borradores, el historial de versiones, las fuentes y una conversación sobre el trabajo. Además, estos elementos protegen a quienes escriben con honestidad y, por casualidad, producen textos previsibles.