Qué mide un detector de IA
Un detector estima cuánto se parece la redacción de un texto a los textos de IA con los que se entrenó.
Los modelos de lenguaje tienden a elegir las palabras más probables y a construir frases regulares y bien formadas. Las personas son menos previsibles: se repiten, cambian de ritmo y eligen palabras que ningún modelo esperaría. El detector aprende esa diferencia estadística a partir de muchísimos ejemplos.
Hay dos enfoques habituales. El primero consiste en preguntar a otro modelo de lenguaje lo previsible que es cada palabra del texto y considerar sospechoso un texto demasiado previsible. Esa medida se llama perplejidad.
El segundo es un clasificador entrenado. Un codificador convierte el texto en una serie de números, y un clasificador entrenado con ejemplos humanos y generados evalúa esos números. Así funciona Textumi, con modelos de detección propios que entrenamos, ajustamos y ejecutamos en nuestros servidores. Ambos enfoques se basan únicamente en el propio texto.
Las marcas de agua son otra idea: el modelo deja en su texto, al escribirlo, una huella estadística que solo puede comprobar quien tiene la clave. Solo sirve con los modelos que añaden esa huella, así que un detector pensado para leer cualquier texto no puede confiar en ella.
Un detector no comprueba datos, no valora la argumentación y no busca tu texto en un archivo de respuestas de chatbots. Dos textos con el mismo contenido y distinta redacción pueden obtener resultados muy diferentes.
Por qué el resultado es una señal y no un veredicto
La escritura humana y la de la IA se solapan. Hay personas que escriben de forma regular y previsible, y a un modelo se le puede pedir que escriba de forma irregular.
Se ponga donde se ponga el umbral dentro de esa zona común, algunos textos humanos acaban del lado de la IA y algunos textos de IA del lado humano. Mover el umbral solo cambia un error por otro.
El propio resultado es fácil de malinterpretar. Textumi lo resume con una de cinco etiquetas: «Escrito por una persona», «Mayormente humano», «Mixto: humano e IA», «Mayormente IA» y «Generado por IA». Las dos primeras quedan por debajo del umbral y las otras tres, por encima. Una etiqueta describe cómo se lee el estilo del texto completo, no la probabilidad de que lo escribiera una IA ni la parte del texto que se generó.
Si otro detector muestra un porcentaje, también es la estimación de un modelo y merece la misma cautela.
Estos límites están bien documentados. En 2023, OpenAI retiró su propio clasificador de textos de IA por su baja precisión, y ese mismo año investigadores de Stanford informaron de que los detectores marcaban más a menudo los ensayos en inglés de hablantes no nativos que los de hablantes nativos.
Qué le hacen la paráfrasis y la corrección al resultado
Un detector juzga el texto que recibe. Si cambia la redacción, cambia también el resultado.
Cuando una persona reescribe un texto generado frase a frase, quedan menos patrones de los que conoce el detector. Cuando un asistente de IA pule el texto de una persona, aparecen más.
El resultado es un texto mixto. Un detector entrenado con ejemplos totalmente humanos y totalmente generados puede situarlo a cualquiera de los dos lados.
Lo mismo vale para las herramientas de paráfrasis, incluido nuestro Humanizer. Su objetivo es una redacción natural que conserve los datos y la lógica del original, no una puntuación concreta. Una reescritura es una redacción nueva, y el resultado del detector se refiere a ella, no al origen del texto, así que un texto que un detector no marca puede marcarlo otro.
Una corrección gramatical a fondo y la traducción también mueven los resultados, a veces hacia el lado de la IA.
Por qué los modelos nuevos son un blanco móvil
Un detector conoce los modelos cuyos textos estaban en sus datos de entrenamiento, tal como escribían en ese momento. Los textos de un modelo más reciente o distinto pueden parecerse a ellos o no, y solo una prueba lo aclara.
Los detectores de Textumi para los idiomas distintos del inglés y el ucraniano se entrenaron con textos de dos modelos de IA muy utilizados. Los textos de otros modelos quedan fuera de esas pruebas, y es una de las razones por las que mejoramos los detectores de forma continua y los publicamos por versiones.
Por qué los idiomas distintos del inglés son más difíciles
Un modelo entrenado con textos en inglés no empieza a funcionar igual de bien en otros idiomas por sí solo. Cada idioma necesita sus propios textos humanos, sus propios textos de IA y su propia prueba.
Lo más difícil es reunir textos de los que se sepa con certeza que los escribieron personas. Los idiomas con menos hablantes tienen menos, así que un conjunto de entrenamiento suele abarcar solo unos pocos géneros.
Textumi entrena un clasificador distinto para cada idioma. Los detectores de inglés y de ucraniano son los más probados. Los de los demás idiomas se entrenaron y se probaron con prosa de proyectos de Wikimedia y con textos de dos modelos de IA.
En otros géneros, algunos de estos detectores dejan pasar muchos textos de IA, entre ellos los de francés, vietnamita, turco, indonesio y neerlandés. Un texto traducido es, en cualquier idioma, una fuente de error más.
Los idiomas y el estado de cada unoCómo se construye y se prueba el detector de IA de Textumi
Cómo leer un resultado con responsabilidad
- Lee los fragmentos resaltados antes de mirar la etiqueta, porque muestran de dónde sale la señal y te permiten juzgar esas líneas por ti mismo.
- Fíjate en la extensión. Por debajo de 50 palabras, Textumi muestra «Muy poco texto para concluir» en lugar de una etiqueta, y los textos cortos piden cautela en cualquier detector.
- Fíjate en el género y el idioma. Una marca en una carta formal, o un resultado en un idioma probado con un conjunto de textos más limitado, pesa menos que el mismo resultado en un ensayo largo en inglés.
- Toma «Escrito por una persona» y «Mayormente humano» como estimaciones. Significan que el detector encontró pocos indicios de IA, no que el texto lo escribiera con seguridad una persona.
- Reúne otras pruebas antes de decidir nada: los borradores, el historial de versiones y una conversación con quien escribió dicen más sobre la autoría que cualquier detector.
Por qué se marcan textos escritos por personasUso responsable
Preguntas frecuentes
¿Son precisos los detectores de IA?
Depende del texto, y ninguna cifra aislada describe con honestidad a un detector. Los resultados varían según el idioma, el género, la extensión del texto y el modelo que lo escribió. Todo detector marca a veces textos humanos y deja pasar textos de IA. Por eso publicamos cómo probamos nuestro detector, pero no anunciamos un índice de precisión.
¿Pueden los detectores de IA detectar ChatGPT?
Un detector reacciona a la redacción, no a un modelo concreto. Un texto de ChatGPT, Claude, Gemini o cualquier otro modelo puede marcarse si se parece a los textos de IA con los que se entrenó el detector, y pasar inadvertido si no. Textumi no identifica qué modelo escribió un texto y no se ha probado modelo por modelo.
¿La paráfrasis o la corrección cambian el resultado de un detector?
Sí. Una reescritura cambia la redacción, y el resultado sigue a la redacción. Es un límite del método, no una garantía en ningún sentido: un texto de IA corregido puede seguir marcándose, otro detector puede marcar una reescritura y el resultado nunca demuestra que haya cambiado el origen de un texto.
¿Por qué dos detectores de IA juzgan distinto el mismo texto?
Cada uno se entrenó con otros textos humanos y de IA, valora la redacción a su manera y fija su propio umbral. Un texto cercano al límite puede caer a cualquiera de los dos lados. Que los detectores discrepen es normal, y es una razón más para tratar cada resultado como una señal y no como una conclusión.
¿Funcionan los detectores de IA con textos cortos?
Mal. Unas pocas frases contienen demasiado poca información para un resultado estable, y una sola expresión inusual puede moverlo. Textumi acepta textos desde 5 palabras, pero por debajo de 50 muestra «Muy poco texto para concluir» en lugar de una etiqueta. Siempre que puedas, analiza un fragmento más largo del mismo documento.
¿Funcionan los detectores de IA en idiomas distintos del inglés?
Algunos sí, con más reservas. Cada idioma necesita sus propios textos de entrenamiento y su propia prueba, y fuera del inglés cuesta más reunirlos. El detector de IA de Textumi funciona en 20 idiomas. El inglés y el ucraniano son los más probados; los demás se probaron con un conjunto de textos más limitado, y algunos rinden peor en otros géneros.
¿Qué son la perplejidad y la burstiness en la detección de IA?
La perplejidad mide lo previsible que resulta un texto para un modelo de lenguaje: cuanto más baja, más previsible es el texto. La burstiness describe la irregularidad, es decir, cómo se alternan frases largas y cortas, simples y complejas. Algunos detectores toman una perplejidad baja y un ritmo uniforme como indicios de IA. Ambas medidas son toscas, porque un texto humano de fórmula también es previsible. Textumi usa un clasificador entrenado en lugar de estas medidas.