O que um detector de IA mede
Um detector estima o quanto a redação de um texto se parece com os textos escritos por IA com que ele foi treinado.
Os modelos de linguagem tendem a escolher as palavras mais prováveis e a montar frases uniformes e bem formadas. As pessoas são menos previsíveis: repetem-se, mudam o ritmo e escolhem palavras que nenhum modelo esperaria. Um detector aprende essa diferença estatística a partir de um grande número de exemplos.
Dois tipos de projeto são comuns. O primeiro pergunta a outro modelo de linguagem o quanto cada palavra do texto é previsível e trata um texto muito previsível como suspeito. Essa medida se chama perplexidade.
O segundo é um classificador treinado. Um codificador transforma o texto em um conjunto de números, e um classificador treinado com exemplos humanos e de IA dá uma pontuação a esses números. O Textumi funciona assim, com modelos de detecção que nós treinamos, ajustamos e rodamos nos nossos próprios servidores. Os dois tipos se baseiam apenas no texto.
A marca d’água é outra ideia: o modelo deixa uma marca estatística no texto enquanto escreve, e quem tem a chave pode verificá-la. Isso só funciona com modelos que adicionam essa marca, então um detector feito para ler qualquer texto não pode depender dela.
Um detector não confere fatos, não julga o argumento e não procura o seu texto em um arquivo de respostas de chatbots. Dois textos com o mesmo sentido e palavras diferentes podem ter resultados muito diferentes.
Por que o resultado é um sinal, e não um veredito
A escrita humana e a escrita de IA se sobrepõem. Algumas pessoas escrevem de forma uniforme e previsível, e um modelo pode ser instruído a escrever de forma irregular.
Onde quer que se trace um limiar nessa sobreposição, parte da escrita humana acaba do lado da IA e parte da escrita de IA do lado humano. Mover o limiar só troca um erro pelo outro.
O próprio resultado é fácil de interpretar mal. O Textumi o resume em um de cinco rótulos: “Escrito por humano”, “Predominantemente humano”, “Misto: humano e IA”, “Predominantemente IA” e “Gerado por IA”. Os dois primeiros ficam abaixo do limiar, os outros três acima. Um rótulo descreve como soa o estilo do texto inteiro, não a probabilidade de autoria de IA nem a parcela do texto que foi gerada.
Se outro detector mostra uma porcentagem, ela também é uma estimativa de um modelo e merece a mesma cautela.
Esses limites estão bem documentados. Em 2023, a OpenAI retirou o próprio classificador de textos de IA, alegando baixa precisão, e no mesmo ano pesquisadores de Stanford relataram que os detectores sinalizavam redações de pessoas que não têm o inglês como língua materna com mais frequência do que as de falantes nativos.
O que a paráfrase e a edição fazem com um resultado
Um detector julga o texto que recebe. Quando a redação muda, o resultado também muda.
Quando uma pessoa reescreve frase por frase um texto gerado por IA, sobram menos padrões que o detector conhece. Quando um assistente de IA dá um polimento no texto de uma pessoa, aparecem mais deles.
O resultado é um texto misto. Um detector treinado com exemplos puramente humanos e puramente de IA pode colocá-lo de qualquer um dos lados.
O mesmo vale para ferramentas de paráfrase, inclusive o nosso próprio Humanizer. O Humanizer busca uma redação natural que mantenha os fatos e a lógica do original, não uma pontuação. Uma reescrita é uma redação nova, e o resultado do detector é sobre essa redação, não sobre a origem do texto, então um texto que um detector deixa passar ainda pode ser sinalizado por outro.
Correções gramaticais pesadas e traduções também mexem nos resultados, às vezes na direção da IA.
Por que os modelos novos são um alvo móvel
Um detector conhece os modelos cujos textos estavam nos dados de treinamento dele, do jeito que esses modelos escreviam na época. O texto de um modelo mais novo ou diferente pode se parecer com eles ou não, e só um teste pode dizer.
Os detectores do Textumi para idiomas além do inglês e do ucraniano foram treinados com textos de dois modelos de IA amplamente usados. Textos de outros modelos ficam fora desses testes, e esse é um dos motivos pelos quais seguimos melhorando os detectores e os lançamos em versões.
Por que os idiomas além do inglês são mais difíceis
Um modelo treinado com textos em inglês não passa a funcionar igualmente bem em outros idiomas sozinho. Cada idioma precisa dos próprios textos humanos, dos próprios textos de IA e do próprio teste.
A parte mais difícil é reunir textos que se sabe terem sido escritos por pessoas. Idiomas menores têm menos desse material, então um conjunto de treinamento muitas vezes cobre só alguns gêneros.
O Textumi treina um classificador separado para cada idioma. Os detectores de inglês e ucraniano são os mais testados. Os detectores dos outros idiomas foram treinados e testados com a prosa dos projetos da Wikimedia e com textos de dois modelos de IA.
Em outros gêneros, alguns desses detectores deixam passar muitos textos de IA, entre eles os de francês, vietnamita, turco, indonésio e holandês. Textos traduzidos são mais uma fonte de erro em qualquer idioma.
Os idiomas e a situação de cada umComo o detector de IA do Textumi é feito e testado
Como ler um resultado com responsabilidade
- Leia os trechos destacados antes de olhar o rótulo, porque eles mostram de onde vem o sinal e deixam você julgar essas linhas por conta própria.
- Preste atenção ao tamanho. Abaixo de 50 palavras, o Textumi mostra “Texto curto demais para avaliar” em vez de um rótulo, e textos curtos merecem cautela em qualquer detector.
- Preste atenção ao gênero e ao idioma. Uma sinalização em uma carta formal, ou um resultado em um idioma testado com um conjunto mais restrito de textos, pesa menos do que o mesmo resultado em uma redação longa em inglês.
- Trate “Escrito por humano” e “Predominantemente humano” como estimativas. Eles significam que o detector encontrou pouca coisa com cara de IA, não que uma pessoa com certeza escreveu o texto.
- Reúna outras evidências antes de decidir qualquer coisa: rascunhos, histórico de versões e uma conversa com quem escreveu dizem mais sobre a autoria do que qualquer detector.
Perguntas frequentes
Os detectores de IA são precisos?
Depende do texto, e nenhum número isolado descreve um detector com honestidade. Os resultados variam conforme o idioma, o gênero, o tamanho do texto e o modelo que o escreveu. Todo detector às vezes sinaliza textos humanos e deixa passar textos de IA. É por isso que publicamos como testamos o nosso detector, mas não anunciamos um índice de precisão.
Os detectores de IA conseguem detectar o ChatGPT?
Um detector reage à redação, não a um modelo específico. Um texto do ChatGPT, do Claude, do Gemini ou de qualquer outro modelo pode ser sinalizado se se parecer com a escrita de IA com que o detector foi treinado, e passar despercebido se não se parecer. O Textumi não identifica qual modelo escreveu um texto e não foi testado modelo por modelo.
Parafrasear ou editar muda o resultado de um detector?
Sim. Uma reescrita muda a redação, e o resultado acompanha a redação. Isso é um limite do método, não uma garantia em nenhum sentido: um texto de IA editado ainda pode ser sinalizado, uma reescrita pode ser sinalizada por outro detector, e o resultado nunca mostra que a origem de um texto mudou.
Por que dois detectores de IA avaliam o mesmo texto de formas diferentes?
Cada um foi treinado com textos humanos e de IA diferentes, pontua a redação do seu jeito e define o próprio limiar. Um texto perto da linha pode cair de qualquer um dos lados. A divergência entre detectores é normal e é mais um motivo para tratar cada resultado como um sinal, e não como uma conclusão.
Os detectores de IA funcionam com textos curtos?
Mal. Algumas frases contêm pouca evidência para um resultado estável, e uma única expressão incomum pode mudá-lo. O Textumi aceita textos a partir de 5 palavras, mas abaixo de 50 palavras mostra “Texto curto demais para avaliar” em vez de um rótulo. Sempre que puder, verifique um trecho mais longo do mesmo documento.
Os detectores de IA funcionam em idiomas além do inglês?
Alguns funcionam, com mais ressalvas. Cada idioma precisa dos próprios textos de treinamento e do próprio teste, e eles são mais difíceis de reunir fora do inglês. O detector do Textumi funciona em 20 idiomas. Inglês e ucraniano são os mais testados; os outros foram testados com um conjunto mais restrito de textos, e alguns são mais fracos em outros gêneros.
O que são perplexidade e burstiness na detecção de IA?
A perplexidade mede o quanto um texto é previsível para um modelo de linguagem: quanto mais baixa, mais previsível o texto. A burstiness descreve a irregularidade, a forma como frases longas e curtas, simples e complexas se alternam. Alguns detectores tratam perplexidade baixa e ritmo uniforme como sinais de IA. As duas medidas são grosseiras, já que textos humanos padronizados também são previsíveis. O Textumi usa um classificador treinado em vez de aplicar essas medidas diretamente.