Dois tipos de erro
Um detector pode errar em duas direções. Ele pode sinalizar um texto que uma pessoa escreveu, o que é um falso positivo, ou pode deixar passar um texto de IA, o que é um falso negativo.
Os dois erros puxam em sentidos opostos. Todo detector compara uma pontuação com um limiar: com um limiar mais baixo, ele pega mais texto de IA, mas sinaliza mais pessoas; com um limiar mais alto, sinaliza menos pessoas, mas deixa passar mais texto de IA. Nenhuma configuração elimina os dois.
Por isso, a primeira pergunta a fazer sobre qualquer detector não é o quanto ele é preciso, mas qual erro ele tenta evitar. Em decisões sobre pessoas, o falso positivo costuma ser o mais prejudicial.
Até grandes empresas esbarraram nisso. Em 2023, a OpenAI retirou o próprio classificador de textos de IA, alegando baixa precisão.
Por que promessas de 99% de precisão enganam
Um único índice de precisão esconde mais do que mostra. Ele mistura os dois tipos de erro em um número só e descreve um único conjunto de testes, escolhido por quem fez o teste.
Esse conjunto de testes é o que mais importa. Um detector medido com respostas de chatbot em inglês, cruas e sem edição, vai parecer muito melhor do que o mesmo detector com textos curtos, editados ou traduzidos em outro idioma.
Taxas de erro pequenas também se acumulam. Imagine um detector que sinaliza por engano 1 texto humano em cada 100. Em uma turma com 300 redações honestas, são cerca de três alunos sinalizados por um trabalho que escreveram sozinhos.
Quando ler uma promessa de precisão, procure o que há por trás dela: quais idiomas e gêneros foram testados, qual era o tamanho dos textos, se eles foram editados, quem escolheu os textos humanos e quantos textos humanos foram sinalizados. Uma promessa sem esses detalhes diz muito pouco.
Onde os detectores têm mais dificuldade
Os detectores se saem pior justamente nos textos que as pessoas mais precisam verificar:
- Textos curtos. Algumas frases trazem pouca evidência, e é por isso que o Textumi mostra “Texto curto demais para avaliar” para qualquer texto com menos de 50 palavras.
- Textos editados, parafraseados ou traduzidos. Cada mudança afasta a redação daquilo que o detector aprendeu, nas duas direções.
- Textos formais e padronizados, como resumos acadêmicos, cartas de apresentação e ofícios, que seguem modelos que um detector pode ler como coisa de máquina.
- Textos escritos em uma segunda língua. Pesquisadores de Stanford relataram em 2023 que os detectores sinalizavam com mais frequência redações de pessoas que não têm o inglês como língua materna.
- Idiomas e gêneros que o detector viu pouco durante o treinamento.
O último ponto também vale para o Textumi. Os nossos detectores para idiomas além do inglês e do ucraniano foram treinados e testados com prosa da Wikimedia. Em uma pequena amostra de outros tipos de texto de IA, como avisos, reclamações e instruções, os detectores de francês, vietnamita, turco e indonésio não identificaram a maioria deles, e os de sueco e holandês deixaram passar cerca de metade.
Por que textos humanos são sinalizadosComo funcionam os detectores de IA
Como testar um detector você mesmo
O teste mais justo é o que você faz com textos parecidos com os seus. Ele leva uma hora e diz mais do que qualquer número publicado.
- Reúna dez ou mais textos que você sabe que foram escritos por uma pessoa, no seu idioma e no seu gênero, de preferência escritos antes de os assistentes de IA se popularizarem.
- Escreva ou gere o mesmo número de textos de IA sobre temas parecidos e com tamanho parecido, e edite alguns deles do jeito que as pessoas realmente fazem.
- Verifique cada texto com cada detector que você está comparando e anote o resultado, sem mudar nada no meio do caminho.
- Conte separadamente quantos textos humanos foram sinalizados e quantos textos de IA passaram despercebidos, e veja quais trechos cada detector marcou.
Se um detector sinaliza vários dos seus textos que você sabe que são humanos, trate os resultados dele nesse tipo de texto com muita cautela, diga o marketing o que disser.
Como o Textumi testa o próprio detector
Não publicamos um índice único de precisão para o Textumi, porque não existe um que seja honesto para todos os idiomas e todos os tipos de texto. Em vez disso, publicamos a regra que cada versão do detector precisa cumprir.
Para os idiomas além do inglês e do ucraniano, o limiar é definido no ponto em que no máximo 2 em cada 100 textos humanos com os quais o classificador não aprendeu são sinalizados. Isso mantém os alarmes falsos raros e aceita que mais textos de IA passem despercebidos.
Cada versão é testada uma única vez com um conjunto lacrado de textos que ela nunca viu, com condições para os dois tipos de erro. Todo teste reprovado é descartado. A página de metodologia detalha a regra, o único idioma que o Textumi oferece por decisão própria embora o teste dele tenha ficado um pouco abaixo da meta, e o que os testes não cobrem.
Seja qual for a regra, um resultado é uma estimativa feita a partir do estilo do texto. Não é uma probabilidade nem prova de quem o escreveu.
Perguntas frequentes
Os detectores de IA são precisos?
Eles podem ser úteis, mas nenhum é confiavelmente preciso em todos os textos. Todos os detectores sinalizam alguns textos humanos e deixam passar alguns textos de IA, em maior ou menor grau, dependendo do idioma, do gênero, do tamanho e da edição do texto. Qualquer resultado deve ser tratado como um sinal que exige contexto, não como prova de autoria.
Um detector de IA pode ter 99% de precisão?
Um detector pode tirar uma nota muito alta em um conjunto de textos, mas essa nota só diz algo sobre esses textos, muitas vezes longos e sem edição, e mistura dois tipos de erro em um número só. O mesmo detector pode se sair muito pior em textos curtos, editados, traduzidos ou formais. Por isso, descubra sempre com o que a nota foi medida.
Qual é o detector de IA mais preciso?
Não existe uma resposta única e honesta. As empresas testam com os próprios textos, e os números não são comparáveis. O melhor detector para você é o que sinaliza o menor número dos seus textos que você sabe que são humanos e ainda assim sinaliza textos gerados por IA do seu tipo, então teste alguns detectores com os seus próprios textos.
Qual é a precisão do Textumi?
Não publicamos um número único porque ele não seria verdadeiro para todos os idiomas e gêneros. Em vez disso, publicamos o método: para os idiomas além do inglês e do ucraniano, o limiar permite no máximo 2 textos humanos sinalizados em cada 100 entre textos com os quais o modelo não aprendeu, e cada versão precisa cumprir condições em um teste lacrado. Os detalhes estão na página de metodologia.
Por que dois detectores dão resultados diferentes para o mesmo texto?
Eles foram treinados com exemplos diferentes e traçam os limiares em lugares diferentes. Um texto perto da linha pode cair de qualquer um dos lados, e um detector pode reagir a uma redação que outro ignora. É por isso que um único resultado, de qualquer detector, diz menos do que as pessoas costumam imaginar.
O resultado de um detector deve decidir uma nota ou uma contratação?
Não. Um resultado é um sinal estatístico sobre a redação e nunca deve ser a única base para uma decisão sobre uma pessoa. Rascunhos, histórico de versões, fontes e uma conversa sobre o trabalho mostram a autoria muito melhor e protegem as pessoas cujo texto honesto, por acaso, parece previsível.