O que é um falso positivo
Um falso positivo é um texto escrito por uma pessoa que um detector marca como gerado por IA.
O detector não sabe quem escreveu o texto. Ele dá uma pontuação à redação, compara essa pontuação com um limiar e relata tudo o que fica acima dele como sinal de IA. Inevitavelmente, parte dos textos humanos cai acima desse limiar.
Nenhuma configuração resolve isso. Um limiar mais alto sinaliza menos textos humanos, mas deixa passar mais textos de IA, e um limiar mais baixo faz o contrário.
Grandes empresas esbarram no mesmo limite. Em 2023, a OpenAI retirou do ar o próprio classificador de textos de IA, alegando a baixa precisão dele.
Quem tem o texto sinalizado com mais frequência
Os falsos positivos não atingem todos os tipos de texto da mesma forma. Os detectores erram com mais frequência nestes casos:
- Textos em uma segunda língua. Pesquisadores de Stanford relataram em 2023 que detectores de IA sinalizavam redações de pessoas que não têm o inglês como língua materna com mais frequência do que as de falantes nativos.
- Textos formais e formulaicos. Cartas de apresentação, resumos acadêmicos, e-mails de trabalho e documentos oficiais seguem modelos fixos, e uma redação previsível é justamente o que faz um detector reagir.
- Textos curtos. Poucas frases dão pouco material para avaliar, e é por isso que o Textumi não mostra rótulo abaixo de 50 palavras; o resultado de um texto um pouco acima disso continua menos confiável.
- Textos muito polidos. Corretores gramaticais, tradução e muitas rodadas de edição alisam as pequenas irregularidades de um rascunho de verdade.
Você não precisa escrever pior para parecer humano. Mas quem lê o resultado de um detector deve saber que um alerta nesses tipos de texto tem menos peso.
O que o resultado de um detector não prova
Um detector vê só o texto pronto. Ele não vê as suas anotações, as suas fontes, as horas que você dedicou nem as versões anteriores do arquivo. Ele não consegue distinguir quem escreve com cuidado de um modelo que imita uma escrita cuidadosa.
O resultado de um detector não é uma probabilidade. O Textumi o resume com um de cinco rótulos, de “Escrito por humano” a “Gerado por IA”. Nem “Gerado por IA” significa que o texto quase certamente foi escrito por IA, nem “Predominantemente IA” significa que um modelo escreveu a maior parte das frases. O rótulo diz apenas que a redação se parece muito com o que o detector aprendeu a associar à IA.
Se outro detector mostrar uma porcentagem, leia-a com a mesma cautela. Ela também é a pontuação de um modelo, não a parcela do texto que foi gerada.
Dois detectores podem avaliar o mesmo texto de formas diferentes. Eles foram treinados com exemplos diferentes, e cada um traça o seu limiar em um ponto diferente.
O que fazer se você for acusado de usar IA
O resultado de um detector, sozinho, é uma evidência fraca. Um registro de como o texto foi feito é muito mais forte. Siga estes passos na ordem.
- Pergunte qual detector foi usado, o que exatamente ele mostrou e qual resultado as pessoas que avaliam o seu trabalho consideram motivo de suspeita.
- Reúna os seus rascunhos, roteiros, anotações e fontes, inclusive as versões cruas que você normalmente não mostraria a ninguém.
- Abra o histórico de versões do documento. O Google Docs e o Microsoft Word registram como um texto mudou ao longo do tempo, e uma sequência de pequenas edições ao longo de vários dias é difícil de contestar.
- Ofereça-se para conversar sobre o trabalho. Explicar o seu argumento, as suas fontes e as suas escolhas demonstra autoria de um jeito que nenhum detector consegue.
- Peça a política escrita sobre o uso de IA e sobre resultados de detectores, e peça que a decisão não se baseie só no resultado de um detector.
Nos próximos trabalhos, escreva em um editor que guarda o histórico de versões e conserve as suas anotações. Isso não custa nada enquanto você trabalha, e essa evidência é difícil de reconstruir depois.
Como o Textumi define o seu limiar
O detector do Textumi é um desenvolvimento nosso: treinamos e ajustamos os modelos nós mesmos, rodamos esses modelos nos nossos servidores e seguimos aprimorando-os. O limiar, a linha acima da qual ele relata um sinal de IA, foi posicionado de propósito para que o menor número possível de textos humanos seja sinalizado, mesmo que alguns textos de IA passem despercebidos.
Em todos os idiomas além do inglês e do ucraniano, o limiar fica no ponto em que no máximo dois de cada cem textos humanos são sinalizados. Fazemos essa conta com textos humanos com os quais o modelo não aprendeu.
O limiar do ucraniano foi definido por uma versão anterior da mesma regra. O detector de inglês é um modelo mais antigo, com um limiar fixo próprio.
Essa é uma escolha sobre qual erro evitar, não uma promessa de precisão com o seu texto. As contas vêm de um único tipo de texto, a prosa de projetos da Wikimedia, então, em uma carta de apresentação ou em um e-mail curto, a parcela de textos humanos sinalizados pode ser maior.
Há uma segunda proteção. Uma nova versão do detector para qualquer um desses idiomas não é lançada se sinalizar mais de cinco textos humanos em cada cem, em textos de teste que ela nunca viu.
Abaixo do limiar, o resultado é “Escrito por humano” ou “Predominantemente humano”. Esses rótulos também são estimativas feitas a partir do estilo: o Textumi não consegue mostrar que uma pessoa com certeza escreveu um texto, porque um modelo não vê como ele foi feito.
Como ler um resultado sinalizado no Textumi
Comece pelos trechos destacados, não pelo rótulo abaixo do ponteiro. Se o sinal vem de um único parágrafo formal em uma redação pessoal, ele fala daquele parágrafo, não de você.
Para um texto com menos de 50 palavras, o Textumi não mostra rótulo, só “Texto curto demais para avaliar”, porque um julgamento com tão pouco texto não é confiável. Verifique um trecho mais longo do mesmo documento: a partir de 50 palavras, a estimativa fica mais confiável.
Se um trecho sinalizado realmente soar engessado, revise-o você mesmo ou peça ao Humanizer uma versão mais natural que mantenha o sentido. Isso muda a redação, não a história do texto, e outro detector ainda pode sinalizá-lo.
Perguntas frequentes
Um detector de IA pode errar?
Pode. Todo detector de IA às vezes sinaliza textos humanos e deixa passar textos de IA, porque julga apenas a redação e não consegue ver como o texto foi feito. O Textumi diz isso ao lado dos resultados: o rótulo é uma estimativa feita a partir do estilo do texto, não um veredito sobre quem o escreveu.
Por que o meu próprio texto foi sinalizado como IA?
Na maioria das vezes, porque ele é curto, formal, escrito em uma segunda língua ou foi editado muitas vezes. Textos assim usam uma redação previsível, e redação previsível é o que os detectores associam à IA. O alerta descreve as palavras na página e não diz nada de certo sobre como você trabalhou.
O resultado de um detector pode provar que usei IA?
Não. O resultado de um detector é um sinal estatístico, não uma evidência do que você fez. Ele nunca deve ser a única base para uma decisão sobre uma nota, um emprego ou uma publicação. Rascunhos, histórico de versões e uma conversa sobre o trabalho dizem muito mais sobre a autoria.
Corretores gramaticais e tradutores causam falsos positivos?
Podem causar. Correções pesadas e traduções trocam uma redação pessoal e irregular por outra mais lisa e padronizada, e textos traduzidos ou muito editados estão entre os que os detectores mais erram. Se você usou essas ferramentas, diga isso abertamente e guarde a versão que escreveu antes de usá-las.
Como posso mostrar que eu mesmo escrevi um texto?
Mostre como você trabalhou. O histórico de versões no Google Docs ou no Microsoft Word, os primeiros rascunhos, os roteiros e as anotações registram como o texto se desenvolveu. Depois, ofereça-se para conversar sobre o seu argumento e as suas fontes. O resultado de mais um detector acrescenta pouco, porque os detectores muitas vezes discordam entre si.
Qual é a taxa de falsos positivos do Textumi?
Não publicamos uma taxa única, porque ela depende do idioma, do gênero e do tamanho do texto. O que podemos informar é a regra: em todos os idiomas além do inglês e do ucraniano, o limiar fica no ponto em que no máximo dois de cada cem textos humanos com os quais o modelo não aprendeu são sinalizados. No seu tipo de texto, essa parcela pode ser diferente.
Professores devem confiar no resultado de um detector de IA?
Não como única base. Um resultado pode abrir uma conversa e apontar trechos que valem a discussão, mas não consegue estabelecer que um aluno usou IA. Alunos que escrevem em uma segunda língua ou em estilo formal são sinalizados com mais frequência, então uma decisão baseada só no resultado seria injusta com eles.