Como o detector de IA do Textumi é criado e testado

Um classificador para cada idioma

O ucraniano e os dezoito idiomas adicionados depois compartilham um mesmo codificador multilíngue, um modelo que transforma texto em números. O codificador é congelado, ou seja, os seus pesos nunca mudam. Sobre ele fica um pequeno classificador treinado para um único idioma.

Um texto longo é lido em janelas consecutivas, e os resultados são combinados em uma única pontuação para o texto inteiro. Até três parágrafos de 50 palavras ou mais também recebem uma pontuação separada, e são esses os trechos que o detector destaca.

O inglês tem um modelo mais antigo e separado: um codificador próprio para inglês, também congelado, classificadores que o Textumi treinou sobre ele e um segundo modelo cujo sinal é combinado com o deles por uma regra fixa.

Um texto é sempre avaliado pelo classificador do seu próprio idioma. Um idioma sem classificador aprovado recebe uma mensagem de erro, nunca uma pontuação emprestada de outro idioma.

De onde vêm os textos de treinamento

Os textos humanos dos dezoito idiomas vêm de projetos da Wikimedia: notícias do Wikinotícias, artigos da Wikipédia e páginas de discussão da Wikipédia. Hindi, indonésio, vietnamita, hebraico e dinamarquês não têm Wikinotícias, então livros didáticos do Wikilivros ocupam o lugar dele.

Cada texto é um parágrafo completo de prosa, de 80 a 280 palavras, tirado da última revisão da página feita antes de 2020. A data é a evidência de que uma pessoa o escreveu. Nenhum texto é rotulado como humano porque outro detector disse que era.

Esboços gerados por programas e avisos repetidos de página em página são filtrados. Os filtros reduzem esse material, mas não conseguem pegar até o último caso.

Cada texto humano tem um equivalente de IA sobre o mesmo assunto, no mesmo gênero e idioma e com tamanho parecido. Dois modelos de IA de uso amplo, de provedores diferentes, escreveram esses equivalentes, cada um para metade das fontes. Respostas cortadas, que copiavam a fonte ou que não eram prosa simples foram descartadas.

O corpus ucraniano é mais antigo: ele reúne textos históricos da Wikimedia e textos de IA de um único modelo. Nenhum texto de clientes é usado para treinar qualquer detector.

Um teste lacrado, aberto uma vez por versão

Os textos são agrupados por fonte, de modo que os capítulos de um mesmo livro didático ou os arquivos de uma mesma página de discussão fiquem juntos. Os grupos são divididos uma única vez em três partes: treinamento, calibração e teste. Um texto humano e o seu equivalente de IA sempre caem na mesma parte.

O teste reúne cerca de 200 grupos de fontes. Ele fica lacrado enquanto o classificador é escolhido e o seu limiar é definido, e só então é aberto, uma única vez.

Se a versão for reprovada, esse teste não é usado de novo. Os textos dele passam a ser dados de treinamento, e a versão seguinte é testada com novos grupos de fontes que nenhuma versão anterior viu. Isso nos impede de ajustar um classificador até que ele, por acaso, se encaixe na própria prova.

Como o limiar e os rótulos do resultado são definidos

Nos dezoito idiomas, o limiar fica no ponto em que no máximo 2 de cada 100 textos humanos são sinalizados. Essa conta é feita com textos humanos com os quais o classificador não aprendeu, o que, nas primeiras versões, significava a parte de calibração.

As versões criadas depois de 12 de outubro de 2026 fazem essa conta com todos os textos fora do teste, cada um avaliado por um classificador que nunca viu o grupo de fontes dele. O limiar é congelado antes de o teste ser aberto.

Essa regra mantém de propósito os alarmes falsos raros e aceita que mais textos de IA passem despercebidos. Ela não transforma a pontuação em uma probabilidade.

O limiar de cada classificador é posicionado em 0,5 na escala do modelo, que vai de 0 a 1. Esse ponto é a linha de sinal. No textumi.com, a pontuação aparece sem número: um ponteiro em um medidor que vai de “Humano” a “IA” e um de cinco rótulos.

Um texto com menos de 50 palavras não recebe rótulo: em vez disso, o Textumi mostra “Texto curto demais para avaliar”. Todo rótulo é uma estimativa feita a partir do estilo do texto, não uma parcela medida de texto de IA nem prova de autoria. Um assistente de IA conectado por MCP recebe a própria pontuação, em número.

O critério que uma versão precisa cumprir antes do lançamento

Uma versão para um dos dezoito idiomas só é oferecida se o teste dela tiver pelo menos 150 textos humanos e 150 de IA e se as três condições a seguir forem cumpridas nesse teste:

• no máximo 5% dos textos humanos são sinalizados, para que os alarmes falsos continuem poucos;
• pelo menos 60% dos textos de IA são encontrados no teste como um todo;
• pelo menos 50% dos textos de IA são encontrados em cada domínio do corpus: notícias ou livros didáticos, artigos de enciclopédia e discussões.

Antes da aprovação, o classificador exportado é carregado pelo mesmo código que atende às solicitações, e as pontuações dele são comparadas com as que ele produziu no treinamento.

Um idioma cuja versão não cumpre o critério não é oferecido. O tcheco não cumpriu, por isso o Textumi não oferece o tcheco.

O holandês é a única exceção. A versão atual ficou um pouco abaixo do critério: encontrou 59,8% dos textos de IA, quando o exigido é 60%, e 49,4% nos artigos de enciclopédia, quando o exigido é 50%. O Textumi decidiu oferecê-lo mesmo assim e não alterou a regra.

O que uma versão lançada informa

Uma versão lançada cumpriu a regra uma vez, com prosa da Wikimedia e textos de dois modelos de IA. Isso descreve como ela se comporta com esse tipo de material. Não garante precisão com outros textos nem fornece uma probabilidade calibrada de autoria.

Os detectores de inglês e ucraniano são os que estão em uso há mais tempo. O classificador ucraniano foi testado com 200 textos humanos e 198 de IA vindos de 200 grupos de fontes, e o modelo inglês com um pequeno conjunto reservado de 80 textos humanos e 20 de IA. As pontuações deles também são sinais não calibrados.

O que os testes não cobrem

• Outros gêneros. Em um pequeno conjunto de textos de IA de outros tipos, como avisos, reclamações e instruções, os detectores de francês, vietnamita, turco e indonésio deixaram passar a maioria deles, e os de sueco e holandês, cerca de metade. Português, árabe, polonês, alemão, italiano, norueguês bokmål e dinamarquês não foram verificados com outros gêneros.
• Textos curtos. Os trechos de treinamento têm pelo menos 80 palavras. Abaixo de 50 palavras o Textumi não dá rótulo, e o resultado de um texto um pouco acima disso continua menos confiável em todos os idiomas.
• Autoria mista e textos editados. O corpus reúne textos inteiramente humanos e inteiramente de IA, então um rascunho de IA editado ou um texto humano cuidadosamente polido fica fora do que foi testado.
• Outros modelos de IA. Os textos de IA do corpus vêm de dois modelos, e textos de qualquer outro gerador não fizeram parte do teste.
• Inglês em grande escala. O modelo inglês foi verificado com um conjunto muito menor que o dos detectores dos outros idiomas.

Por que textos humanos são sinalizadosCada idioma e a sua situação

Como as versões mudam

Cada classificador tem um número de versão. Uma nova versão significa uma nova divisão do corpus e um novo teste lacrado, e qualquer mudança em um limiar exige uma validação própria e um registro de versão.

O Textumi segue trabalhando na qualidade do detector, e cada nova versão passa pela mesma regra. Uma versão é avaliada apenas com fontes que nunca viu, e cada lançamento é uma decisão à parte. Quando o método muda, esta página e a data dela mudam junto.