Detector de IA para professores: como usar o resultado com justiça

O que o resultado de um detector pode e não pode sustentar

Um detector compara um texto com padrões que aprendeu com textos humanos e de máquina e devolve um sinal do modelo. O Textumi resume o resultado em um de cinco rótulos: “Escrito por humano”, “Predominantemente humano”, “Misto: humano e IA”, “Predominantemente IA” e “Gerado por IA”.

Cada rótulo é uma estimativa feita a partir do estilo do texto, não uma conclusão sobre quem o escreveu. “Escrito por humano” não confirma que uma pessoa escreveu o texto, e “Misto” ou “Predominantemente IA” não mostra que parcela do texto uma máquina escreveu: o detector não mede isso. Nenhum rótulo é a probabilidade de que o aluno tenha usado IA.

Por isso, “Escrito por humano” não inocenta ninguém, e “Gerado por IA” não condena ninguém.

• Um resultado pode ajudar você a decidir quais trabalhos merecem uma leitura mais lenta e atenta do que os demais.
• Um resultado pode apontar trechos sobre os quais vale a pena perguntar quando você conversar com o aluno.
• Um resultado não pode estabelecer quem escreveu um texto e nunca deve ser a única base para tirar nota ou abrir um processo por má conduta.
• Um resultado não pode resolver uma divergência, porque o aluno não tem como discutir com um sinal do modelo com base em argumentos.

Os detectores erram nas duas direções: sinalizam textos humanos e deixam passar textos de IA. Em 2023, a OpenAI retirou o próprio classificador de textos de IA, alegando baixa precisão. Confronte o resultado de qualquer ferramenta com outras evidências.

Uma análise justa começa pela forma como o aluno escreveu

A evidência mais forte de autoria é a forma como um texto passou a existir, e um detector não vê nada disso. Quando um trabalho deixar você em dúvida, siga estes passos antes de formar uma opinião.

1. Leia o trabalho você mesmo primeiro e anote o que parece estranho: uma mudança de voz, fontes que não existem, afirmações que a disciplina nunca abordou.
2. Compare-o com trabalhos anteriores do mesmo aluno, de preferência algo escrito em sala: vocabulário, tamanho das frases, erros típicos.
3. Peça rascunhos, anotações e um esboço. Um documento escrito em um editor on-line costuma guardar um histórico de versões que mostra o texto crescendo ao longo de horas ou dias.
4. Converse com o aluno em particular e sem acusações. Peça que ele explique o argumento, conte como encontrou uma fonte ou diga por que montou um parágrafo daquele jeito.
5. Anote o que você analisou e o que encontrou, incluindo tudo o que pesa a favor do aluno.
6. Siga o procedimento da sua instituição e decida com base no conjunto das evidências, não em um único resultado de detector.

Um aluno que consegue mostrar rascunhos e discutir o trabalho em detalhes respondeu à pergunta que o detector levantou. Se não conseguir, pode vir uma conversa diferente, mas aí a conclusão se apoia nessa conversa e nos rascunhos, não no rótulo do detector.

Respostas curtas e alunos que escrevem em outra língua exigem cuidado redobrado

Um texto curto dá muito pouco material para um detector. O Textumi aceita textos a partir de 5 palavras, mas abaixo de 50 palavras mostra “Texto curto demais para avaliar” em vez de um rótulo, e mesmo uma resposta um pouco mais longa dá um resultado menos confiável do que uma redação completa. O Textumi só avalia separadamente parágrafos com 50 palavras ou mais, então uma resposta de um parágrafo ou uma postagem em fórum é curta demais para ser julgada por um detector.

Alunos que escrevem em uma segunda língua são sinalizados por engano com mais frequência. Em 2023, pesquisadores de Stanford constataram que os detectores classificavam como geradas por IA as redações de pessoas que não têm o inglês como língua materna com mais frequência do que as de falantes nativos. Um vocabulário menor e frases regulares parecem previsíveis para um modelo, e a previsibilidade é justamente o que um detector lê como escrita de máquina.

Leia os resultados com a mesma cautela em gêneros padronizados, como relatórios de laboratório e resumos, e em textos traduzidos, muito editados ou escritos em parte com a ajuda de alguém.

O idioma também importa. Os detectores de inglês e ucraniano do Textumi são os mais testados. Os outros dezoito idiomas foram treinados e testados com um conjunto mais restrito de textos. Francês, vietnamita, turco, indonésio e holandês muitas vezes deixam passar textos de IA de outros gêneros, então um resultado “Escrito por humano” ou “Predominantemente humano” nesses idiomas diz pouco.

Uma política curta da disciplina sobre IA e detecção

Os alunos lidam melhor com o assunto quando conhecem as regras antes da primeira atividade. Uma página, alinhada às normas da sua instituição, pode cobrir estes pontos.

• Quais usos de IA são permitidos na disciplina, quais não são e se a resposta muda de uma atividade para outra.
• Como os alunos devem declarar a ajuda de IA permitida, por exemplo em uma nota curta no fim do trabalho.
• Um pedido para guardar rascunhos, anotações e histórico de versões até as notas finais saírem, com o motivo do pedido.
• Que você pode usar um detector, que o resultado dele é um sinal e não prova e que nenhuma penalidade vai se basear apenas nele.
• O que acontece depois de uma sinalização: uma conversa em particular, uma análise dos rascunhos e o procedimento formal só se as dúvidas continuarem.
• Como o aluno pode manifestar uma preocupação ou recorrer se achar que foi sinalizado por engano.

Como verificar um texto no Textumi

1. Entre na sua conta do Textumi, abra o espaço de trabalho e escolha Detector de IA.
2. Cole o texto ou importe um arquivo DOCX, PDF, ODT, RTF, TXT ou MD de até 10 MB. O texto de uma captura de tela ou foto em PNG ou JPEG pode ser reconhecido, mas revise-o antes de verificar.
3. Deixe o idioma na detecção automática ou escolha-o você mesmo se o texto for curto ou misturar idiomas.
4. Selecione Analisar texto. Uma verificação aceita até 12.000 caracteres, então verifique um trabalho longo em partes.
5. Olhe o rótulo ao lado do original e os parágrafos destacados. Em um texto longo, os destaques não cobrem todos os parágrafos.

O detector é um desenvolvimento próprio do Textumi: nós criamos e ajustamos os modelos, e as verificações rodam nos nossos próprios servidores, sem passar o texto para um provedor de IA externo. Você pode usá-lo no espaço de trabalho na web, no app para macOS nos planos Individual e Profissional, ou pelo conector do Textumi, direto em uma conversa com o seu assistente de IA. Seguimos melhorando o detector e adicionamos regularmente ferramentas que facilitam o uso no dia a dia.

Quantas palavras você pode verificar depende do seu plano; a página de preços lista todas as cotas. Nos planos Individual e Profissional, os resultados ficam em um Histórico privado por 30 dias, e você pode excluí-los antes. Nos planos sem Histórico, você pode abrir um resultado por cerca de uma hora depois que ele termina; depois disso ele não fica mais disponível para você e é excluído em até 7 dias.

Abrir o Detector de IACompare os planosLeia a política de privacidade