Ferramentas que sinalizam texto gerado por IA podem ser úteis, mas cautela é essencial.
À medida que os estudantes recorrem cada vez mais às ferramentas de IA para ajudar com suas tarefas, professores e professores foram convidados a assumir um novo papel — detetives em missão de garantir a integridade acadêmica. Foi um aluno ou o ChatGPT quem escreveu a redação? Detectores de IA vieram ao resgate, ajudando educadores a identificar textos gerados por IA nas submissões dos alunos. No entanto, essas ferramentas estão longe de ser perfeitas.
Como cientista que estudou extensivamente detectores de ensaios gerados por IA desde que foram desenvolvidos, devo reiterar: nenhum detector de IA alcança precisão perfeita. Detectores diferentes podem classificar erroneamente ensaios — seja sinalizando erroneamente a escrita humana autêntica como gerada por IA ou falhando completamente em captar conteúdo gerado por IA — destacando a necessidade de uso cuidadoso e escrutínio.
Informados pelas pesquisas que meus colegas e eu realizamos no início deste ano, aqui estão algumas dicas sobre como professores e professores podem usar detectores de IA de forma responsável.
Leia o rótulo. Nenhum detector de IA é infalível. Ao usar uma ferramenta específica, esteja atento à precisão da detecção que ela reporta. Por exemplo, a OpenAI afirmou que seu próprio detector identificava corretamente o texto gerado por IA apenas 26% das vezes e sinalizava erroneamente o texto escrito por humanos como gerado por IA 9% das vezes; eles desligaram a ferramenta seis meses depois.
O comprimento do texto importa. Textos mais longos geralmente produzem resultados mais confiáveis com detectores de IA. Em outras palavras, determinar se uma única palavra ou uma frase curta foi gerada por IA é praticamente impossível. Nosso estudo sugeriu que um texto de 50 palavras é um requisito mínimo para detecção confiável.
Detectores de IA não sinalizam de forma confiável conteúdo co-criado por humanos e IA. A definição e detecção de texto gerado por IA se torna ambígua quando humanos e IA colaboram. É importante estabelecer diretrizes claras para os alunos sobre quanto conteúdo gerado por IA é permitido em cada tarefa e por que precisam declarar como usaram a IA em suas contribuições.
Atenção: detectores podem ser tendenciosos. Detectores de IA, provavelmente por causa da forma como são treinados, às vezes podem apresentar vieses contra alguns grupos demográficos sem padrões claramente previsíveis. Portanto, aconselho a não confiar apenas nos resultados dos detectores de IA ao tomar decisões de alto risco.
Use mais de uma ferramenta para melhorar a consistência dos resultados. Detectores de IA diferentes podem gerar resultados variados para o mesmo texto. Usar múltiplos detectores e cruzar suas saídas pode fornecer uma avaliação mais abrangente.
Não confie apenas em detectores baseados em texto. Considere fontes adicionais de informação, como dados de teclas ou gravações de vídeo do processo de escrita, além das saídas dos detectores para tomar decisões mais informadas.
A tecnologia de IA continuará a evoluir, e os alunos inevitavelmente incorporarão ferramentas de IA em seus estudos. Meus colegas e eu gostamos de trabalhar no TeachAI, e esperamos por mais oportunidades para ajudar educadores enquanto apoiam o uso de tecnologia em evolução por seus alunos para terem sucesso na escola e na vida.
Jiangang é diretor de pesquisa e se especializa na avaliação de habilidades complexas como resolução colaborativa de problemas, criatividade, curiosidade e alfabetização digital.