TOEFL iBT Nos Bastidores: Avaliando os Processos de Escrita dos Alunos em Tempo Real

Nesta entrevista, Ching-Ni Hsieh, Cientista Sênior de Medição, e Renka Ohta, Gerente Sênior de Projetos de Pesquisa, discutem sua pesquisa recente, Processos de Escrita em Segunda Língua no Teste TOEFL iBT®: Examinando a Tarefa de Escrita para uma Discussão Acadêmica Usando Rastreamento Ocular, Registro de Teclas e Recordação Estimulada, com John Clark, do TOEFL

Claro. A resposta escrita de um aluno a uma tarefa de escrita nos diz o que ele escreveu, mas não nos diz como ele chegou lá. Dois alunos podem receber as mesmas notas em redações ou produzir respostas de qualidade semelhante, mas podem seguir caminhos muito diferentes ao escrever.

Dados comportamentais, como movimentos oculares e eventos de digitação, podem fornecer uma janela para a alocação de atenção e os processos de tomada de decisão dos examinadores, que ficam invisíveis nas respostas finais escritas.

No nosso estudo, enquanto os participantes respondiam à tarefa TOEFL iBT Write for an Academic Discussion (à qual demos a encantadora sigla "WAD") no computador, colocamos um rastreador ocular Tobii abaixo do monitor para acompanhar seus movimentos oculares.

O rastreador ocular é um dispositivo que utiliza tecnologia de sensores para medir onde os escritores estão olhando e como seus olhos se movem. Também usamos o software de rastreamento ocular Tobii Pro Lab para gravar e criar um vídeo que incorporava eventos de escrita na tela – como textos escritos e cliques do mouse – com seus movimentos oculares sobrepostos.

Os dados de rastreamento ocular nos permitiram ver onde os escritores estavam olhando, como seus olhos mudavam, quanto tempo passavam olhando para diferentes partes da tarefa e como revisavam seus textos.

Usamos o mecanismo de registro de teclas do ETS para registrar todas as atividades no teclado enquanto cada escritor digitava. Esses dados são então compilados em um registro de teclas que contém informações ricas sobre o comportamento de digitação dos escritores, incluindo pausas entre palavras ou frases, exclusão de textos escritos ou inserção de novos textos.

Depois que os participantes terminaram de escrever, os entrevistamos. Assistimos à gravação em vídeo feita pelo software de rastreamento ocular Tobii, que incluía os processos de escrita na tela dos participantes e mapas de calor que indicavam para onde sua atenção visual era direcionada. Pedimos que conversassem sobre o que estavam pensando enquanto respondiam à tarefa, especialmente em momentos interessantes, como uma pausa longa ou uma revisão.

Fizemos perguntas aos participantes em seus idiomas nativos sempre que possível para que pudessem compartilhar seus pensamentos com mais facilidade. As explicações deles nos ajudaram a conectar seus comportamentos observáveis de digitação e movimentos oculares com os processos de pensamento por trás deles.

Na avaliação, um construto refere-se às habilidades ou destrezas que um teste foi projetado para medir. A validade do construto pergunta se um teste mede essas habilidades pretendidas. Para a seção de Redação do TOEFL iBT, o conceito alvo é proficiência em escrita acadêmica.

Uma fonte importante de evidência de validade de construtos é se os candidatos se envolvem com os tipos de processos de escrita relevantes para a escrita acadêmica. Se os candidatos conseguirem obter altas notas confiando principalmente em processos cognitivos ou estratégias não relacionadas à habilidade acadêmica pretendida, então as pontuações podem não refletir com precisão sua proficiência em escrita acadêmica.

Sim, nossos achados fornecem evidências que apoiam a validade do construto da tarefa WAD. Nos dados de rastreamento ocular, registros de teclas e respostas a entrevistas, nossos participantes participaram do planejamento, formulação da linguagem, monitoramento e revisão. Esses processos são centrais para modelos estabelecidos de escrita e relevantes para a proficiência na redação acadêmica.

Essa evidência sugere que a tarefa estimula os processos de escrita pretendidos, o que fortalece a interpretação de que as pontuações do TOEFL iBT Writing refletem as habilidades acadêmicas de escrita que o teste visa avaliar.

O modelo de Kellogg é um dos modelos cognitivos mais influentes da escrita. Ele descreve a escrita como um conjunto de processos interativos, incluindo planejamento de ideias, tradução dessas ideias para linguagem, produção de texto e revisão do que foi escrito. O modelo já foi usado em estudos anteriores sobre tarefas de escrita do iBT do TOEFL, então o consideramos uma estrutura útil para examinar se a tarefa WAD envolve processos importantes de escrita.

Também escolhemos esse modelo porque ele dá atenção explícita à formulação, ou seja, ao processo de transformar ideias em palavras e frases. Esse aspecto é especialmente importante para os candidatos ao TOEFL iBT, que escrevem em um segundo idioma ou em outro idioma e podem precisar dedicar atenção significativa ao vocabulário, gramática e construção de frases.

Nossos dados mostraram que os participantes participaram do planejamento, formulação da linguagem, monitoramento e revisão durante toda a tarefa do WAD. Muitos participantes leram e releram o prompt, geraram ideias, buscaram vocabulário apropriado, construíram frases, verificaram se suas respostas atendiam aos requisitos da tarefa e fizeram edições para melhorar a precisão ou clareza. Esses comportamentos estão alinhados de perto com o modelo cognitivo de escrita de Kellogg.

Nossas descobertas também destacaram a natureza recursiva da escrita. Os participantes não completaram esses processos um de cada vez ou em sequência linear. Em vez disso, eles alternavam entre leitura, planejamento, escrita e revisão, o que é consistente com a visão de Kellogg da escrita como um processo dinâmico e interativo.

A tarefa WAD difere das tarefas tradicionais de redação de opinião, como a tarefa aposentada do TOEFL iBT Independent Writing, que ela substituiu. Os candidatos precisam ler a pergunta do professor, considerar as respostas de dois alunos, decidir como querem contribuir para a discussão online e escrever uma resposta em até 10 minutos.

Esses recursos de design exigem que os candidatos dividam sua atenção entre múltiplas fontes de informação, ao mesmo tempo em que geram e expressam suas próprias ideias. Por exemplo, nossos resultados de rastreamento ocular mostraram que os participantes mudavam repetidamente a atenção entre os materiais do prompt e a área de escrita. Nesse sentido, a tarefa impõe demandas cognitivas distintas aos candidatos ao exigir que eles coordenem leitura, planejamento, escrita e autoavaliação dentro de um formato dinâmico de discussão online.

Esses processos se assemelham a muitas formas de comunicação escrita que os estudantes podem encontrar em ambientes acadêmicos modernos. E a tarefa também apoiava diferentes estratégias de resposta. Em nossas entrevistas, por exemplo, alguns participantes explicaram que tentaram contribuir introduzindo uma nova ideia que os dois posts dos estudantes não haviam mencionado, enquanto outros optaram por concordar com os outros alunos e construir sobre o que haviam lido.

Não, não existe uma resposta certa ou errada baseada nas ideias específicas que eles escolhem expressar. A rubrica de avaliação de tarefas do WAD foca no uso da linguagem, desenvolvimento de ideias e em como os candidatos respondem de forma clara e eficaz à discussão.

Os candidatos não são avaliados para se apresentam ideias completamente novas. Eles podem construir sobre as ideias já apresentadas nas respostas de exemplo, desde que contribuam de forma significativa e expressem seus pontos de vista de forma clara. 

Processamento de prompts refere-se a como os escritores leem, interpretam e utilizam os materiais da tarefa antes e durante a escrita. Na tarefa do WAD, isso inclui entender a pergunta do professor, considerar os dois exemplos de posts dos alunos, decidir como a contribuição deve se conectar à discussão e, às vezes, revisitar os materiais do enunciado durante a composição.

Uma descoberta interessante do nosso estudo é que o processamento rápido não ocorreu apenas no início da tarefa. Os participantes frequentemente retornavam aos materiais de enunciado várias vezes durante o processo de escrita.

Concluímos que o processamento de prompts não é apenas uma atividade de pré-escrita; Em vez disso, funciona como uma parte contínua do planejamento e ajuda a orientar outras decisões de escrita, como selecionar ideias relevantes, posicionar a resposta e monitorar o quão bem a resposta cumpre os requisitos da tarefa.

Esse é um dos principais desafios no desenho de avaliações. Se um enunciado for muito simples, pode não provocar pensamentos relacionados à escrita suficientes para fornecer fortes evidências de habilidade acadêmica para escrita. Se for muito complexo, os candidatos podem dedicar esforço excessivo para entender o prompt, então a tarefa pode começar a medir a compreensão de leitura ou interpretação da tarefa, em vez da capacidade de escrita.

Nossas descobertas sugerem que prompts eficazes devem convidar os escritores a se envolverem em processos-chave de redação, como planejamento, formulação, monitoramento e revisão, mantendo-se claros e acessíveis. O objetivo é projetar tarefas de avaliação que permitam aos candidatos demonstrar sua habilidade de escrita sem introduzir barreiras desnecessárias ou dificuldades irrelevantes para a construção.

Faz sentido! Agradeço muito essa análise profunda da sua pesquisa – é divertido ver quanto tempo e energia são dedicados a cada tarefa do TOEFL iBT.

Obrigado.