Como funciona o motor e-rater

Ao avaliar ensaios, o motor e-rater^® irá:

• Valide que as funcionalidades não são apenas preditivas da pontuação do leitor, mas também têm alguma relevância lógica para o prompt de escrita
• Marcar automaticamente respostas que estão fora do tema ou são inconsistentes, para que possam ser deixadas de lado para revisão
• Combine as características de pontuação em um modelo estatístico para produzir uma estimativa final de pontuação

O motor e-rater está sendo continuamente desenvolvido e aprimorado, com o objetivo de ampliar sua capacidade de modelar aspectos importantes e desafiadores da proficiência em escrita. Pesquisas contínuas visam aprimorar as capacidades do motor e-rater para que ele possa identificar e avaliar a estrutura de um argumento em um ensaio, bem como avaliar o uso criativo da linguagem na escrita de alunos e candidatos a testes.

Recursos do e-rater

As funcionalidades usadas para a pontuação do e-rater são resultado de quase 2 décadas de pesquisa em Processamento de Linguagem Natural no ETS, e cada característica pode ser composta por sub-características independentes. Também foi realizado trabalho para estabelecer uma escala verticalmente vinculada das pontuações de escrita do ensino fundamental ao médio entre os anos, com base no motor do e-rater, conhecida como Escala de Escrita Desenvolvimental.

As características do motor de pontuação do e-rater atualmente incluem:

• Análise de conteúdo baseada em medidas de vocabulário
• Complexidade/dicção lexical
• Proporção de erros gramaticais, de uso e mecânicos
• Proporção dos comentários de estilo
• Organização e Pontuações de Desenvolvimento
• Fraseologia idiomática gratificante

O ajuste de recursos para atribuir uma pontuação total a um ensaio pode ser adaptado a um prompt específico ou de forma "genérica", permitindo que o mesmo modelo de avaliador eletrônico seja usado para avaliar uma variedade de respostas de prompt.

Acordo de pontuação

Para tarefas apropriadas para o motor e-rater (tarefas de redação em tamanho de ensaio avaliadas pela qualidade da redação, e não pela correção das afirmações feitas na resposta), o acordo com avaliadores humanos pode ser muito forte. Como Attali, Bridgeman & Trapani descobriram em 2010, no Automated Essay Writing with e-rater v2.0 (PDF), o acordo do motor e-rater com um avaliador humano nas tarefas TOEFL^® Independent e GRE^® Issue era maior do que o acordo entre dois avaliadores humanos independentes.