Avaliação Essencial™ do TOEFL® : Projeto e Desenvolvimento de um Novo Teste
16 de junho de 2021
Cada novo teste no ETS é criado por meio de um processo cuidadoso de design e desenvolvimento. A mais recente adição à Família de Avaliações do TOEFL® , o teste TOEFL® Essentials™, não é exceção. Conforme detalhado no Framework de Design para o Teste TOEFL® Essentials™ 2021, o teste TOEFL Essentials é uma avaliação digital de proficiência em inglês que busca maximizar a eficiência, enfatizando a capacidade dos candidatos de se comunicarem em inglês. Utilizando um design adaptativo de teste em múltiplos estágios, ele também permite medir toda a gama de proficiência do Marco Europeu Comum de Referência. Aqui, destacamos os papéis importantes desempenhados pelo rigoroso design de tarefas e pelas práticas especializadas de desenvolvimento de testes na criação de um novo teste.
Abordagem do ETS para o design de tarefas de avaliação
As tarefas que compõem o novo teste TOEFL Essentials foram projetadas com base em princípios baseados em tarefas para captar o que os candidatos podem fazer em inglês, e não apenas o conhecimento do idioma. Isso é especialmente importante quando usamos um teste como esse para prever o quão bem-sucedidos os candidatos serão no mundo real, onde precisam se comunicar efetivamente em inglês.
Vamos pegar as tarefas de escrita no teste TOEFL Essentials para ilustrar nossa abordagem ao design de tarefas de avaliação. As tarefas de escrita são projetadas para dar aos candidatos um propósito e público para escrever, ao mesmo tempo em que refletem o que eles encontram no mundo real. Por exemplo, escrever uma ou duas frases para descrever uma imagem é uma tarefa de teste bastante típica, que não tem propósito ou público. A mesma tarefa de descrição de imagem se torna muito mais envolvente e significativa quando os candidatos se imaginam postando a imagem em suas próprias redes sociais e escrevendo uma descrição detalhada sobre suas experiências relacionadas. Essas tarefas podem nos dizer muito sobre o que os candidatos podem fazer em inglês.
Essas tarefas de escrita também são projetadas para serem o máximo eficaz em avaliar as habilidades de escrita dos candidatos em diferentes níveis de proficiência. Por exemplo, a tarefa de publicação em redes sociais demonstra por pesquisas distinguir efetivamente entre alunos em níveis iniciais de proficiência. No entanto, sua eficácia é limitada para candidatos em níveis mais altos, pois todos provavelmente conseguem se sair bem. Para esses alunos com maior proficiência, a tarefa de discussão acadêmica é muito mais eficaz, pois desafia os candidatos ao exigir um uso mais sofisticado da linguagem (por exemplo, vocabulário, gramática, marcadores de discurso) para concluir com sucesso a tarefa, e, como resultado, distingue entre suas habilidades. No geral, as tarefas de escrita (e outras tarefas) no teste TOEFL Essentials são projetadas para captar o que os candidatos podem fazer em inglês, fornecer contexto claro e propósito para se comunicar em inglês, e permitir a máxima distinção entre aprendizes em diferentes níveis de proficiência. Todas essas características otimizam a eficácia do teste e apoiam interpretações precisas das habilidades em inglês dos candidatos.
Aproveitando a expertise líder em desenvolvimento de avaliações
Utilizando esses tipos de princípios de design, especialistas em avaliação da ETS desenvolveram novas tarefas nas quatro habilidades (escuta, leitura, escrita e fala) avaliadas pelo teste TOEFL Essentials. Assim como o processo de design foi em múltiplas etapas (ou seja, uma etapa de protótipo, um teste piloto e um teste de campo), o desenvolvimento do novo conteúdo de teste também envolve um processo complexo e em múltiplas etapas. O objetivo geral desse processo de desenvolvimento é garantir que o conteúdo gerado atenda aos padrões de qualidade e justiça da ETS e resulte em experiências de realização de testes semelhantes em conteúdo, dificuldade e nível de engajamento.
Especialistas em avaliação estão no centro desse processo e o lideram do início ao fim. Especialistas em avaliação, membros-chave da equipe de teste TOEFL Essentials, são especialistas em sua área que foram treinados em aprendizagem de idiomas ou assuntos relacionados em nível universitário, e a maioria já lecionou em escolas, faculdades ou universidades internacionais do ensino fundamental e médio. Muitos especialistas em avaliação são eles próprios aprendizes de inglês que obtiveram diplomas de pós-graduação em universidades onde o inglês é a língua de instrução.
Durante todo o processo de desenvolvimento de conteúdo, os especialistas em avaliação seguem especificações detalhadas. Essas especificações são geradas durante as etapas de design do teste e são usadas para a criação e revisão de cada tarefa ou item do teste. Por exemplo, as tarefas de redação no teste TOEFL Essentials possuem especificações claras sobre o tipo e comprimento dos textos, instruções para o candidato, áudio, gráficos e fotos utilizados. Após a elaboração das tarefas do teste, elas recebem múltiplas revisões detalhadas de diferentes especialistas em avaliação, além de revisões editoriais e de justiça separadas.
Integrando tecnologia para o desenvolvimento de avaliações
Uma ampla gama de ferramentas tecnológicas de ponta é utilizada para auxiliar o processo de desenvolvimento de testes e torná-lo mais eficiente. Por exemplo, uma plataforma abrangente é usada por especialistas em avaliação para gerar, revisar e armazenar itens. Para alguns tipos de itens, os especialistas em avaliação também utilizam uma capacidade tecnológica proprietária, chamada Criação Assistida por Tecnologia de Itens (TAIC), para facilitar o processo de desenvolvimento de itens. O TAIC integra especificações de conteúdo de tarefas e parâmetros de dificuldade especificamente desenvolvidos para o teste TOEFL Essentials. É importante notar, no entanto, que após o conteúdo desses itens ser gerado pelo TAIC, ele passa pelo rigoroso processo de revisão em múltiplas etapas realizado pelos especialistas em avaliação para garantir que os itens desenvolvidos atendam aos padrões e expectativas do ETS antes mesmo de serem apresentados ao candidato do teste.
Essas práticas cuidadosas e rigorosas de design e desenvolvimento são o que torna o novo teste TOEFL Essentials um teste válido e confiável, fornecendo informações confiáveis sobre a capacidade dos candidatos de usar o inglês para fins de comunicação.
Para saber mais sobre o novo teste TOEFL Essentials, visite https://www.ets.org/toefl/score-users/essentials/about.html
Pablo Garcia Gomez é designer de avaliações na ETS. Shoko Sasayama é cientista associada de pesquisa na ETS.