Validade do Teste por Design: Uma Estrutura para o Teste de Essenciais™ do TOEFL®
2 de junho de 2021
Como um teste pode ser ao mesmo tempo uma medida válida e confiável de proficiência em inglês, ao mesmo tempo em que oferece aos candidatos uma experiência conveniente e amigável para os alunos? Por design. O recentemente lançado teste TOEFL® Essentials™ foi projetado especificamente para oferecer a combinação ideal – a qualidade que as instituições confiam e o acesso acessível que os candidatos desejam. Embora oferecer informações válidas e confiáveis não seja um conceito novo, o teste recentemente lançado realiza isso em um curto tempo, a um preço acessível, usando um formato que pretende ser amigável e envolvente para os candidatos. Junto com o lançamento do novo teste, vem uma publicação de 50 páginas, Design Framework for the TOEFL® Essentials™ Test 2021 (PDF), que exibe o conteúdo do teste e seus procedimentos de pontuação, além de apresentar uma agenda detalhada de pesquisa que apoia o uso das notas.
Como o framework apoia a validade das pontuações dos testes
A estrutura de design do teste foi publicada para mostrar às instituições que podem confiar no teste TOEFL Essentials devido à sua abordagem inovadora para o desenho do teste. O design do teste TOEFL Essentials é resultado da colaboração entre pesquisadores de aprendizagem de idiomas, desenvolvedores de conteúdo, psicometristas e líderes voltados para negócios do ETS dentro do programa TOEFL® . Também foi informado por contribuições de extensas pesquisas de mercado, incluindo quase 250 usuários de pontuação de instituições dos Estados Unidos, Canadá e Reino Unido e mais de 7.000 candidatos ao redor do mundo.
O novo teste inclui tarefas que foram testadas em piloto com milhares de candidatos ao redor do mundo e abrangem duas dimensões-chave da proficiência linguística: aspectos fundamentais da competência linguística e a habilidade comunicativa baseada em tarefas em contextos acadêmicos e do dia a dia. Ao combinar essas dimensões-chave, o teste TOEFL Essentials mede o que os candidatos podem fazer ao usar inglês, não apenas seu conhecimento de inglês. Diferente das tarefas limitadas e inautênticas encontradas em outros testes de idiomas realizados em casa, as tarefas do teste TOEFL Essentials são projetadas para fornecer informações diretas sobre o quão bem-sucedidos os candidatos serão no mundo real. Por exemplo, os candidatos precisarão contribuir para uma conversa focada na academia ou escrever para seus professores e amigos.
Além de sua abordagem ao design de testes, o TOEFL Essentials também conta com uma metodologia inovadora de teste adaptativo em múltiplos estágios. Essa metodologia permite uma medição eficiente da proficiência linguística, administrando as seções de escuta, leitura e escrita em duas partes para melhor corresponder à habilidade linguística individual dos examinadores. A primeira parte contém tarefas de teste de dificuldade média, e as respostas a essa parte determinam a dificuldade das tarefas da segunda parte. Diferente dos testes caseiros que dependem da adaptividade "na hora", a metodologia adaptativa multiestágio do teste TOEFL Essentials nos permite realizar tarefas robustas de comunicação, montadas para cada etapa por especialistas especialistas em avaliação e direcionadas ao nível de proficiência do candidato.
Um legado de pesquisa
A estrutura de design do teste apresenta diversas razões pelas quais os usuários podem confiar no teste, além de suas evidências de validade. Com procedimentos abrangentes de segurança, informações transparentes de pontuação e inclusão de uma Declaração Pessoal em Vídeo, esses elementos tornam o teste TOEFL Essentials um teste confiável e amigável para quem faz testes para demonstrar suas habilidades em inglês. Por mais de 50 anos, a Família de Avaliações TOEFL tem sido respaldada por pesquisas rigorosas e de alta qualidade, e o teste TOEFL Essentials não é exceção. Como todos os outros testes da Família de Avaliações TOEFL, o programa de pesquisa do TOEFL Essentials aborda todas as etapas do desenvolvimento do teste, interpretação e uso de pontuação. O programa de pesquisa segue uma abordagem baseada em argumentos para validação de testes, apresentada em uma série de perguntas que determinam as evidências empíricas que devem ser coletadas. Este programa de pesquisa é supervisionado pelo Comitê de Examinadores (COE) do TOEFL, um painel de 11 especialistas de todo o mundo, cada um dos quais alcançou reconhecimento profissional em uma área acadêmica relacionada ao ensino, aprendizagem e avaliação do inglês como segunda língua ou língua estrangeira.
Para saber mais sobre o teste TOEFL Essentials, visite https://www.ets.org/toefl/score-users/essentials/about.html.
Spiros Papageorgiou é pesquisador sênior de gestão na ETS.