A Base Psicométrica do Teste Essencial™ do TOEFL®
8 de dezembro de 2021
O teste TOEFL® Essentials™ foi desenvolvido para fornecer informações válidas e confiáveis sobre a proficiência em inglês do candidato, utilizando um design voltado para seu nível de proficiência, com um formato amigável e envolvente, que exige um breve tempo de realização do teste. A base psicométrica e a abordagem usada para medir os níveis de proficiência em inglês dos examinadores são fundamentais para garantir a medição precisa das habilidades em inglês do candidato. Uma discussão mais abrangente sobre a psicometria subjacente ao teste TOEFL Essentials é fornecida no Design Framework para o TOEFL® Essentials™ Test 2021.
Utilizando uma abordagem adaptativa multiestágio para medição
Para proporcionar medições de alta qualidade, precisas e eficientes em uma ampla gama de níveis de proficiência linguística, as seções de Escuta, Leitura e Escrita do teste TOEFL Essentials são projetadas como testes adaptativos multiestágio (MSTs). Ou seja, cada teste é composto por duas partes (estágios), nas quais o desempenho da primeira parte é alinhado às tarefas entregues na segunda parte. Uma vantagem chave da abordagem MST é que ela permite a montagem direcionada do conteúdo do teste, combinada com uma rigorosa revisão psicométrica e especialista em avaliação de todas as seções antes da administração. Além disso, essa abordagem facilita a incorporação eficiente do desenho baseado em tarefas visto em todos os testes da Família de Avaliações do TOEFL, pelo qual as tarefas do teste refletem aqueles que os candidatos provavelmente encontrarão ao usar o inglês em contextos acadêmicos e do dia a dia.®
Aplicação do MST no teste TOEFL Essentials
O MST para cada seção do teste TOEFL Essentials, com exceção da seção de Expressão Oral, consiste em duas partes. A primeira parte, ou estágio, entregue aos candidatos consiste em tarefas consideradas de dificuldade média, enquanto a segunda parte contém tarefas em um nível de dificuldade que "se adapta" conforme o desempenho na primeira parte. Por exemplo, se um candidato se sair muito bem na primeira parte da seção de Escuta, a segunda parte da seção de Escuta apresentada ao candidato terá um nível de dificuldade mais alto.
O conteúdo da segunda etapa para as seções de Compreensão Auditiva e Leitura é classificado em três níveis de dificuldade (baixo, médio e alto). Para a seção de Redação, a segunda etapa é classificada em dois níveis de dificuldade (baixo e médio/alto), com tarefas de teste na segunda fase de dificuldade média/alta, projetadas para serem acessíveis a indivíduos de uma ampla gama de critérios de proficiência e avaliação que diferenciam entre níveis médios e altos.
Em contraste com as seções de Escuta, Leitura e Escrita, a seção de Expressão Oral emprega uma abordagem não adaptativa, ou linear, onde todos os candidatos recebem as mesmas perguntas durante todo o teste, com tarefas projetadas para serem acessíveis em uma ampla gama de proficiências, com muitas oportunidades para o candidato demonstrar suas habilidades de fala. Uma variedade de dificuldades combinada com múltiplas oportunidades de medição torna possível cobrir toda a gama de proficiência linguística sem a necessidade de etapas separadas.
Empregando métodos psicométricos e estatísticos inovadores
Para cada seção de teste, são empregadas metodologias psicométricas e estatísticas estabelecidas e inovadoras para ajudar a garantir consistência na dificuldade do teste e comparabilidade das pontuações entre as versões. Em cada uma das quatro seções do teste, os candidatos podem receber pontuações que variam de 1 a 12. A pontuação das seções de Compreensão Auditiva, Leitura e Escrita leva em consideração o desempenho nas duas partes, bem como o nível de dificuldade. As pontuações da seção de Expressão Oral são baseadas no desempenho geral em todas as tarefas.
É importante notar que todos os aspectos desses projetos de teste TOEFL Essentials são guiados pelo rico legado da pesquisa e desenvolvimento do ETS no campo de psicometria e testes de linguagem, incluindo inovação no design e implementação do MST para avaliações em larga escala. Como em todas as avaliações do ETS, os Padrões ETS de Qualidade e Justiça e testes piloto extensivos com uma ampla variedade de candidatos informaram os detalhes e a implementação do design final para melhor atender às necessidades dos examinadores e usuários de pontuação, mantendo a integridade psicométrica das pontuações. O monitoramento estatístico e os estudos de pesquisa estarão em andamento após o lançamento para apoiar a validade e confiabilidade contínuas das pontuações dos testes.
Para saber mais sobre o teste TOEFL Essentials, visite https://www.ets.org/toefl/score-users/essentials.html
Venessa Manna é Diretora Executiva de Análise e Pesquisa Psicométrica (PAR) na ETS.