Pesquisa do TOEIC®

Avançando a avaliação, ensino e aprendizagem da língua inglesa

Consistência de Pontuação

As pontuações do TOEIC são consistentes e confiáveis. Pesquisas do Programa de Pesquisa do TOEIC ajudam a garantir que as pontuações sejam influenciadas apenas por fatores relacionados à habilidade linguística . Ao examinar a consistência ou confiabilidade das pontuações, múltiplos aspectos do procedimento de teste são considerados, incluindo itens do teste, formulários de teste, ocasiões ou administrações e avaliadores.

Análise Estatística de Estudo de Campo para os Testes de Ponte® TOEIC Redesenhados

Este artigo relata os resultados de um estudo de campo que contribuiu para o desenvolvimento dos testes TOEIC Bridge redesenhados. As análises estatísticas fornecem evidências iniciais que sustentam afirmações de que as pontuações redesenhadas dos testes TOEIC Bridge são consistentes e que as pontuações são indicadores significativos da proficiência em inglês nos níveis básico a intermediário.

Leia Análise Estatística do Estudo de Campo para os Testes Ponte TOEIC Redesenhados

Defendendo a Qualidade e o Uso de uma Nova Avaliação de Proficiência em Idiomas: Argumento de Validade para os Testes Ponte® TOEIC Redesenhados

Este artigo resume o "argumento de validade" para os testes TOEIC Bridge redesenhados. O argumento da validade consiste em quatro afirmações principais sobre consistência de pontuação, validade e justiça, uso adequado do teste e impactos positivos; juntos, isso fornece uma narrativa coerente sobre a qualidade da medição e os usos pretendidos das pontuações dos testes. Ao considerar as alegações e as evidências de apoio apresentadas no argumento de validade, os leitores devem ser capazes de avaliar melhor se os testes TOEIC Bridge redesenhados são apropriados para sua situação.

Ler Defendendo a Qualidade e o Uso de um Novo Argumento de Validade da Avaliação de Proficiência em Línguas para os Testes Ponte do TOEIC redesenhados

Monitoramento dos padrões de mudança de escores para apoiar a qualidade dos testes de escuta e leitura do TOEIC®

Em programas de testes de grande escala e de alto risco, como o programa TOEIC, alguns candidatos fazem um teste mais de uma vez ao longo do tempo. Os padrões de mudança de pontuação desses chamados "repetidores" podem ser analisados para apoiar a qualidade geral do teste (por exemplo, sua confiabilidade, validade, usos pretendidos). Este estudo examinou os padrões de mudança de pontuação mencionados, com o objetivo de avaliar a confiabilidade e validade das pontuações dos testes de Escuta e Leitura do TOEIC^®.

Leia mais sobre padrões de mudança de escores para monitorar a qualidade dos testes de escuta e leitura do TOEIC

Medindo a Proficiência em Inglês entre Subgrupos: Usando a Avaliação de Equidade de Pontuação para Avaliar a Justiça nos Testes

As avaliações de proficiência em inglês são projetadas para uma população-alvo e podem incluir candidatos de diferentes origens demográficas, socioculturais e educacionais. Assume-se que o teste seja justo e as pontuações obtidas por diferentes subgrupos de candidatos têm o mesmo significado. Uma forma de avaliar a equidade do teste é produzir um teste vinculado para cada subgrupo e comparar os resultados das pontuações do teste vinculado com as pontuações do teste original que fizeram.

Medindo a Proficiência em Inglês entre Subgrupos: Usando a Avaliação de Equidade de Pontuação para Avaliar a Justiça nos Testes

Como o ETS Pontua as Respostas do Teste de Expressão e Escrita do TOEIC®

Normalmente, avaliadores humanos são usados para pontuar testes de Fala e Escrita devido à sua capacidade de avaliar uma gama mais ampla de desempenho linguístico do que sistemas automatizados. Este artigo descreve como o ETS garante a confiabilidade e consistência das pontuações pelos avaliadores humanos nos testes de fala e escrita do TOEIC por meio de treinamento, certificação e procedimentos sistemáticos de monitoramento administrativo e estatístico.

leia mais sobre como a ETS pontua as respostas do teste de fala e escrita do TOEIC

Vinculando Partituras de Oral do TOEIC® usando as Partituras de Compreensão Auditiva do TOEIC®

Em programas de teste, múltiplas formas de teste são usadas em diferentes administrações para evitar a superexposição dos formulários de teste e reduzir a possibilidade de os candidatos adquirirem conhecimento prévio do conteúdo do teste. Como pequenas diferenças podem ocorrer na dificuldade estatística dos formulários alternativos, um procedimento estatístico conhecido como vinculação de pontuação de teste tem sido comumente usado para ajustar essas diferenças de dificuldade, de modo que os formulários de teste sejam comparáveis.

leia mais sobre como vincular as partituras de fala do TOEIC usando as pontuações de compreensão oral do TOEIC

Monitoramento do desempenho dos testes de escuta e leitura do TOEIC® entre administrações utilizando informações de base dos candidatos

O processo de pontuação do teste de Escuta e Leitura do TOEIC inclui procedimentos de monitoramento que ajudam a garantir que as pontuações sejam consistentes entre diferentes formas e administrações de testes, e que as interpretações das habilidades sejam justas. Este estudo explora a possibilidade de usar informações sobre o histórico dos candidatos para aprimorar vários tipos de procedimentos de monitoramento. Os resultados das análises sugeriram que algumas variáveis de fundo podem facilitar o monitoramento do desempenho dos testes entre administrações, fortalecendo assim os procedimentos de controle de qualidade para o teste de Escuta e Leitura do TOEIC, além de fortalecer as evidências de consistência das pontuações.

Leia mais sobre o monitoramento do desempenho em testes de escuta e leitura do TOEIC entre administrações usando as informações de base do examinado

Avaliação da Estabilidade dos Meios de Pontuação dos Testes de Apresentação e Escrita do TOEIC®

Para testes educacionais, é fundamental manter a consistência das escalas de pontuação e entender as fontes de variação nas médias de pontuação ao longo do tempo. Isso ajuda a garantir que as interpretações sobre as habilidades dos candidatos sejam comparáveis de uma administração (ou formulário) para outra. Utilizando procedimentos estatísticos, este estudo examinou a consistência das pontuações reportadas nos testes de fala e escrita do TOEIC.

leia mais sobre a avaliação da estabilidade das médias de pontuação dos testes de fala e escrita do TOEIC

Comparação de Conteúdo, Estatísticas de Itens e Desempenho do Candidato no Teste de Escuta e Leitura TOEIC redesenhado e clássico®

Este artigo compara o conteúdo, a confiabilidade e a dificuldade dos clássicos e dos testes de Compreensão e Leitura do TOEIC redesenhados em 2006. Embora os testes redesenhados incluíssem tipos de itens ligeiramente diferentes para refletir melhor os modelos atuais de proficiência linguística, os testes foram considerados semelhantes entre as versões.

Leia mais sobre a comparação de conteúdo, estatísticas de itens e desempenho dos candidatos no teste redesenhado e clássico teste de escuta e leitura TOEIC

Análises estatísticas para os formatos expandidos de itens do Teste de Fala TOEIC®

Os programas de avaliação devem revisar periodicamente suas avaliações para garantir que seus itens ou tarefas estejam bem alinhados com atividades do mundo real. Por essa razão, para apoiar melhor o aprendizado comunicativo de idiomas e desencorajar o uso de estratégias de memorização e outras provas, a ETS expandiu o formato existente de alguns itens do teste de fala do TOEIC^® em maio de 2015.

leia mais sobre Análises Estatísticas para os Formatos Expandidos de Item do Teste de Expressão Oral do TOEIC®

Análises estatísticas para o Teste Atualizado de Escuta e Leitura do TOEIC®

Para garantir que os testes continuem atendendo às necessidades dos participantes e usuários de pontuação, é importante que os programas de avaliação revisem periodicamente suas avaliações. Por essa razão, para acompanhar o uso continuamente em mudança do inglês e as formas como as pessoas comumente se comunicam no ambiente de trabalho global e no dia a dia, um teste atualizado de Escuta e Leitura do TOEIC foi projetado e lançado pela primeira vez em maio de 2016.

leia mais sobre Análises Estatísticas para o Teste Atualizado de Escuta e Leitura do TOEIC®

A Consistência das Pontuações de Discurso do TOEIC® entre Avaliações e Tarefas

Este estudo examina a consistência das pontuações do TOEIC Speaking. A análise utiliza uma metodologia baseada na teoria da generalizabilidade, que permite aos pesquisadores examinar até que ponto aspectos do procedimento de teste (ou seja, avaliadores, tarefas) influenciam as pontuações. Os resultados contribuem com evidências para apoiar as afirmações de que as pontuações do TOEIC Speaking são consistentes.

leia mais sobre a consistência das pontuações de fala do TOEIC entre classificações e tarefas

Monitorando o desempenho individual dos avaliadores para os testes de fala e escrita do TOEIC®

Este artigo descreve procedimentos implementados nos testes de fala e escrita do TOEIC para monitorar o desempenho individual dos avaliadores e melhorar a qualidade geral da pontuação. Esses procedimentos multifacetados e cuidadosamente desenvolvidos ajudam a garantir que o potencial de erro humano seja mantido ao mínimo, contribuindo assim para a consistência e confiabilidade da pontuação dos testes TOEIC.

leia mais sobre o monitoramento do desempenho individual dos avaliadores nos testes de fala e escrita do TOEIC

Formulários Alternativos Confiabilidade de Teste-Reteste e Alterações nas Notas dos Testes de Oral e Escrita do TOEIC®

A confiabilidade ou consistência das pontuações pode ser examinada de várias maneiras, incluindo o grau em que as pontuações do mesmo candidato são consistentes entre diferentes formulários de teste (a chamada "confiabilidade dos formulários equivalentes") e diferentes ocasiões de teste ("confiabilidade teste-reteste"). Este estudo analisou a consistência das pontuações do TOEIC Oral and Writing em diferentes formulários de teste em intervalos de tempo distintos (por exemplo, 1–30 dias, 31–60 dias) e constatou que as pontuações do teste tinham confiabilidade razoavelmente alta entre formulário equivalente e reteste.

leia mais sobre Formulários Alternativos: Confiabilidade do Test-Retest e Alterações nas Notas dos Testes de Oral e Escrita do TOEIC

Análises Estatísticas para o Estudo Piloto de Palestra e Escrita do TOEIC®

Este artigo relata os resultados de um estudo piloto que contribuiu para o desenvolvimento do teste de fala e escrita do TOEIC. A análise da confiabilidade das pontuações dos testes encontrou evidências de vários tipos de consistência de pontuação, incluindo confiabilidade entre avaliadores (concordância de vários avaliadores sobre uma pontuação) e consistência interna (uma medida baseada na correlação entre itens do mesmo teste).

leia mais sobre Análises Estatísticas para o Estudo Piloto de Palestra e Escrita do TOEIC

Resultados do Estudo de Campo para o Teste de Escuta e Leitura TOEIC® redesenhado

Este artigo descreve os resultados de um estudo de campo para os testes de Escuta e Leitura do TOEIC redesenhados em 2006, que inclui análises de dificuldade de itens e testes, confiabilidade e correlações entre as seções do teste e os clássicos testes de Escuta e Leitura do TOEIC. Os resultados são consistentes com outro estudo de comparabilidade (Liao, Hatrak e Yu em 2010), que encontrou evidências da confiabilidade dos testes redesenhados e sugeriu que as pontuações do teste redesenhado poderiam ser interpretadas e usadas de maneira semelhante às pontuações clássicas do TOEIC em Escuta e Leitura.

Leia mais sobre os resultados de estudos de campo para o teste redesenhado de escuta e leitura do TOEIC