Conectando o TOEFL Speaking com o Speaking na Universidade

Falar é fundamental para o sucesso nos estudos universitários. Tanto estudantes de graduação quanto de pós-graduação usam a linguagem falada para lidar com uma variedade de tarefas dentro e fora do campus. Estudantes de pós-graduação também frequentemente ensinam ou orientam estudantes de graduação ou trabalham em laboratórios de pesquisa colaborativa.

O TOEFL iBT atualizado apresenta duas tarefas de fala: Ouvir & Repetir e Fazer uma Entrevista. Listen & Repeat exige que os examinados ouçam uma frase e a repitam com a maior precisão possível, enquanto a Entrevista Virtual envolve respostas abertas a uma série de perguntas relacionadas à vida acadêmica.

Recentemente, realizamos pesquisas sobre essas tarefas aqui na Universidade do Havaí, em Mānoa. Como professores que ensinam, orientam e supervisionam estudantes internacionais, sabemos o quanto as habilidades de fala são importantes para o sucesso dos alunos. Como pesquisadores, temos grande interesse em como as tarefas de teste, como as apresentadas nos exames TOEFL, se relacionam fortemente com as capacidades reais de falar.

Testes de linguagem são usados para tomar decisões sobre pessoas reais. Ao utilizar testes de idiomas nas admissões no ensino superior, a principal preocupação é garantir que o estudante potencial seja capaz de lidar com as demandas linguísticas do estudo em inglês. Então, quando a pontuação do teste é usada para tomar uma decisão de admissão, assumimos que a nota do teste nos diz algo sobre o quão bem o estudante será capaz de usar o inglês na universidade.

As notas dos testes são baseadas no desempenho dos testes. Para falar, as apresentações dos alunos podem incluir performances altamente limitadas, como tarefas de Ler em Voz Alta e Ouvir & Repetir, onde o que o aluno deve dizer é apresentado em forma escrita/auditiva, além de performances mais espontâneas e criativas, como respostas a perguntas na tarefa de Entrevista Virtual.

Para aumentar a confiança no que as pontuações nos dizem sobre capacidades do mundo real, examinar as qualidades do desempenho dos candidatos em tarefas e tarefas fora do teste tem valor. Basicamente, queríamos saber que a fluência e precisão com que os alunos falam no teste indica o quão fluente e preciso eles conseguem produzir linguagem na comunicação do mundo real.

Recrutamos 149 estudantes internacionais, todos usuários de inglês como segunda língua. Para garantir que representássemos a ampla gama de proficiência, incluímos estudantes que participavam de programas intensivos de inglês como segunda língua em tempo integral, estudantes matriculados simultaneamente em cursos universitários e acadêmicos de inglês, além de estudantes de graduação e pós-graduação com matrícula completa.

Cada aluno realizou tarefas de oratória administradas na plataforma operacional de testes ETS. A ETS nos forneceu suas partituras de fala e gravações de áudio. Também fizemos cada participante realizar duas tarefas acadêmicas de palestra em um laboratório presencial. Essas tarefas envolviam (1) descrever um gráfico e (2) ouvir uma aula de 8 minutos sobre bilinguismo e depois responder às perguntas do pesquisador.

Os alunos também foram convidados a gravar e entregar uma tarefa de palestra relacionada aos seus programas acadêmicos. Noventa e nove estudantes fizeram isso, com 65 submissões sendo apresentações formais.

Analisamos todas as amostras de fala para uma variedade de características de complexidade, precisão e fluência relacionadas à gramática, vocabulário e pronúncia. Também tivemos professores experientes de inglês como segunda língua que avaliaram a eficácia comunicativa das amostras de fala não testadas.

Ao comparar as pontuações das tarefas dos indivíduos com as avaliações da fala das duas tarefas laboratoriais e da tarefa de fala baseada em cursos, encontramos correlações fortes e positivas (Tabela 1).

Tabela 1.

Correlações entre as pontuações de fala do TOEFL e as avaliações de fala fora do teste.

Observação. Todas as correlações foram estatisticamente significativas no nível p < 0,001.

Para características linguísticas, os resultados foram mais complicados. Por exemplo, algumas características linguísticas como diversidade lexical (diversidade de uso do vocabulário) não eram relevantes para a tarefa Ouvir & Repetir, que apresentava respostas altamente restritas.

Algumas características linguísticas apresentaram fortes correlações positivas entre tarefas de fala no TOEFL e tarefas não testes, como aquelas relacionadas à fluência e precisão da produção falada. Outras características linguísticas apresentavam correlações positivas pequenas a moderadas, como características de complexidade (por exemplo, o número de palavras ou orações por frase falada). Outros recursos tinham pouca associação entre tarefas.

Em resumo, pareceu que aspectos da produção da fala relacionados à habilidade geral de processar o inglês, como fluência e precisão da gramática, vocabulário e pronúncia, estavam fortemente correlacionados entre desempenhos em testes e não testes. Aspectos da fala mais influenciados por demandas de tarefas, como escolha de gramática e vocabulário, estavam menos fortemente correlacionados. 

Nossa pesquisa sugere fortemente que estudantes que obtêm altas notas em tarefas como Ouvir & Repetir e Fazer uma Entrevista conseguem se comunicar efetivamente fora do contexto de prova. Esse resultado valeu tanto para tarefas acadêmicas simuladas em laboratório (Descrição do Gráfico e Resposta à Aula) quanto para apresentações autênticas relacionadas aos cursos dos alunos.

Enquanto a tarefa Faça uma Entrevista, que apresenta uma produção de linguagem mais espontânea e criativa por parte dos candidatos, tendia a apresentar as correlações mais fortes com tarefas não testes, a tarefa Ouvir & Repetir apresentava correlações igualmente fortes na maioria dos casos. Notavelmente, ele pareceu capturar efetivamente os aspectos relacionados à fluência e precisão da habilidade de fala dos examinadores, que estão em jogo em todos os contextos de fala.

No geral, descobrimos que ambos os tipos de itens foram bons indicadores de quão bem os alunos se saíram em tarefas simuladas e reais de fala acadêmica.

Daniel R. Isbell é Professor Associado no Departamento de Estudos de Segundas Línguas da Universidade do Havaí em Mānoa, onde realiza pesquisas e ministra cursos focados em avaliação linguística.

Dustin Crowther é Professor Associado no Departamento de Estudos de Segundas Línguas da Universidade do Havaí em Mānoa. Ele realiza pesquisas sobre a inteligibilidade da fala em segunda língua, com foco principal em Inglês Global.