Conectando o TOEFL Speaking com o Speaking na Universidade

Falar é fundamental para o sucesso nos estudos universitários. Tanto estudantes de graduação quanto de pós-graduação usam a linguagem falada para lidar com uma variedade de tarefas dentro e fora do campus. Estudantes de pós-graduação também frequentemente ensinam ou orientam estudantes de graduação ou trabalham em laboratórios de pesquisa colaborativa.

O TOEFL iBT atualizado apresenta duas tarefas de fala: Ouvir & Repetir e Fazer uma Entrevista. Ouvir e Repetir exige que os examinados escutem uma frase e a repitam com a maior precisão possível, enquanto a Entrevista Virtual envolve respostas abertas a uma série de perguntas relacionadas à vida acadêmica.

Recentemente, realizamos pesquisas sobre essas tarefas aqui na Universidade do Havaí, em Mānoa. Como professores que ensinam, orientam e supervisionam estudantes internacionais, sabemos o quanto as habilidades de fala são importantes para o sucesso dos alunos. Como pesquisadores, temos grande interesse em como as tarefas de teste, como as apresentadas nos exames TOEFL, se relacionam com as capacidades reais de falar.

Testes de idioma são usados para tomar decisões sobre pessoas reais. Ao usar testes de língua nas admissões no ensino superior, a principal preocupação é garantir que o estudante em potencial seja capaz de lidar com as demandas linguísticas do estudo em inglês. Portanto, quando uma nota de teste é usada na decisão de admissão, assumimos que a nota nos diz algo sobre o quão bem o estudante será capaz de usar o inglês na universidade.

As pontuações dos testes são baseadas no desempenho dos testes. Para falar, as performances dos alunos podem incluir performances altamente limitadas, como tarefas de Ler em Voz Alta e Ouvir & Repetir, onde o que o aluno deve dizer é apresentado em forma escrita/auditiva, além de performances mais espontâneas e criativas, como respostas a perguntas na tarefa de Entrevista Virtual.

Para aumentar a confiança no que as notas dos testes nos dizem sobre capacidades do mundo real, examinar as qualidades do desempenho dos candidatos em tarefas e tarefas fora do teste tem valor. Basicamente, queríamos saber que a fluência e precisão com que os alunos falam no teste indica o quão fluente e preciso eles conseguem produzir linguagem na comunicação do mundo real.

Recrutamos 149 estudantes internacionais, todos usuários de inglês como segunda língua. Para garantir que representássemos a ampla gama de proficiência, incluímos estudantes que participavam de programas intensivos em tempo integral de inglês como segunda língua, estudantes que estavam simultaneamente matriculados em cursos universitários e acadêmicos de inglês, e estudantes de graduação e pós-graduação com matrícula completa.

Cada estudante realizou tarefas de fala administradas na plataforma operacional de testes ETS. A ETS nos forneceu suas notas e gravações de áudio. Também pedimos para cada participante realizar duas tarefas acadêmicas de fala em um laboratório presencial. Essas tarefas envolveram (1) descrever um gráfico e (2) ouvir uma aula de 8 minutos sobre bilíngue e depois responder às perguntas do pesquisador.

Os alunos também foram solicitados a gravar e entregar uma tarefa de discurso relacionada aos seus programas acadêmicos. Noventa e nove estudantes fizeram isso, sendo 65 apresentações formais.

Analisamos todas as amostras de fala quanto a uma variedade de características de complexidade, precisão e fluência relacionadas à gramática, vocabulário e pronúncia. Também tivemos professores experientes de inglês como segunda língua que avaliaram a eficácia comunicativa das amostras de fala não testadas.

Ao comparar as pontuações das tarefas dos indivíduos com as avaliações da fala das duas tarefas laboratoriais e da tarefa de fala baseada em cursos, encontramos correlações fortes e positivas (Tabela 1).

Tabela 1.

Correlações entre as pontuações de fala do TOEFL e as avaliações de fala fora do teste.

Nota. Todas as correlações foram estatisticamente significativas no nível p < 0,001.

Para características linguísticas, os resultados foram mais complicados. Por exemplo, algumas características linguísticas como diversidade lexical (diversidade de uso do vocabulário) não eram relevantes para a tarefa Ouvir & Repetir, que apresentava respostas altamente restritas.

Algumas características linguísticas apresentaram fortes correlações positivas entre tarefas de fala no TOEFL e tarefas não testes, como aquelas relacionadas à fluência e precisão da produção oral. Outras características linguísticas apresentaram correlações positivas pequenas a moderadas, como características de complexidade (por exemplo, o número de palavras ou orações por frase falada). Outras características apresentaram pouca associação entre tarefas.

Em resumo, pareceu que aspectos da produção da fala relacionados à capacidade geral de processar o inglês, como fluência e precisão da gramática, vocabulário e pronúncia, estavam fortemente correlacionados entre desempenhos em testes e fora do teste. Aspectos da fala mais influenciados por demandas de tarefas, como escolhas de gramática e vocabulário, estavam menos fortemente correlacionados. 

Nossa pesquisa sugere fortemente que estudantes que obtêm altas notas em tarefas como Ouvir & Repetir e Fazer uma Entrevista conseguem se comunicar efetivamente fora do contexto de um teste. Esse resultado vale tanto para tarefas acadêmicas simuladas em laboratório (Descrição em Grafos e Resposta à Aula) quanto para apresentações autênticas relacionadas aos cursos dos alunos.

Enquanto a tarefa Faça uma Entrevista, que apresenta uma produção de linguagem mais espontânea e criativa por parte dos candidatos, tendia a apresentar as correlações mais fortes com tarefas não relacionadas ao teste, a tarefa Ouvir & Repetir apresentou correlações igualmente fortes na maioria dos casos. Notavelmente, ela pareceu capturar efetivamente os aspectos relacionados à fluência e precisão da capacidade de fala dos examinadores, que estão presentes em todos os contextos de fala.

No geral, descobrimos que ambos os tipos de itens foram bons indicadores de quão bem os alunos se saíram em tarefas simuladas e reais de fala acadêmica.

Daniel R. Isbell é Professor Associado no Departamento de Estudos de Segundas Línguas da Universidade do Havaí em Mānoa, onde realiza pesquisas e ministra cursos focados em avaliação linguística.

Dustin Crowther é Professor Associado no Departamento de Estudos de Segundas Línguas da Universidade do Havaí, Mānoa. Ele realiza pesquisas sobre a inteligibilidade da fala em segunda língua, com foco principal em Inglês Global.