Voando alto na aprendizagem de idiomas: Como a pesquisa da Dra. Maria Treadaway pode impactar a avaliação da língua inglesa
24 de março de 2023
A Dra. Maria Treadaway foi nomeada vencedora do Prêmio de Dissertação Jacqueline Ross TOEFL® deste ano por sua dissertação "Desenvolvendo e Validando um Teste de Linguagem Diagnóstico para Pilotos Cadetes Ab Initio." O Prêmio Jacqueline Ross de Dissertação TOEFL reconhece pesquisas de dissertação de doutorado que fazem uma contribuição significativa e original para o conhecimento sobre testes e testes em segunda língua estrangeira e/ou para o uso e desenvolvimento desses testes e testes. Nesta sessão de perguntas e respostas, a Dra. Treadaway compartilhará sua pesquisa sobre a importância dos achados para a indústria da aviação e para o campo de testes de línguas e como isso contribui para o aprendizado e avaliação da língua inglesa, entre outros.
Você pode nos contar sobre sua inspiração para conduzir pesquisas na área vital da avaliação de idiomas na aviação?
Dra. Maria Treadaway: Desde que recebi o Great Big Air Book de Richard Scarry no meu quinto aniversário, fiquei fascinada por aeronaves e aviação. Eventualmente obtive minha licença de piloto comercial em 2001, mas após o 11 de setembro, decidi que continuaria voando como hobby, em vez de persegui-lo profissionalmente. Em vez disso, comecei a ensinar inglês, concluindo um mestrado em linguística aplicada. Minha dissertação secundária combinou interesse em aviação e avaliação, e investiguei o efeito da taxa de fala na compreensão do piloto em situações não rotineiras. Durante esse período, tive uma sorte enorme de trabalhar com o Professor Emérito John Read, pois sua supervisão combinava conhecimentos em aviação e avaliação. Percebi, na minha pesquisa de mestrado, que havia uma necessidade real de pesquisa em testes de linguagem de aviação e, como John concordou em trabalhar comigo, soube que seria apoiada no meu doutorado. Na verdade, estou na posição privilegiada de ser o último aluno de doutorado de John e este prêmio é tanto para ele quanto para mim. Então, no meu estudo, consegui combinar meu amor pela aviação, a língua inglesa e a avaliação.
Você pode detalhar a importância dos seus achados de pesquisa para a indústria da aviação e para a área de testes de idiomas?
Dra. Maria Treadaway: Meu estudo foi um projeto aplicado para desenvolver um teste que medisse a prontidão linguística de pilotos cadetes ab initio de origens não anglófonas para se engajarem com sucesso em seus programas práticos de treinamento de voo realizados em inglês. O teste é chamado de Overseas Flight Training Preparation Test ou OFTPT. Caso você esteja se perguntando, ab initio significa desde o início, então estamos falando de estudantes pilotos que completaram o treinamento teórico do ensino teórico e estão prontos para a transição para o treinamento prático de voo, e cadete refere-se ao fato de que muitos participantes estavam sendo patrocinados em seus estudos por uma companhia aérea.
A motivação para este projeto surgiu do contexto atual de testes de idiomas em ambientes de treinamento de aviação. Atualmente, não existem medidas padronizadas de habilidade linguística para avaliar pilotos cadetes ab initio de origens não anglófonas que estão ingressando em treinamento prático de voo em países de língua inglesa. Em vez disso, cada organização de treinamento adota seus próprios requisitos de teste e entrada, o que resulta em uma abordagem ad hoc para avaliar a prontidão linguística em contraste com a avaliação robusta e padronizada de habilidades e capacidades em outras áreas de seu treinamento. Consequentemente, o setor de educação em aviação sinalizou a necessidade de uma ferramenta de medição válida, confiável e padronizada, calibrada para a escala de avaliação de proficiência linguística da Organização da Aviação Civil Internacional (OACI) (esta é a medida internacional para proficiência linguística de pilotos e controladores de tráfego aéreo), para ajudar a estabelecer padrões de qualidade comparáveis entre organizações, com o objetivo de minimizar as consequências negativas sofridas por pilotos estudantes, patrocinando companhias aéreas e organizações de treinamento quando os estudantes recebem ingresso em um programa quando não estão linguisticamente preparados. Então, em termos da importância da minha pesquisa, ela pode representar a ferramenta de medição que a indústria busca porque foi motivada pelas necessidades reais do setor.
Dados da investigação do domínio Target Language Use (TLU) (Fase 1) e da sessão de definição de padrões (Fase 4) indicam que o OFTPT é bem-sucedido em capturar o que especialistas em matéria (SMEs) dentro desse domínio (instrutores de voo, controladores de tráfego aéreo e professores de inglês de aviação) valorizam em termos de conteúdo de teste. A análise dos itens nos testes (Fase 3) mostra que a operacionalização do construto (Fase 2) foi bem-sucedida, pois o teste discrimina bem e teve um nível adequado de dificuldade. Durante a definição de padrões com SMEs (Fase 4), houve também um grau considerável de homogeneidade quanto aos níveis de desempenho linguístico que os SMEs esperavam de Línguas Não Nativas (NNES) ab initios, sugerindo que a confiança pode ser mantida nos níveis de atuação articulados nos descritores de nível de desempenho e nos pontues de corte, que estavam inferencialmente ligados à escala de proficiência linguística da ICAO. Em suma, cada fase contribuiu para identificar um padrão determinado pelos SMEs em um teste desenvolvido especificamente para esse domínio TLU. Este é o primeiro parâmetro baseado em pesquisa para entrada no treinamento de voo, medido em relação à escala da ICAO. É um começo e sei que muitas outras pessoas estão trabalhando para melhorar os padrões nessa área e espero que outros possam e queiram construir sobre o meu trabalho.
Como você imagina sua pesquisa contribuindo para o campo da aprendizagem e avaliação da língua inglesa?
Dra. Maria Treadaway: Em termos de contribuição prática, o principal resultado do projeto é um teste totalmente operacional, realizado online, que tem como alvo específico as necessidades de pilotos ab initio que iniciam seu treinamento prático de voo e está alinhado com a escala de Avaliação de Proficiência em Idiomas da ICAO. As pontuações dos testes podem ser interpretadas como níveis de prontidão para realizar treinamento prático de voo (ou seja, o estudante está pronto, minimamente pronto ou não pronto) e esses níveis de prontidão foram empiricamente ligados à escala de avaliação da ICAO, que, como disse anteriormente, é a primeira vez que níveis limiar de proficiência linguística dentro desse domínio da TLU foram ligados à escala.
O teste também foca na importante função diagnóstica dos testes nesse ambiente. No relatório de pontuação, os candidatos recebem feedback detalhado sobre seu desempenho que pode ajudá-los a identificar seus pontos fortes e fracos para melhorar suas habilidades linguísticas de aviação. No site complementar do teste, selecionei recursos de aprendizagem que os candidatos podem acessar livremente para melhorar suas fraquezas e desenvolver seus pontos fortes. Assim, há potencial para um retorno positivo nos resultados de aprendizagem de idiomas, onde os aprendizes desenvolvem conhecimentos, habilidades e capacidades necessárias em seus domínios reais e são testados nas mesmas habilidades no OFTPT. Esse alinhamento entre aprendizagem e avaliação foi muito importante para mim ao projetar meu teste de linguagem de aviação. As tarefas do teste de línguas estão muito alinhadas com as tarefas no domínio de uso do idioma alvo dos alunos, para que aprendizado e avaliação fluam um no outro. Acho isso muito importante para motivar os aprendizes e aumentar seu engajamento com o idioma necessário para funcionar dentro do domínio de uso da língua alvo, neste caso, treinamento prático de voo.
Em termos de contribuição teórica, este estudo é o primeiro trabalho a unir duas abordagens bem estabelecidas para validação na avaliação: o argumento do Uso da Avaliação de Bachman e Palmer, e o arcabouço sociocognitivo de O'Sullivan e Weir de 2011. Assim, as descrições extensas do projeto e operacionalização do OFTPT na Fase 2 (no Capítulo 5 da minha dissertação) podem servir como um roteiro útil para desenvolvedores de testes ESP/LSP e, particularmente, para desenvolvedores de testes de aviação, pois o capítulo também inclui especificações detalhadas de teste e uma justificativa para cada módulo do OFTPT (Listening, Reading and Speaking).
Como receber o Prêmio Jacqueline Ross para a Dissertação TOEFL® impactou sua carreira e trajetória de pesquisa?
Dra. Maria Treadaway: Antes de tudo, receber este prêmio trouxe um nível significativo de reconhecimento dentro da minha escola e corpo docente na Universidade e em Auckland, e na comunidade de testes de línguas na Austrália e Nova Zelândia e agora, com esta entrevista, talvez ainda mais distante! Espero que isso aumente a visibilidade do meu projeto de doutorado, talvez resultando em algumas aplicações práticas do OFTPT dentro das organizações de treinamento em aviação. Além disso, por ser um prêmio internacional, contribui para a credibilidade da minha pesquisa, o que pode ajudar na adoção do teste em organizações de treinamento em aviação e na garantia de financiamento futuro para validação e pesquisa. Além do reconhecimento, o prêmio vem com apoio financeiro que usarei para disseminar minha pesquisa participando de conferências e outras oportunidades de desenvolvimento profissional. Esse reconhecimento já está se traduzindo em maiores oportunidades de colaboração com outros pesquisadores da Austrália, Brasil e Estados Unidos, o que, por sua vez, espero que leve a novas buscas de pesquisa e avanços no campo. Portanto, acho que este prêmio me ajudou como plataforma para compartilhar meu trabalho com um público mais amplo.
Você pode falar sobre a importância de reconhecer e apoiar a pesquisa em testes de idiomas?
Reconhecer e apoiar a pesquisa em testes de idiomas é extremamente importante por várias razões. Primeiro, a pesquisa em testes de idiomas ajuda a garantir que os testes sejam justos, confiáveis e válidos, o que é particularmente importante em contextos onde a proficiência linguística é usada para fins de alto risco, como aviação ou imigração. Se pudermos melhorar a precisão da avaliação de linguagem, podemos ter um impacto positivo nas oportunidades educacionais e profissionais dos indivíduos, bem como na sociedade como um todo. Sem pesquisa, talvez não consigamos capturar o conceito alvo ou medir com precisão a proficiência linguística, levando a avaliações imprecisas dos aprendizes e consequências negativas não intencionais para todos os envolvidos. Avanços tecnológicos podem apoiar a pesquisa em testes de línguas, permitindo o desenvolvimento de métodos e ferramentas inovadoras que capturem melhor a proficiência linguística e melhorem a experiência de avaliação para os candidatos, talvez tornando os testes mais acessíveis e equitativos. Por fim, a pesquisa em testes de idiomas pode ajudar a informar políticas e tomada de decisão linguística, levando a programas de educação linguística mais eficazes e melhores resultados para os aprendizes. Portanto, a pesquisa é bastante importante!
Quais foram alguns dos maiores desafios que você enfrentou durante seu projeto de doutorado e como os superou?
Dra. Maria Treadaway: Grande parte do meu doutorado foi feita durante a pandemia de COVID-19, então houve desafios únicos que tornaram o processo mais complexo, mas também me apresentaram novas oportunidades para explorar soluções inovadoras usando ferramentas digitais e colaborativas. Desafios específicos envolviam gerenciar todas as pequenas tarefas que precisavam ser concluídas, desenvolver e manter conexões dentro da indústria de treinamento em aviação, recrutamento de participantes (especialmente com as restrições governamentais e o distanciamento social) e a necessidade geral de entrevistas virtuais e coleta de dados online. Ocasionalmente, não conseguia acessar recursos físicos da biblioteca, o que dificultava a gestão do tempo e a coordenação das atividades de pesquisa. Além da COVID, provavelmente como a maioria dos estudantes de doutorado, achei muito desafiador manter a motivação, especialmente durante o processo de escrita. A forma como superei isso foi incorporando recreação na minha rotina — caminhadas, visitas com família e amigos e para o trabalho. Esse equilíbrio era necessário para manter o foco prolongado que eu precisava. Também mantinha um registro das atividades em que estava trabalhando, das intenções/resultados que buscava e uma reflexão sobre como eu estava indo e o tempo que dedicava às atividades. Esse registro de tempo e atividades foi essencial para me ajudar a manter o foco, motivado e focado na tarefa enquanto trabalhava remotamente e isoladamente.
Por fim, qual mensagem você gostaria de compartilhar com pesquisadores aspirantes nessa área?
Dra. Maria Treadaway: As implicações dos testes de linguagem para a indústria da aviação são de grande alcance, e acredito que há muito espaço para pesquisas adicionais para garantir que os testes de linguagem nessa área sejam eficazes, atualizados e que os testes sejam desenvolvidos de acordo com padrões profissionais, com evidências de validação para apoiar as inferências das pontuações dos testes. Portanto, para aqueles que estão fazendo pesquisa e talvez sentindo os desafios disso, lembrem-se de que o teste de linguagem é de extrema importância para a indústria da aviação, garantindo a segurança, melhorando a comunicação e, consequentemente, aprimorando a consciência situacional e melhorando a tomada de decisão dentro do cockpit. Continue e saiba que o que está trabalhando conta!