Perguntas e Respostas com um Pesquisador: Jonathan Weeks

A editora sênior de pesquisa Ayleen Gontz entrevistou o cientista sênior de medição Jonathan Weeks sobre seu trabalho na ETS e sua recente nomeação como presidente do programa NCME.

Jonathan Weeks adora não apenas se conectar com as pessoas, mas também conectá-las. Em seus 13 anos na ETS, ele conduziu pesquisas para o PISA (Programa de Avaliação Internacional de Alunos), PIAAC (Programa para a Avaliação Internacional das Competências de Adultos) e K–12; ajudou a desenvolver medidas de habilidades fundamentais de leitura; e até trabalhou em alguns testes para a CIA. Seu foco principal agora é ECLS–K (Estudos Longitudinais da Primeira Infância–Jardim de Infância) e outros estudos longitudinais liderados pelo Centro Nacional de Estatísticas da Educação para estudantes do ensino fundamental e médio.

Você pode encontrá-lo no escritório nos dias de apresentação, resolvendo um problema no quadro branco, mas é mais provável encontrá-lo nos corredores discutindo questões de pesquisa com os colegas. Se encontrar o Jonathan, pare e diga olá. Na ausência de perguntas de pesquisa, pergunte o que assistir ou ler neste fim de semana, converse sobre treinar esportes juvenis ou peça para ele falar sobre seu mentor.

Vi na sua biografia sobre ets.org que você tem bacharelado em Inglês pelo Colorado College. Como você passou de estudante de Inglês para um emprego baseado em teorias matemáticas?

Sempre me perguntam isso. Quero dizer, nenhuma criança fica por aí pensando: "Quero crescer e virar psicometrista." Eu achava que queria ser professora de inglês no ensino médio, mas não tinha certificado de ensino. Então acabei conseguindo um emprego em um distrito escolar com a ideia de que, assim que conseguisse meu certificado, poderia ir até eles e dizer: "Ei, eu trabalho para você. Me dê um emprego." Acontece que consegui um cargo de secretária em um distrito escolar em Colorado Springs e, depois de alguns anos, me tornei a principal analista de dados no escritório de avaliação deles.

Nesse ponto, eu nunca tinha feito um curso de estatística na vida.

Pensei: "Isso é bem perigoso. Eu deveria resolver isso." Voltei a estudar e fiz um mestrado em psicologia da educação com ênfase em métodos quantitativos. Tinha ideias sobre como abordar várias questões, mas ninguém queria me ouvir porque eu não tinha doutorado. Então voltei a estudar novamente com o foco em política educacional. Logo descobri que políticas públicas são mais sobre política e decidi que estava menos interessado. Isso foi no início dos anos 2000, quando havia grande ênfase em modelos de crescimento na educação K–12.

Nesse momento, achei que queria fazer um modelo de crescimento melhor, mas, no fim, passei a me interessar muito mais por como as escalas são construídas. Acabei focando em questões relacionadas à criação de escalas verticais, no problema do deslocamento do construto e, em particular, no desenvolvimento de escalas verticais multidimensionais. Essa é uma área de pesquisa que ainda me interessa hoje.

Você pode me dar um exemplo da pesquisa que você faz?

Já trabalhei bastante no desenvolvimento de medidas de habilidades fundamentais de leitura; o teste se chama ReadBasix. Um dos artigos dos quais mais me orgulho, An Application of Multidimensional Vertical Scaling, basicamente fornece um argumento de validade para a estrutura multidimensional e a escala vertical multidimensional subjacente para os seis subtestes do ReadBasix.

Pelo que entendo, no início do nosso desenvolvimento, temos um conjunto de habilidades fundamentais que estão todas vagamente integradas. À medida que nos tornamos leitores mais proficientes, essas habilidades se entrelaçam para formar dois cordões — habilidades relacionadas a palavras e habilidades de compreensão — até que eventualmente formam um único cabo. As habilidades vagamente integradas correspondem aos seis fatores. Essas diferentes habilidades estão sempre presentes, mas se tornam mais integradas para produzir os dois cabos e o cordão único mais fortemente integrado. Fiquei muito animado ao saber que minha pesquisa com dados empíricos forneceu evidências para um arcabouço teórico que eu não conhecia antes.

Entendo que você foi um dos presidentes de programa da recente Conferência do NCME (Conselho Nacional para Mensuração na Educação). Qual parte desse planejamento mais te anima?

Convidei um dos meus autores favoritos para ser nosso palestrante principal. Sam Kean é historiador da ciência e autor best-seller do New York Times de The Disappearing Spoon e de vários outros livros. Em resumo, ele conta histórias sobre ciência por meio de uma série de vinhetas históricas. Essas histórias são uma reviravolta na história que todos acham que conhecem.

Sam não é uma "pessoa de medição", mas por causa da lente pela qual ele olha, ele ajuda as pessoas a pensar sobre história e ciência de uma forma um pouco diferente. Minha esperança é que, ao pensarmos no campo da medição, possamos olhar por uma lente um pouco diferente. Podemos pensar de forma diferente sobre a forma como "fazemos medição", as abordagens que usamos para desenvolver testes e os modelos que usamos para avaliar os dados? Vamos continuar fazendo isso que sempre fizemos, ou estamos abertos a experimentar coisas novas que possam ser mais benéficas para os examinadores e para nosso campo como um todo?

Agora que a conferência acabou, seu trabalho está feito?  

Tecnicamente, meu trabalho está feito agora que a conferência terminou. Mas me ofereci para ficar um pouco mais para tentar ajudar a automatizar alguns dos sistemas. Quando você é um dos presidentes, e sua mente está aqui tentando organizar essas coisas, ao mesmo tempo tendo que se preocupar em extrair e limpar dados... É muito mais trabalho do que eu esperava. Gostaria de ver se consigo ajudar a facilitar isso para futuros presidentes, para que eles não precisem passar por todo o tempo e esforço de programar um script ou filtrar dados manualmente.

Tem algo no seu escritório que você não pode dispensar?  

Passo muito tempo em frente a um quadro branco. A forma como penso sobre minhas ideias e como processo é ficar ali e desenhar as coisas.

Estou completamente confuso nas coisas em que trabalho, e cada um desses projetos e tópicos exige métodos e estratégias diferentes. Alguns são mais voltados para pesquisa; outros são apenas projetos operacionais que exigem uma solução prática. Mesmo quando estou no escritório, você pode não me ver porque eu ando por aí conversando com as pessoas sobre o que estão trabalhando. Eu me chamo de "psicometrista errante". Alguém pode me parar e dizer: "Ei, esperávamos ter 2.000 filhos e só conseguimos 200 para nossa pesquisa. O que fazemos?" ou "Estou tentando simular dados com uma estrutura fatoral aparentemente normal, mas estou obtendo resultados estranhos ao analisar os dados. Você tem ideia do porquê?" Eu gosto de entender esses tipos mais sutis de problemas.

E às vezes, algo com o qual eu poderia estar ajudando nesse contexto acaba sendo mais uma solução para alguém em outro contexto. Sou muito defensora da interação e das pessoas poderem trabalhar fora de suas áreas específicas. Dito isso, no fim das contas, quero ajudar o maior número possível de pessoas a entender o máximo possível sem interferir em restrições práticas — como realmente fazer nosso trabalho.