Introdução de uma nova exibição interativa para entender as mudanças nas pontuações NAEP dos estados para estudantes com pontuação mais alta e mais baixa

Quedas no desempenho dos alunos desde a pandemia de COVID-19 colocam em risco o avanço da sociedade em geral. Visualizações de dados cuidadosas podem ajudar a revelar como os alunos estão se saindo e quais são os que mais precisam de apoio adicional para estarem preparados para o sucesso após o ensino médio.

Em abril de 2025, o Conselho Nacional de Avaliação (NAGB) lançou uma ferramenta de dados do NAEP para explorar como o país e os estados estão indo no caminho da recuperação acadêmica usando as pontuações dos testes da Avaliação Nacional do Progresso Educacional (NAEP). A Figura 1 oferece um panorama da ferramenta. Ela destaca mudanças nas médias de uma nota (4º ou 8º ano) e de uma disciplina (leitura ou matemática) com gráficos de barras. A ferramenta de dados fornece um resumo dos principais pontos, mas, como mostramos em um post recente no blog da ETS Research, histórias mais completas de mudanças no desempenho dos alunos frequentemente se escondem atrás das médias de notas. Ou, como diz o mantra: "As médias podem esconder mais do que revelar!"

_{Figura 1. Reprodução do gráfico de barras de variações de pontuação da era da pandemia da NAGB para o país na leitura do 4º ano.}

Fomos inspirados a criar uma exibição interativa para observar mudanças de pontuação em todo o espectro de desempenho — porque se uma imagem vale mais que mil palavras, uma exibição interativa vale muito mais! Neste post do blog, destacamos o que essa nova ferramenta mostra sobre as mudanças no desempenho dos alunos entre pré e pós-pandemia em todos os 50 estados. Mesmo nos estados no topo do ranking NAEP, estudantes com pontuações mais baixas têm mais terreno para recuperar do que seus pares com pontuação mais alta. Em seguida, revisamos a funcionalidade da nossa exibição interativa para que você possa encontrar a próxima história nos dados.

_{Figura 2. Distribuições das pontuações de leitura do NAEP do 4º ano de 2019 e 2024 para o país.}

Na Figura 2, usamos as distribuições nacionais de pontuações de leitura do NAEP para o 4º ano de 2019 e 2024 para mostrar como as pontuações de leitura mudaram do período pré para pós-pandemia. Para cada ano, exibimos 5 pontos percentuais (disponíveis no NAEP Data Explorer), mostrando os pontos mais baixos (10º e 25º percentis), médios (50º percentil) e altos (75º e 90º percentis) do espectro de desempenho dos alunos.

Comparar as duas distribuições de pontuações mostra que, desde a pandemia, as notas caíram mais entre os alunos com pontuação mais baixa do que entre os alunos com pontuação mais alta. Isso é visto pela barra inferior, que representa a distribuição de pontuação de 2024, ser mais ampla do que a de 2019. Ela está deslocada para a esquerda para estudantes com pontuação mais baixa, mas está quase alinhada com a distribuição de pontuação de 2019 para alunos com pontuação mais alta. Também fazemos estas observações:

• Os 10% mais baixos dos alunos tiveram pontuação igual ou inferior a 168 em 2019, mas apenas com ou abaixo de 158 em 2024 — uma queda de 10 pontos.
• Em contraste, os 10% mais altos dos alunos obtiveram pontuação acima de 266 em 2019, comparados a quase a mesma pontuação de 265 em 2024 — uma queda de apenas 1 ponto.
• Usando a distribuição completa de pontuações, em vez de apenas olhar para as médias de pontuação, vemos que a queda para alunos com pontuação mais baixa é cerca de 10 vezes maior do que para alunos com pontuação mais alta.
• Essas diferenças nas mudanças de pontuação ao longo do espectro de desempenho se traduzem em uma disparidade de desempenho entre alunos de baixa e alta pontuação aumentando em 9 pontos entre 2019 e 2024.

_{Figura 3. Mudanças nas pontuações de leitura do NAEP do 4º ano para o país de 2019 a 2024. A linha horizontal em 0 distingue entre mudanças positivas e negativas.}

Para ver mais facilmente as variações nas mudanças de pontuação ao longo do espectro de desempenho, introduzimos uma variação do tipo gráfico para interpretar tendências. Como mostrado na Figura 3, combinamos a comparação de duas distribuições na Figura 2 em uma única linha.

Diferente dos gráficos lineares típicos dos resultados das avaliações, que mostram o ano de avaliação no eixo horizontal, em nosso gráfico, traçamos as pontuações de 2019 em múltiplos pontos percentuais no eixo horizontal, e as mudanças nesses pontos de 2019 a 2024 no eixo vertical. Também incluímos uma linha horizontal no zero para ajudar a identificar quando as pontuações em certos pontos do espectro de desempenho aumentaram de 2019 a 2024 (pontos acima da linha zero) versus aquelas que caíram (pontos abaixo da linha do zero). Pontos que estão na linha do zero ou próximos a ela indicam o mesmo ou quase o mesmo desempenho em 2024 que antes da pandemia em 2019. Em outras palavras, tais pontos indicam que a coorte do grau 4 de 2024 está nos níveis pré-pandemia.  

Para ajudar a ler o enredo, notamos que o primeiro ponto da linha na Figura 3 está posicionado:

• em 168 no eixo horizontal — correspondente ao percentil 10 em 2019 — e
• em -10 no eixo vertical — correspondendo a uma queda de 10 pontos no percentil 10 de 2019 a 2024.

Os outros pontos da linha na Figura 3 são determinados de forma semelhante para cada um dos percentuais restantes: 25º, 50º, 75º e 90º. Juntos, eles formam uma linha ascendente que conta a história das mudanças ao longo do espectro de desempenho em um olhar rápido. A linha inclinada para cima revela que alunos do quarto ano nos Estados Unidos tiveram uma perda maior de leitura na extremidade inferior/esquerda da distribuição de notas dos alunos do que na parte mais alta/direita da distribuição. Assim, ao olhar além da mudança nas médias de pontuação, revela-se que as perdas variaram ao longo do espectro de desempenho e a disparidade de desempenho entre alunos de baixa e alta pontuação aumentou.

_{Figura 4. Mudanças nas pontuações de leitura do NAEP do 4º ano para o país, Louisiana, Mississippi e Massachusetts de 2019 a 2024. A linha horizontal em 0 distingue entre mudanças positivas e negativas.}

No nosso blog anterior de pesquisa ETS, analisamos as pontuações de leitura do NAEP para três estados: um estado que tradicionalmente tem tido bons resultados no NAEP — Massachusetts — e dois estados que ainda não aprovaram, mas que implementaram políticas voltadas para melhorar o nível de leitura dos alunos — Mississippi e Louisiana. A Figura 4 mostra nossa abordagem de linha única para esses três estados, em contraste com o país como um todo.

Na Figura 4, vemos o seguinte:

• O padrão de pontuação para cima, que indica o aumento das diferenças entre estudantes de pontuação baixa e alta, não é exclusivo do país. Também é aparente, em certa medida, para os três estados.
• No entanto, as linhas para Louisiana e Mississippi são muito mais rasas ou menos íngremes, o que significa que ganhos e perdas educacionais foram mais semelhantes entre os alunos de alto e baixo desempenho. A linha para a Louisiana está acima de 0 e quase estável! Isso significa que a Louisiana conseguiu recuperar as pontuações até ou além dos níveis pré-pandemia para alunos de todo o espectro de desempenho. Alunos do 4º ano, independentemente da necessidade acadêmica ou do nível, estão tendo um desempenho melhor na Louisiana em leitura em 2024 do que antes da pandemia em 2019! Esse resultado pode refletir as reformas da Louisiana em ação.

As reformas do Mississippi também podem continuar a trabalhar para apoiar as necessidades dos estudantes:

• A linha do Mississippi segue a linha em negrito 0, indicando pontuações relativamente comparáveis em 2024 aos níveis pré-pandemia de 2019 em todo o espectro de desempenho.

Por outro lado, embora Massachusetts tenha tido uma das maiores médias de notas de leitura do NAEP para o 4º ano em 2024, vemos que:

• Massachusetts tem a linha mais íngreme, mostrando a mudança mais distinta em todo o espectro de desempenho e uma ampliação da diferença entre alunos de baixa e alta pontuação em 15 pontos!

_{Figura 5. Mudanças de 2019 a 2024 nos resultados de leitura do NAEP do Grau 4 para o país, todos os 50 estados, o Distrito de Columbia e a Avaliação Educacional do Departamento de Defesa (DoDEA) em nosso display interativo. Uma linha horizontal em 0 distingue entre mudanças positivas e negativas.}

A Figura 5 mostra a visão completa de todos os estados em nosso display interativo para leitura do 4º ano. Ela nos mostra que a Louisiana é única não apenas em comparação com o país, Mississippi e Massachusetts, mas com todos os estados! A maioria dos estados tem linhas inclinadas para cima como Massachusetts e fica completamente ou quase completamente abaixo de zero. Em outras palavras, a maioria dos estados ainda tem terreno a recuperar para alcançar os níveis de pontuação de leitura do 4º ano pré-pandemia, especialmente para os alunos com as notas mais baixas.

Como esses resultados são para leitura do 8º ano? E em matemática? Como foi o seu estado? Experimente a exibição interativa para encontrar sua história! Tem seus próprios dados de avaliação? Experimente esse método de plotagem entre tempos com eles também!

Como navegar na tela:

• Use o painel esquerdo de "Controles" para alternar entre leitura ou matemática e as notas do 4º ou 8º ano.

• Use o menu "Controles" à esquerda para alternar entre visualizar todos os estados ou mostrar estados selecionados de interesse. Segure a tecla "Control" para selecionar mais de um estado no menu suspenso. Segure a tecla "Shift" para selecionar estados listados consecutivamente.

• Faça uma pausa em um ponto em uma linha para ver uma caixa de hover aparecer com informações sobre o ponto de dados, incluindo o nome do estado, percentil selecionado e mudança de pontuação no percentil.

• Observe a posição horizontal da linha para ter uma noção do desempenho de base, pré-pandemia, em 2019. Por exemplo, em contraste com a linha da Virgínia, a linha de Porto Rico no gráfico de Matemática do 4º ano está muito mais deslocada para a esquerda, indicando desempenho relativamente baixo em 2019.

• Observe o comprimento das filas para identificar estados com diferenças menores ou maiores de desempenho entre estudantes de pontuação baixa e alta no ano base de 2019. Por exemplo, a DoDEA tem uma linha relativamente curta para matemática do 4º ano versus a linha relativamente longa para Maryland. Estudantes com pontuação baixa e alta na DoDEA tiveram pontuações mais semelhantes entre si em 2019 do que em Maryland.

Katherine E. Castellano, Marisol Kevelson, Emily Kerzabi e Anita Sands trabalham em pesquisas de avaliação em larga escala, e Michael Fauss trabalha em inovações no uso de IA para segurança de testes no ETS Research Institute. Mari é cientista associada de pesquisa; Katherine é cientista principal de pesquisa; Emily é gerente de projetos de pesquisa; Michael é cientista de pesquisa; e Anita é analista líder de pesquisa em políticas públicas. Os autores também reconhecem e agradecem a Nicholas Munyan-Penney (Diretor Assistente de Política de P-12 na edtrust) por seus comentários ponderados e revisão deste post no blog.