Aprofunde os dados para descobrir mais da história.

Nossa equipe está comprometida em inovar o relato de pontuações em grupos de estudantes para apoiar melhores oportunidades de aprendizagem para todos os estudantes. Iniciamos nossa colaboração como parte de uma equipe de co-design de usuários de dados de avaliação focados em políticas e pesquisadores que colaboraram para desenvolver melhores exibições dos resultados amplamente utilizados. Lideramos a equipe como parceiros — pesquisadores da ETS e o especialista em visualização de dados Eli Holder (3iap), que recentemente publicou o artigo inovador Unfair Comparisons. Na primavera passada, nos reunimos quinzenalmente para conceituar diferentes formas de relatar os resultados dos testes em grupo de estudantes que mudassem a reação de "É assim que é" para "Podemos ajudar os alunos atendendo às necessidades X, Y e Z!" Durante toda essa experiência, um mantra que guiou todos os nossos projetos foi "Vá além da média." Neste blog, nos unimos novamente para compartilhar como essa simples mudança pode iluminar muito mais sobre o desempenho dos alunos.

Há anos, estudantes em Massachusetts têm superado em média alunos de outros estados na avaliação de leitura da National Assessment of Educational Progress (NAEP). Eles fizeram isso novamente em 2024 tanto para o 4º quanto para o 8º ano. Tais notas altas chamaram a atenção de formuladores de políticas e líderes educacionais em outros estados que usam os resultados de Massachusetts como referência e como dicas para orientar suas próprias políticas estaduais. Mississippi e Louisiana, dois estados que historicamente tiveram pontuações muito menores que Massachusetts nas leituras do NAEP, foram elogiados por seus ganhos nas notas de leitura do NAEP, tornando-se exemplos para outros estados que buscam ideias em suas políticas. No entanto, embora Mississippi e Louisiana tenham subido no ranking estadual do NAEP, suas médias ainda são menores do que em estados do topo, como Massachusetts. Aprofundar mais os dados do NAEP e ir além das médias pode nos dar uma compreensão mais clara e completa do que Mississippi e Louisiana alcançaram e como os níveis de alfabetização de seus alunos se comparam entre si e com Massachusetts.

_{Figura 1. Um gráfico de barras das médias de notas de leitura do 4º ano na Avaliação Nacional do Progresso Educacional (NAEP) de 2024 mostra que Massachusetts obteve pontuações maiores, em média, do que Louisiana, Mississippi e o país.}

O NAEP Data Explorer (NDE), que oferece aos usuários acesso por menu a um tesouro de dados do NAEP, nos permitiu analisar o desempenho estadual de leitura dos alunos do 4º ano. A Figura 1 apresenta um gráfico de barras com as médias de notas de leitura do NAEP do 4º ano para o país e para Louisiana, Mississippi e Massachusetts. Embora gráficos de barras como esses tenham sido uma convenção popular, eles são enganosos de muitas maneiras, especialmente levando ao pensamento deficitário. Observamos algumas observações deste gráfico de barras simples:

• Os alunos de Massachusetts têm a maior média de leitura do 4º ano nos Estados Unidos, com uma pontuação média de 225, 10 pontos a mais do que a média nacional de 215 em 2024. Essa diferença não é ruído aleatório. Ela é estatisticamente significativa, assim como todas as outras diferenças apontadas ao longo do blog.
• O Mississippi teve a próxima maior média entre os três estados, com 219, 6 pontos a menos que Massachusetts, mas 4 pontos a mais que o país.
• A média de 216 da Louisiana foi semelhante à do país no geral.

Além das médias, o Explorador de Dados da NAEP fornece dados em nível estadual por vários percentis. Percentis dividem uma amostra de alunos em 100 partes iguais, cada uma representando 1% dos estudantes. Quando falamos de um percentil específico, estamos nos referindo ao valor igual ou abaixo do qual uma certa porcentagem dos alunos cai. Por exemplo, se a pontuação de um estudante está no percentil 75, isso significa que sua pontuação é igual ou superior a 75% das pontuações de todos os outros estudantes. Plotar vários pontos percentuais nos ajuda a entender melhor como as pontuações se comparam em toda a distribuição dos estudantes.

_{Figura 2. Gráfico de distribuição anotado das pontuações de leitura do NAEP do 4º ano de 2024 para o país.}

Da esquerda para a direita, os painéis da Figura 2 mostram como camadas adicionais de informações fornecem insights sobre as pontuações dos alunos em relação à escala NAEP. 

• No painel à esquerda, vemos como um gráfico de barras simples transmite apenas um ponto — a média nacional. Em gráficos como esses, os usuários tendem a criar sua própria ideia da distribuição das pontuações dentro ou ao redor da barra, o que pode levar a mal-entendidos dos dados e ao motivo de alguns grupos terem pontuações mais baixas que outros.
• No painel do meio, usamos um gráfico de distribuição de pontuação para destacar onde os alunos tendem a se destacar. Aqui, a seção com sombreamento mais escuro mostra que os 50% do meio dos estudantes em todo o país tiveram pontuações de 189 (25º percentil) a 245 (75º percentil).
• O painel à direita adiciona os níveis de desempenho do NAEP para fornecer um ponto de referência para interpretar os percentis de pontuação. Os níveis de desempenho descrevem o quanto os alunos demonstram conhecimento e habilidades, com o NAEP Básico representando domínio parcial. Aqui, a seção com sombreamento mais escuro mostra que os 50% intermediários das pontuações dos alunos abrangem três níveis de desempenho: abaixo do NAEP Básico, NAEP Básico e NAEP Proficiente. Além disso, o percentil 90 fica um pouco abaixo do nível NAEP Avançado, o que significa que menos de 10% dos alunos obtiveram pontuação alta o suficiente para alcançar o nível avançado.

_{Figura 3. Gráficos de distribuição das pontuações de leitura do NAEP do 4º ano de 2024. As médias de pontuações de leitura para o país e cada estado são mostradas em branco. Linhas verticais tracejadas indicam os pontos percentuais para a distribuição nacional.}

Dê uma olhada na Figura 3. Você vê o que nós vemos? O lado esquerdo da distribuição do Mississippi se assemelha mais ao de Massachusetts do que ao do país ou da Louisiana. Os 10º percentis do Mississippi e Massachusetts são cerca de 10 pontos mais altos que o do país.

Tanto Mississippi quanto Massachusetts estão vendo
Melhores notas para alunos com desempenho inferior
do que a nação como um todo.

O que você vê na extremidade direita da distribuição? Lá, as pontuações do Mississippi são menores do que as de Massachusetts (por 13 pontos) e Louisiana (por 4 pontos). 

Os alunos com melhor desempenho do Mississippi
pode precisar de mais suportes para alcançar o
Mesmo nível de desempenho dos alunos de outros estados.

A NAEP também coleta dados sobre várias características dos alunos, como se as famílias dos alunos são economicamente desfavorecidas. Quando dividimos as pontuações por status econômico, vemos um quadro mais completo das notas de leitura do 4º ano no Mississippi, Louisiana e Massachusetts (veja a Figura 4).

_{Figura 4. Gráficos de distribuição das pontuações de leitura do NAEP do 4º ano divididos por status econômico familiar. As pontuações médias de leitura do 4º ano por status econômico familiar para o país e cada estado estão mostradas em branco. Linhas verticais tracejadas indicam os pontos percentuais para a distribuição nacional.}

Quando analisados pela questão de saber se as famílias dos alunos são economicamente desfavorecidas, as pontuações de leitura variam substancialmente e geralmente são mais altas para alunos de famílias não economicamente desfavorecidas.  Alguns estados parecem estar indo melhor do que outros no ensino de leitura para alunos economicamente desfavorecidos.

Você vê o que vemos ao olhar para o painel à esquerda na Figura 4?

Tanto o Mississippi quanto a Louisiana estão superando o país como um todo
Quando se trata do desempenho dos alunos
de famílias economicamente desfavorecidas.

• O Mississippi tem a maior média de leitura do 4º ano (212) entre estudantes economicamente desfavorecidos, 8 pontos acima de Massachusetts (204) e 10 pontos acima do país (202).
• Tanto o 10º quanto o 25º percentis para estudantes economicamente desfavorecidos são 13 pontos mais altos no Mississippi do que em Massachusetts, embora proporcionalmente quase o dobro de estudantes estejam economicamente desfavorecidos no Mississippi (75%) do que em Massachusetts (40%).
• Os estudantes do Mississippi superam o país em cada ponto percentil da distribuição de pontuações por 6 a 15 pontos, exceto para os alunos com as maiores pontuações (no 90º percentil), com as maiores diferenças na extremidade esquerda da distribuição.
• Com 73% de seus alunos economicamente desfavorecidos, a Louisiana consistentemente supera o país em cerca de 7 pontos percentuais, exceto no ponto mais baixo.

Olhar para o painel direito da Figura 4, que mostra distribuições de pontuação para estudantes não economicamente desfavorecidos, nos levou às seguintes observações e a uma pergunta profunda.

• Todos os três estados têm médias mais altas que o país como um todo, entre 7 e 10 pontos.
• Olhando para o lado esquerdo das distribuições, tanto Mississippi quanto Massachusetts têm percentis notavelmente mais altos no 10º e 25º percentis do país como um todo — por 10 a 20 pontos.
• A maior distinção é o 10º percentil do Mississippi, que é 20 pontos maior que o do país.
• Quais apoios esses estados poderiam estar oferecendo a estudantes não economicamente desfavorecidos e com mais necessidades?

_{Figura 5. Gráficos de distribuição das pontuações de leitura do NAEP do 8º ano divididos por situação econômica familiar. As pontuações médias de leitura do 8º ano por status econômico familiar para o país e cada estado estão mostradas em branco. Linhas verticais tracejadas indicam os pontos percentuais para a distribuição nacional.}

Vamos passar para os dados da NAEP para o 8º ano dos nossos três estados para ver se as tendências se mantêm. Dividindo as pontuações por status econômico familiar, os gráficos de distribuição de pontuação no painel à esquerda da Figura 5 mostram que Mississippi e Louisiana têm desempenho equivalente ao de Massachusetts entre estudantes economicamente desfavorecidos no 8º ano. Os três estados superam o país no geral nas porções da esquerda para a média das distribuições.

No entanto, para estudantes que não são economicamente desfavorecidos, o Mississippi tem espaço para melhorias em relação a outros estados e ao país. Olhando para o painel direito na Figura 5, fazemos as seguintes observações:

• Comparado tanto a Massachusetts quanto à Louisiana, o Mississippi apresenta pontuações mais baixas em toda a distribuição, tanto para estudantes com notas mais altas quanto para as mais baixas.
  • Por exemplo, no Mississippi, o 25º percentil é 243, 15 pontos abaixo do 25º percentil de Massachusetts, que é 258, e 10 pontos abaixo do da Louisiana, que está em 253.
• Esse resultado para os alunos do 8º ano do Mississippi que não têm dificuldades econômicas é marcadamente diferente dos resultados do 4º ano, sugerindo que as intervenções de leitura podem precisar ser adaptadas às necessidades dos alunos à medida que desenvolvem habilidades de leitura mais avançadas nos anos superiores.
• Em contraste, para estudantes sem desvantagem econômica, a Louisiana apresenta um desempenho mais semelhante ao de Massachusetts — frequentemente superando o Mississippi por até 10 pontos.

Ao utilizar um programa comum de avaliação, os dados do NAEP podem fornecer comparações valiosas e detalhadas do desempenho dos alunos entre estados. 

As médias das pontuações do NAEP mostram que os estudantes de Massachusetts superam os alunos da Louisiana, Mississippi e do país como um todo, mas parar nas médias faria com que os telespectadores não alcançassem níveis mais altos de desempenho no Mississippi e Louisiana para alunos com notas mais baixas. Especificamente, o Mississippi, e às vezes a Louisiana, estão superando Massachusetts e/ou o país como um todo na leitura do 4º ano para

• alunos com notas mais baixas em todo o estado;
• estudantes economicamente desfavorecidos, especialmente aqueles com pontuação igual ou abaixo da média; e
• estudantes não economicamente desfavorecidos, especialmente aqueles que ficaram no percentil 10 e 25 inferiores. 
• Tanto Louisiana quanto Mississippi estão acompanhando em grande parte Massachusetts nas notas de leitura do 8º ano, especialmente entre estudantes economicamente desfavorecidos. Há espaço para melhorias nas pontuações de leitura do 8º ano do Mississippi, especialmente entre estudantes sem desvantagem econômica.

Nossa esperança é que os líderes estaduais da educação possam usar esses resultados como um salto
Fora do ponto para tentar aprender mais sobre quais políticas e práticas levaram
Louisiana e Mississippi para superar a nação ou outros estados,
especialmente quando se trata de melhorar os resultados de leitura para notas mais baixas
estudantes e estudantes economicamente desfavorecidos.

Uma exploração mais aprofundada do desempenho dos alunos pelo professor e das características da escola disponível no NAEP Data Explorer pode mostrar quais práticas de professores e escolas podem estar relacionadas ao melhor desempenho dos alunos nesses estados ou no seu próprio estado. Clique aqui para iniciar sua própria análise dos dados.

Marisol Kevelson, Katherine E. Castellano e Emily Kerzabi trabalham no Instituto de Pesquisa ETS. Mari é cientista associada de pesquisa; Katherine é cientista principal de pesquisa; Emily é gerente de projetos de pesquisa. Eli Holder é fundador da 3iap.