Uma Nova Abordagem para Reportar Pontuações Agregadas de Crescimento dos Alunos

8 de dezembro de 2021

Atualmente, 48 estados nos Estados Unidos medem o crescimento do desempenho dos alunos como parte de seus programas estaduais de testes para alunos do ensino fundamental e médio. Frequentemente, as medidas de crescimento são usadas como parte dos sistemas de responsabilização para distritos, escolas ou até mesmo professores para fornecer uma visão mais completa do desempenho dos alunos do que apenas o desempenho atual. Esses sistemas usam a média do crescimento individual dos alunos para todos os alunos de um distrito, escola ou turma de professores. Embora essa abordagem, à primeira vista, possa parecer uma forma prática e direta de resumir o progresso dos alunos, na prática pode ser problemática.

Fazer a média das medidas de crescimento para escolas, distritos ou professores com poucos alunos pode resultar em flutuações substanciais de um ano para o outro. Uma escola pequena, por exemplo, com uma medida de crescimento alta em um ano, classificando-a no 90º percentil, pode ter um valor baixo no ano seguinte, colocando-o apenas no 10º percentil. Essas mudanças ano a ano podem dificultar o uso da média do crescimento dos alunos para a tomada de decisões. Considerando que essas decisões muitas vezes podem estar ligadas a altos riscos, implicações de financiamento e outras considerações que impactam alunos, escolas e distritos, é fundamental que essas medidas sejam precisas e forneçam informações acionáveis.

Nos últimos anos, temos trabalhado com o Departamento de Educação da Califórnia (CDE) para ajudá-los a entender melhor maneiras de medir e relatar o crescimento do desempenho estudantil do estado. Diante das altas flutuações de ano para ano, a Califórnia estava incerta se ou como proceder com a implementação de suas medidas de crescimento. Como resultado, buscamos encontrar uma forma de melhorar as medidas de crescimento (agregadas) do estado e eliminar a instabilidade excessiva das medidas para escolas ou distritos que atendem pequenos números de alunos ou para grupos estudantis de baixa incidência dentro de qualquer um deles, como alunos com deficiência ou aprendizes de inglês (ELs).

Durante nosso trabalho, recorremos a um método estatístico padrão conhecido como Previsão Empírica Linear (EBLP)  para melhorar a precisão e, consequentemente, reduzir as flutuações anuais das medidas de crescimento. Esse método estatístico é comumente usado em várias aplicações para fornecer medidas para múltiplos grupos, como resultados de pacientes em hospitais ou níveis de alfabetização em condados de um estado. Nossa equipe desenvolveu a metodologia necessária e algoritmos e códigos computacionais para aplicar esse método EBLP a dados de crescimento, para os quais podem existir mais de um milhão de medidas individuais de crescimento de alunos e centenas ou até milhares de escolas.

O método EBLP não é um novo modelo de crescimento estudantil. Ele pode ser aplicado a qualquer tipo de pontuação de crescimento estudantil, desde pontuações simples de ganho (por exemplo, pontuação do ano atual menos pontuação do ano anterior) até percentis de crescimento estudantil mais complexos . O poder do procedimento EBLP está em usar de forma ótima dados de pontuação de crescimento estudantil de vários anos para produzir uma estimativa melhor da pontuação de crescimento do grupo no ano de reportagem do estado. Simplificando, as pontuações agregadas de crescimento do EBLP são aproximadamente uma média ponderada das pontuações de crescimento dos alunos de dois ou mais anos letivos, em vez de uma média simples das pontuações apenas do ano de relato.

Além disso, o método EBLP se adapta ao tamanho do grupo. Para grupos maiores que já possuem estimativas mais precisas e estáveis, a pontuação agregada de crescimento do EBLP é quase idêntica à média simples. Ele coloca quase todo o peso nas pontuações de crescimento dos alunos no ano de reporte e pouco ou nenhum peso nas pontuações de crescimento dos alunos de anos anteriores. Por outro lado, para grupos menores, o procedimento EBLP atribuirá uma quantidade não trivial de peso às pontuações de crescimento do ano anterior, pois pode ajudar a informar o crescimento do grupo de estudantes no ano de reporte. Nesses casos, o EBLP diferirá mais visivelmente da média simples, mas também será mais preciso e estável que a média simples. O resultado geral é que as médias ponderadas pelo EBLP terão um impacto maior na melhoria da precisão e estabilidade de grupos menores, reduzindo a diferença de desempenho entre grupos menores e maiores. Usando esse método, estados com escolas e distritos que tendem a ter populações menores ou grupos pequenos dentro de escolas e distritos não serão mais penalizados simplesmente porque atendem menos alunos do que os maiores.

Usando essa metodologia EBLP, compartilhamos os resultados da nossa equipe com o CDE, cujos funcionários ficaram intrigados com o método como uma possível solução para as altas flutuações ano a ano observadas em seus escores agregados de crescimento e solicitaram que explorássemos seu potencial para melhorar a estabilidade das medidas de crescimento para escolas e distritos escolares em todo o estado. A exploração conduzida pelo ETS e pelo CDE revelou que o EBLP melhorou a precisão e a correlação entre anos das medidas de crescimento, especialmente para escolas e distritos escolares pequenos. Dado o sucesso da nossa abordagem proposta, o Conselho Estadual de Educação da Califórnia votou recentemente por unanimidade para aprovar o uso da abordagem EBLP para reportar o crescimento escolar e distrital, juntamente com o crescimento dos grupos estudantis dentro das escolas e distritos.

Saiba mais sobre esse trabalho ou sobre nossos Serviços de Consultoria em P&D.

Katherine Castellano é pesquisadora sênior na ETS. Dan McCaffrey é vice-presidente associado na ETS.