Em um momento em que a IA está transformando a forma como os alunos aprendem e os professores ensinam, poucas vozes são tão influentes quanto a Dra. Kristen DiCerbo, Diretora de Aprendizagem da Khan Academy. Recentemente, a ETS conversou com a DiCerbo para explorar como o design de aprendizagem baseado em evidências, as tecnologias emergentes e o compromisso com a equidade educacional estão se unindo para moldar o futuro da instrução personalizada.
Nesta conversa, DiCerbo oferece um raro olhar nos bastidores sobre o que a inovação significativa na educação realmente exige. Ela investiga o que está funcionando, o que ainda precisa ser resolvido e como os educadores podem navegar por esse cenário em transformação com otimismo e clareza.
Como Diretor de Aprendizagem da Khan Academy, você tem estado na vanguarda da integração da IA às experiências de aprendizagem. O que mais te entusiasma ao usar sinais comportamentais para medir habilidades além das avaliações tradicionais?
DiCerbo: Na verdade, acho que o que a IA nos oferece talvez não sejam sinais comportamentais, mas novas atividades. Temos trabalhado no uso de sinais comportamentais em avaliação há mais de uma década, com evidências de simulações e jogos. Eu diria que a coisa mais empolgante sobre a IA generativa e a avaliação é que ela permite novos tipos de interação. Por exemplo, os alunos podem ter conversas com IA que imitam conversas do mundo real. Eles também podem gerar resultados visuais de maneiras que nunca eram possíveis antes.
Por que você acha que agora é o momento certo para repensar como medimos competências como colaboração e persistência?
DiCerbo: A capacidade de ter novos tipos de interações conversacionais abre formas mais autênticas de avaliar construtos como colaboração e comunicação. Por exemplo, se quiséssemos avaliar persuasão, os indivíduos poderiam ter conversas com uma IA para persuadi-los de uma posição. Antes da IA generativa, conversas na avaliação não eram possíveis. Veja a avaliação PISA de 2015 sobre resolução colaborativa de problemas. Para simular diálogos colaborativos de resolução de problemas, os criadores dos testes tiveram que usar seleção de múltipla escolha, onde os candidatos escolheram qual opção "dizer" em seguida. Isso restringiu significativamente o espaço de soluções possíveis para os candidatos e obviamente tornou a experiência muito menos parecida com uma conversa real de resolução de problemas. Agora, com a IA generativa, temos a possibilidade de os alunos participarem de conversas como fariam com humanos para demonstrar suas habilidades. Claro, isso exige esforço significativo, incluindo coisas como tentar guiar as respostas da IA às contribuições dos alunos.
Sobre persistência em particular, vejo isso de forma diferente dos construtos acima. Persistência é essencialmente observar se alguém continua tentando diante do fracasso. Conseguimos observar isso em ambientes digitais por pelo menos a última década (como escrevi aqui em 2016).
Existem oportunidades para incorporar dados multimodais, como voz ou gesto, em avaliações? Quais desafios ou considerações éticas acompanham isso?
DiCerbo: Ao lançar Khanmigo, tutor e assistente de professores com IA da Khan Academy, nossos recursos de texto para fala e fala para texto foram bem recebidos, especialmente como formas de reduzir a carga de leitura e digitação. À medida que avançamos para a avaliação, o desafio de incluir voz ou gesto será evitar viés na pontuação.
Onde você vê maior potencial no uso de IA e dados comportamentais para medição de habilidades e quais limitações os educadores devem ter em mente?
DiCerbo: Estamos entusiasmados por termos lançado um recurso tante chamado "Explique Seu Pensamento" com cerca de 8.000 alunos no último ano. Os alunos se envolvem com uma pergunta tradicional de matemática e depois dialogam com IA generativa, no qual são convidados a explicar o raciocínio por trás da resposta. A atividade tem como objetivo imitar o que os professores fazem quando sentam ao lado de um aluno e perguntam sobre seu trabalho. Como pesquisas anteriores feitas na ETS, descobrimos que os alunos revelam mais sobre sua compreensão nesses cenários do que apenas ao inserir uma resposta. Isso significa que professores e outros envolvidos obtêm mais insights sobre o que os alunos sabem e podem fazer.
Como você equilibra a profundidade dos insights dessas abordagens inovadoras com a necessidade de escalabilidade e praticidade nas salas de aula?
DiCerbo: Como em muitas coisas na avaliação, a inovação é melhor começar no espaço formativo, onde as consequências para coisas como o aumento do erro de medição são pequenas. Se um aluno dedica um tempo praticando algo que já dominou porque uma avaliação indicou que ele não dominou, isso não é um erro fatal. Avaliações em sala de aula com IA generativa podem ser criadas por professores com relativa facilidade, como este professor fez ao criar provas orais para sua turma.
Olhando para o futuro, qual papel você vê para a IA na criação de avaliações que pareçam autênticas e culturalmente responsivas?
DiCerbo: Precisamos de mais pesquisas sobre se a personalização que pode ser possível com avaliações baseadas em IA generativa resulta em avaliações mais válidas e confiáveis. Certamente é verdade que a inclusão de conhecimento de base irrelevante para construtos pode resultar em menor validade para alguns candidatos. É possível que, usando IA generativa, itens de avaliação e atividades possam ser ajustados para considerar as experiências individuais, a linguagem e a compreensão cultural dos alunos. No entanto, fazer isso mantendo as definições padrão do construto avaliado não é uma tarefa simples.
Quais pesquisas ou inovações mais te entusiasmam nos próximos anos para medir habilidades do mundo real através do comportamento?
DiCerbo: Coloco as inovações em alguns compartimentos. Aqui está o que me anima.
- Tecnologia que existe, mas que ainda não otimizamos para avaliação:
- IA agente - permite que a separação de diferentes partes do processo de avaliação seja realizada por agentes especializados
- Janelas de contexto grandes - fornecer grandes quantidades de informações à IA pode ajudar com feedback e pontuação com critérios complexos
- Tecnologia disponível nos próximos 12 meses:
- Streaming acessível de texto, áudio e vídeo – permitindo que tanto o candidato quanto a IA interajam de várias formas, como nesta demonstração de Sal e seu filho
- IA explicável - entender que o raciocínio de IA suportará melhor aplicações como pontuação, onde pontuações "caixa preta" não ajudam a fornecer feedback aos aprendizes
- Modelos conscientes da privacidade no dispositivo - abordarão preocupações sobre compartilhamento de dados e privacidade
- Tecnologia disponível nos próximos 1 a 3 anos:
- Simulações multiagente - os participantes interagem com múltiplas IAs que desempenham diferentes papéis na avaliação, simulando cenários reais em grupo