Um recente Hackathon, organizado pelo /dev/color, reuniu organizações selecionadas para explorar o Science Tutor for Effective Problem Solving (STEPS) do Stanford Ideal Learning Lab, um agente pedagógico impulsionado por IA, projetado para ajudar estudantes de graduação em STEM a fortalecer seus processos de resolução de problemas.
Representamos o Instituto de Pesquisa da ETS para examinar como a ciência da medição pode ser integrada em ambientes de tutoria por IA. Como o STEPS já funciona como uma plataforma de avaliação formativa, o hackathon nos ofereceu uma oportunidade oportuna de examinar como as evidências de aprendizagem dos alunos podem ser usadas em tempo real para personalizar a tutoria com IA.
Conectando ciência da medição e o incentivo de LLM
Nosso principal entregável foi um mapeamento arquitetônico abrangente de um pipeline de modelo de aprendiz de ponta a ponta e em loop fechado, que poderia ser incorporado à plataforma STEPS. Desenvolvemos essa arquitetura por meio da colaboração entre nossa equipe ETS e /dev/color. No nosso projeto proposto, utilizamos múltiplas fontes de evidência, incluindo medidas do uso do STEPS pelos alunos, resultados de avaliações diagnósticas e auto-relatos para informar a aprendizagem personalizada. Esses fluxos de dados são então sintetizados em perfis de aprendizes que podem orientar a experiência de tutoria. Especificamente, traduzimos medidas quantitativas, como pontuações ou padrões de interação entre aluno e chatbot, em instruções pedagógicas para o tutor de IA. Essas determinam quanto apoio oferecer e quando incentivar a reflexão. Essas instruções pedagógicas são incorporadas aos prompts usados pelo sistema de tutoria de IA generativa dentro do STEPS, permitindo que o tutor adapte seu suporte com base em evidências sobre as necessidades de cada aluno para criar uma experiência de aprendizagem mais personalizada. Nossa colaboração com /dev/color ajudou a garantir que a abordagem fosse fundamentada em pesquisa e prática para implementar.
Conclusões estratégicas para o ETS
Com base no feedback positivo que recebemos da diretora do Ideal Learning Lab de Stanford, Dra. Shima Salehi, e de outros participantes do hackathon, identificamos várias oportunidades para o ETS:
- Medição como facilitadora da IA adaptativa: À medida que os sistemas de tutoria com IA amadurecem, seus criadores buscam ativamente métodos sistemáticos e baseados em evidências para modelar a progressão de aprendizagem dos alunos, traços não cognitivos e habilidades duradouras. O ETS está em posição única para preencher essa lacuna.
- O valor das nossas ferramentas: Integrar pesquisas e capacidades de medição ETS aos sistemas de tutoria em IA demonstra um caminho claro para que nossa pesquisa impulsione tecnologias de aprendizagem de próxima geração.
- Um modelo para parcerias futuras: O hackathon oferece um forte plano conceitual de como a ETS pode fazer parcerias com laboratórios acadêmicos de pesquisa de alto nível para fornecer a infraestrutura de medição subjacente para suas plataformas educacionais.
Ao combinar nossa expertise na ETS com a tecnologia emergente de IA, podemos avançar para um sistema de suporte mais responsivo e compreensivo para cada aprendiz.