Cinco Coisas Que Você Não Sabia Sobre Segurança de Testes na ETS

por Ray Nicosia

Princeton, NJ, EUA (3 de junho de 2022) – Manter a segurança das nossas avaliações no ETS tem sido um esforço que dura décadas. À medida que os testes passaram do papel e lápis para o baseado em computador, e do centro de testes para o domicílio, a transformação da indústria de testes foi profunda. Com essa evolução vem a necessidade de enxergar a segurança de maneiras novas e diferentes, e que estamos continuamente fazendo tudo o que é necessário, e ainda mais, para nos manter à frente daqueles que tentam enganar e prejudicar a integridade dos nossos testes.

Por mais complexo que possa ser o campo da segurança de testes, aqui estão cinco coisas que você talvez não saiba (mas deveria) sobre segurança de testes na ETS:

1. O Escritório de Integridade dos Testes (OTI) da ETS vem combatendo fraudes e trapaças em testes há mais de 64 anos.

Por 64 anos, a ETS conta com um escritório dedicado de OTI, composto por investigadores, especialistas e analistas que garantem a validade e integridade de nossos exames e cujo trabalho é defender aqueles que fazem exames com honestidade. Em coordenação com monitores altamente treinados, tecnologias de IA e análise de dados, a equipe trabalha para analisar as pontuações e sessões de teste suspeitas de terem sido obtidas ou conduzidas de forma injusta e, como resultado, cancelam as pontuações dos testes, caso haja evidências de que isso justifique. Como líder do setor na área, nosso escritório de OTI reconhece a necessidade de fazer mais para combater a trapaça ao redor do mundo.

2. A ETS investiu bilhões de dólares nas últimas 60 décadas em segurança de testes e infraestrutura tecnológica para combater trapaças.

A ETS investiu dezenas de milhões de dólares a cada ano, nos últimos anos, em segurança de testes e infraestrutura tecnológica — bilhões nas últimas 60 décadas. Nos próximos meses, planejamos investir dezenas de milhões de dólares adicionais para aprimorar nossas capacidades tecnológicas e aprimorar as medidas de segurança dos testes para detectar até as formas mais mínimas de trapaça. Essas capacidades e melhorias incluem, mas certamente não se limitam a: prevenção contínua de software de acesso remoto (RAS) usando expertise e capacidades proprietárias do ETS, combinadas com novas tecnologias integradas para sustentar medidas de segurança de teste de classe mundial; aprimorar modelos de aprendizado de máquina para continuar detectando comportamentos desonestos em testes em alta frequência; desenvolver novos e aprimorar modelos estatísticos existentes que apoiem esforços contínuos para identificar e desmantelar redes de trapaça e trapaceiros; e pesquisa contínua sobre novos tipos de itens e abordagens de design de avaliação específicas para combater a trapaça. Os investimentos que fazemos são além de nossos rigorosos protocolos de segurança e procedimentos de controle de qualidade implementados para investigar problemas, cancelar pontuações e responsabilizar indivíduos que violam nossas políticas de testes.

3. O ETS pode, e de fato, cancelar as notas dos testes — mesmo depois de serem liberadas para os candidatos e instituições.

Quando a ETS possui evidências de que as pontuações de um candidato podem ter sido obtidas injustamente — uma violação da nossa política de testes — a OTI pode impedir a divulgação das pontuações para avaliar melhor a sessão de testes e as pontuações obtidas para determinar se essas pontuações devem ser canceladas. Em alguns casos, isso significa cancelar as notas mesmo quando já foram liberadas para os examinadores e/ou instituições, se houver evidências coletadas após a liberação que determinem que as pontuações foram obtidas devido a uma vantagem injusta. Nos casos mais extremos, a ETS proíbe candidatos que violam nossas políticas de teste.

4. Colar em avaliações padronizadas não é exclusivo do ETS.

A trapaça é um problema em toda a indústria que foi destacado pelo boom da indústria de testes remotos nos últimos 2 anos. Embora não seja frequentemente discutido no setor educacional, devemos aos nossos stakeholders mantê-los informados sobre o que estamos vendo, como estamos lidando com as preocupações e nossos planos para o futuro. Sabemos que a segurança dos testes é um dos pilares mais cruciais do processo de testes de ponta a ponta, que garante que as notas sejam válidas, confiáveis e dignas de confiança, e como organização líder em segurança de testes e testes remotos, levamos a sério nossa responsabilidade de proteger honestamente os candidatos que fazem o teste. Estamos igualmente comprometidos em servir instituições ao redor do mundo que dependem das pontuações para decisões de alto risco. Notas não confiáveis têm implicações para estudantes despreparados que não conseguem cumprir o rigor dos programas de ensino superior e, consequentemente, impactam negativamente a reputação institucional conquistada com tanto esforço. Cancelamentos de notas são um sinal de boa fiscalização por parte das organizações de testes, e a ausência desses cancelamentos deve causar hesitação tanto para instituições quanto para os interessados.

5. As avaliações em casa contribuíram para o aumento das tentativas de colar entre os candidatos.

Com o novo modelo de entrega dos testes em casa, o ETS registrou um aumento de mais de 200% nos cancelamentos de pontuações tanto nas administrações dos testes TOEFL^® quanto GRE^® combinadas em nosso segundo ano de testes em casa (AF21) em comparação com o primeiro ano (AF20). Embora esse aumento tenha ocorrido, isso não significa que nossa vigilância diminuiu. Na verdade, é exatamente o oposto, evidenciado pela nossa capacidade de identificar atividades fraudulentas e cancelar pontuações após análises e investigações minuciosas. Embora haja mais tentativas de colar, por padrão, mais pontuações estão sendo canceladas. Vimos exemplos de tentativas de candidatos a colar usando softwares de acesso remoto, testes proxy, celulares para enviar e receber mensagens, além de uma combinação dessas e outras técnicas de trapaça. Nossa equipe OTI é composta por especialistas líderes em segurança de testes e continuará à frente para garantir que capturemos e desencorajemos os candidatos que tentam colar em nossas avaliações.

Ray Nicosia é Principal de Segurança de Testes no Escritório de Integridade de Testes da ETS.

Sobre o ETS

Na ETS, promovemos a qualidade e a equidade na educação para pessoas em todo o mundo, criando avaliações baseadas em pesquisas rigorosas. A ETS atende indivíduos, instituições educacionais e órgãos governamentais fornecendo soluções personalizadas para certificação de professores, aprendizado da língua inglesa, educação fundamental, secundária e pós-secundária, além de realizar pesquisas, análises e estudos de políticas educacionais. Fundada como uma organização sem fins lucrativos em 1947, a ETS desenvolve, administra e pontua mais de 50 milhões de testes anualmente — incluindo os testes ^TOEFL® e TOEIC^®, os testes GRE^® e as avaliações da Série^® Praxis — em mais de 180 países, em mais de 9.000 locais ao redor do mundo.

www.ets.org