Teste adaptativo computadorizado

O teste adaptativo computadorizado (computerized adaptive testing ou CAT em inglês) é uma forma de teste baseado em computador que se adapta ao nível de habilidade do examinando. Por esse motivo, também foi chamado de teste sob medida. Em outras palavras, é uma forma de teste administrado por computador em que o próximo item ou conjunto de itens selecionados para serem administrados depende da correção das respostas do candidato aos itens administrados mais recentemente.

Como funciona

O CAT seleciona sucessivamente as questões com o objetivo de maximizar a precisão do exame com base no que se sabe sobre o examinando nas questões anteriores. Do ponto de vista do examinando, a dificuldade do exame parece adaptar-se ao seu nível de habilidade. Por exemplo, se um examinando tiver um bom desempenho num item de dificuldade intermédia, ser-lhe-á então apresentada uma questão mais difícil. Ou, se tivesse um desempenho ruim, seria apresentado a uma pergunta mais simples. Em comparação com os testes estáticos que quase todas as pessoas já experimentaram, com um conjunto fixo de itens administrados a todos os examinandos, os testes adaptativos por computador requerem menos itens de teste para chegar a pontuações igualmente precisas.

O método básico de teste adaptativo por computador é um algoritmo iterativo com as seguintes etapas:

1. O conjunto de itens disponíveis é procurado pelo item ideal, com base na estimativa atual da capacidade do examinando
2. O item escolhido é apresentado ao examinado, que então responde correta ou incorretamente
3. A estimativa de capacidade é atualizada com base em todas as respostas anteriores
4. As etapas 1 – 3 são repetidas até que um critério de encerramento seja atendido

Como resultado da administração adaptativa, diferentes examinandos recebem testes bastante diferentes. Embora os examinandos normalmente sejam submetidos a testes diferentes, suas pontuações de habilidade são comparáveis entre si (ou seja, como se tivessem recebido o mesmo teste, como é comum em testes elaborados usando a teoria clássica dos testes). A tecnologia psicométrica que permite calcular pontuações equitativas em diferentes conjuntos de itens é a teoria de resposta ao item (TRI). A TRI é também a metodologia preferida para selecionar itens ideais que são normalmente selecionados com base na informação e não na dificuldade, por si só.

Vantagens

Os testes adaptativos podem fornecer pontuações uniformemente precisas para a maioria dos participantes. Em contraste, os testes fixos padrão quase sempre fornecem a melhor precisão para os examinandos de capacidade média e uma precisão cada vez menor para os examinandos com pontuações mais extremas.

Desvantagens

O primeiro problema encontrado no CAT é a calibração do conjunto de itens. Para modelar as características dos itens (por exemplo, para escolher o item ideal), todos os itens do teste devem ser pré-administrados a uma amostra considerável e depois analisados. Para conseguir isso, novos itens devem ser misturados aos itens operacionais de um exame (as respostas são registradas, mas não contribuem para as pontuações dos participantes), chamados de "teste piloto", "pré-teste" ou "semeadura" . Isso apresenta questões logísticas, éticas e de segurança. Por exemplo, é impossível realizar um teste adaptativo operacional com itens totalmente novos e inéditos. Todos os itens devem ser pré-testados com uma amostra grande o suficiente para obter estatísticas de itens estáveis. Esta amostra pode ser tão grande quanto 1.000 examinandos. Cada programa deve decidir que percentagem do teste pode ser razoavelmente composta por itens de teste piloto sem pontuação.