Clica Sempre na Primeira

01Clica Sempre na Primeira

Os quatro cursos de IA deste site acabam cada um em oito perguntas de escolha múltipla, com nota de corte de sete em oito. Escrevi-as uma a uma, depois de reler o capítulo correspondente. Cada pergunta tem três ou quatro opções, e a certa está identificada por um índice: 0 para a primeira, 1 para a segunda, e assim por diante.

Em todas as 32 perguntas dos quatro cursos, esse índice era 0.

Não foi uma decisão. É o que acontece quando se escreve uma pergunta a partir da resposta: pensa-se na coisa certa primeiro, escreve-se, e depois inventam-se as erradas por baixo. Repetido 32 vezes, produz um exame em que a estratégia vencedora é clicar sempre na primeira opção. Oito cliques, certificado emitido.

A correção moveu 24 das 32 respostas, mantendo idêntico o texto de cada resposta certa e o conjunto de opções de cada pergunta. A distribuição passou de 41 chaves na primeira posição para 17, ou seja de 64% para 27%. Verifiquei as 32 perguntas contra a versão anterior antes de publicar: 32 verificadas, zero problemas.

A segunda falha era pior

A parte prática de cada curso é um desafio de código: escreves três funções e o sistema corre-as contra testes escondidos. Na primeira versão, as funções que eu pedia eram exactamente aquelas cuja solução estava publicada mais acima, na mesma página, dentro de um exercício resolvido.

Scroll para cima, copiar, colar, submeter. Dez segundos. E o certificado dizia que a pessoa tinha passado num desafio prático.

O que me interessa neste capítulo não é a confissão. É o facto de nenhuma das duas falhas ser visível a olhar para o exame. Ambas eram invisíveis à leitura e óbvias aos dados: uma na distribuição das chaves, outra na sobreposição entre o que era pedido e o que estava publicado. Ninguém detecta isto a rever perguntas uma a uma, porque cada pergunta, isolada, estava bem.

02O Inquérito no Fim Não é Avaliação

A forma mais comum de avaliar formação é entregar um inquérito no fim da sessão. Gostou do formador? O ritmo foi adequado? Recomendaria este curso? Chamam-lhe avaliação da formação e vai para um relatório.

Isso mede satisfação. Satisfação e aprendizagem são coisas diferentes, e não é garantido que andem no mesmo sentido: um curso confortável, bem ritmado e sem momentos difíceis agrada mais e costuma exigir menos. Um curso que obriga a pessoa a descobrir o que não sabia é mais desagradável de frequentar e mais eficaz.

O enquadramento clássico para separar estas coisas é o de Donald Kirkpatrick, de 1959, com quatro níveis: reação (gostou), aprendizagem (sabe), comportamento (faz diferente no trabalho) e resultados (a organização nota a diferença). A esmagadora maioria da formação mede o nível 1 e chama-lhe avaliação.

A razão pela qual se fica pelo nível 1 não é ignorância, é preço. O inquérito custa dois minutos e uma folha. O nível 2 obriga a construir um instrumento de medida, que é o assunto deste guia inteiro. O nível 3 obriga a voltar ao posto de trabalho semanas depois. O nível 4 obriga a isolar o efeito da formação de tudo o resto que aconteceu na empresa nesse trimestre.

03A Planta Escreve-se Antes das Perguntas

Antes de existir uma única pergunta, tem de existir uma tabela que diz que domínios o exame cobre, com que peso cada um, e quantas perguntas cabem a cada um. Em inglês chama-se blueprint, ou test specification. Em português é a planta do exame, e é literalmente isso: desenha-se antes de construir.

Sem planta, escreves perguntas sobre aquilo que é fácil transformar em pergunta. E o que é fácil transformar em pergunta de escolha múltipla raramente é o que importa: sintaxe, nomes de funções, valores por omissão. O exame acaba com a forma do teu conforto em vez da forma do trabalho.

A planta também resolve uma discussão que de outra forma se repete para sempre. Quando alguém diz que o exame não cobre bem determinada área, a resposta deixa de ser opinião contra opinião e passa a ser uma linha numa tabela, que se pode mudar deliberadamente e com consequência visível no número de perguntas.

04Anatomia de Uma Pergunta

O vocabulário é pequeno e vale a pena fixá-lo, porque sem ele não se consegue discutir uma pergunta sem apontar para ela. Uma pergunta chama-se item. O enunciado chama-se stem. A opção certa é a chave. As opções erradas são distractoras.

A regra que resume quase tudo o resto: uma distractora tem de estar errada por uma razão em que alguém acreditaria mesmo. Se está errada por ser absurda, não é uma opção, é enchimento, e a pergunta que parecia ter quatro hipóteses tem na prática duas.

As melhores distractoras vêm de erros reais. Se dás formação, já os viste: a confusão clássica entre duas coisas parecidas, o passo que toda a gente esquece, a resposta que estaria certa noutra versão da ferramenta. Escreve essas. Uma distractora inventada à secretária quase nunca é tão boa como uma que já viste alguém cometer.

Os quatro erros que aparecem sempre

• A chave é a opção mais comprida. Acontece porque a resposta certa costuma precisar de uma ressalva, e as erradas não. Quem não estuda aprende a contar palavras.
• Todas as anteriores. Reconhecer duas opções certas basta para a escolher, e reconhecer uma errada basta para a excluir. Mede menos do que parece.
• A concordância gramatical denuncia. Um enunciado que acaba em "um" elimina todas as opções femininas sem a pessoa saber nada do tema.
• Duas opções que dizem o mesmo. Se duas dizem a mesma coisa por palavras diferentes, nenhuma pode ser a chave, e quem repara elimina as duas de graça.

05O Exame Que se Passa Sem Saber

Há duas maneiras de passar num exame sem dominar a matéria. Uma é encontrar a resposta em vez de a saber. A outra é descobrir uma regularidade na construção do exame e explorá-la. Já contei como o meu tinha as duas.

Três regras que vieram desse erro

1. Nunca avaliar aquilo cuja solução está publicada na mesma página. Parece óbvio depois de dito. Não é óbvio a construir, porque o instinto é avaliar exactamente o que se acabou de ensinar, e o que se acabou de ensinar está ali em cima, resolvido.
2. A posição da chave tem de estar distribuída. Não por elegância: porque uma posição dominante é uma estratégia vencedora que não exige saber nada.
3. O que mostras quando alguém falha condiciona a vida do item. Mostrar os casos de teste ensina bem e queima a pergunta para sempre, porque quem falha uma vez leva a resposta consigo.

A terceira é a mais interessante e é onde há uma escolha real. No motor deste site, quando um desafio de código falha, a pessoa não vê os casos de teste. Vê categorias do que correu mal: aceitou o que devia rejeitar, rejeitou o que devia aceitar, não devolveu nada, rebentou com erro. É informação suficiente para perceber onde está a lógica errada, e insuficiente para reconstruir o teste.

06De Onde Vem a Nota de Corte

Quase toda a formação usa 70%. Ninguém sabe explicar porquê. É herança, não é decisão, e quando se pergunta de onde veio a resposta costuma ser que foi sempre assim.

Decidir a nota de corte com método tem um nome, standard setting, e há várias formas de o fazer. A mais usada em certificação chama-se método de Angoff, e a origem é curiosa: foi descrita por William Angoff numa nota de rodapé de um capítulo de 1971 sobre escalas e normas. Uma nota de rodapé tornou-se o procedimento dominante da indústria de certificação.

Como funciona, em linguagem normal

Junta-se um painel de pessoas que conhecem bem a função. Percorre-se o exame pergunta a pergunta. Para cada uma, cada pessoa do painel escreve um número: de cem candidatos minimamente competentes, quantos acertariam esta? Somam-se as estimativas ao longo do exame, faz-se a média do painel, e o resultado é a nota de corte.

A parte que faz o método funcionar não é a aritmética, é a discussão. Quando as estimativas de uma pergunta divergem muito, isso quase nunca significa que alguém se enganou na conta. Significa que as pessoas do painel estão a imaginar candidatos diferentes, ou que a pergunta é ambígua. Nas duas situações, descobriste alguma coisa antes de o exame chegar a alguém.

Sentei-me num painel destes. O que mais me marcou foi descobrir que era sistematicamente mais duro do que a média nas perguntas sobre coisas que eu próprio tinha ensinado, e mais brando nas outras. Não é defeito de carácter, é o efeito de quem ensinou achar que aquilo é evidente. Só se vê comparando com o resto do painel.

O candidato minimamente competente

Toda a estimativa assenta numa pessoa imaginária: aquela que está mesmo em cima da linha. Sabe o suficiente para passar e nem mais um bocadinho. Não é o bom aluno, não é o profissional experiente, e não és tu.

Se as pessoas do painel não descreverem essa pessoa em voz alta e por escrito antes de começar, cada uma vai estimar contra um candidato diferente, e a média de estimativas incomparáveis não significa nada. É o passo que mais se salta e o que mais estraga o resultado.

07O Que os Dados Dizem Depois

Até aqui, tudo o que este guia descreve acontece antes de alguém responder. Depois de as pessoas responderem, há uma segunda camada de trabalho que se chama análise de itens, e é onde se descobre que perguntas cuidadosamente escritas não estão a funcionar.

Os quatro números

• Dificuldade, ou valor p. A percentagem de pessoas que acertou. É contra-intuitivo: quanto mais alto o número, mais fácil a pergunta. 0,90 quer dizer que noventa por cento acertaram.
• Correlação ponto-bisserial. Mede se quem foi bem no exame todo acertou mais nesta pergunta em concreto. É o número mais útil dos quatro.
• Análise de distractoras. Que opções erradas foram escolhidas, e por quem. Uma distractora com zero escolhas está morta.
• Fiabilidade. Um valor entre 0 e 1, normalmente KR-20 ou alfa de Cronbach, que diz se o exame é consistente consigo próprio. Numa certificação com consequências, quer-se acima de 0,80.

A correlação ponto-bisserial merece mais uma frase, porque é a que encontra os defeitos. Se der um valor negativo, a pergunta está estragada: significa que as pessoas que foram bem no resto do exame erraram esta, e as que foram mal acertaram. Quando isso acontece, quase nunca é porque a matéria é difícil. É porque o enunciado tem duas leituras e quem sabe mais escolhe a leitura sofisticada, ou porque a chave está simplesmente errada.

Digo isto por uma razão prática, não por escrúpulo. Muito do que se lê sobre avaliação é escrito por quem aprendeu o vocabulário e nunca viu os dados, e o resultado é um texto que soa competente e não distingue o que é fácil do que é difícil. Se estás a construir uma certificação a sério, chega uma altura em que precisas de alguém que já tenha olhado para estas tabelas com consequências em cima.

08As Perguntas Gastam-se

Uma pergunta usada muitas vezes deixa de medir competência e passa a medir exposição. As pessoas falam umas com as outras, escrevem em fóruns, tiram fotografias ao ecrã, e vendem-se coleções de perguntas de exames populares. A partir de certo número de utilizações, quem acerta pode ter estudado ou pode ter visto.

O termo é desgaste, ou exposição de itens, e a consequência é que um banco de perguntas tem prazo de validade. Não é um activo que se constrói uma vez, é um consumível.

A conta que interessa é simples e desconfortável. Se um exame tem 40 perguntas, se cada pergunta aguenta um certo número de exposições antes de estar comprometida, e se tens um determinado número de candidatos por mês, sai daí a velocidade a que queimas perguntas. Compara com a velocidade a que consegues escrever perguntas novas com qualidade, revistas por alguém que percebe do assunto. Na maior parte das organizações a segunda é muito mais lenta do que a primeira, e ninguém fez a conta.

09Gerar Perguntas com um Modelo, Sem Baixar o Critério

Um modelo de linguagem escreve cinquenta perguntas de escolha múltipla sobre qualquer tema em poucos minutos. A maior parte é medíocre, algumas estão erradas, e distinguir as duas coisas a olho é exactamente o trabalho que se estava a tentar poupar. Por isso, gerar perguntas com um modelo de forma ingénua não resolve o problema do capítulo anterior: troca lentidão por volume não fiável.

O princípio que uso em tudo o que construo com modelos é o mesmo aqui: o modelo redige, o código decide. Nunca se confia no que sai, verifica-se antes de deixar entrar. É a mesma ideia que desenvolvo no guia sobre verificar código escrito por IA, aplicada a perguntas em vez de a código.

O que se verifica em código, sem opinião

• A pergunta tem exactamente uma chave, e as opções são todas diferentes entre si.
• O enunciado não contém a resposta, nem em sinónimo óbvio.
• As opções têm comprimentos comparáveis, para o comprimento não denunciar a chave.
• A posição da chave, no conjunto do exame, está distribuída pelas posições disponíveis.
• A pergunta aponta para uma célula concreta da planta, e essa célula ainda tem vaga.
• Não há duas perguntas quase idênticas no mesmo banco.

Nenhuma destas verificações precisa de julgamento. São todas decidíveis por um programa, e um programa não se cansa à trigésima pergunta, que é precisamente quando um humano começa a aprovar coisas por fadiga.

Validar não é avaliar

Esta é a distinção que decide se um processo destes funciona ou se produz lixo bem formatado. O código diz-te que o item está bem construído. Não te diz que é um bom item. Não sabe se a distractora é plausível para quem está a aprender, não sabe se a pergunta mede a competência ou apenas a capacidade de ler um enunciado retorcido, e não sabe se a chave continua certa depois de a ferramenta mudar de versão.

10Prática: Desenha um Exame de Dez Perguntas

Este capítulo não tem matéria nova. Tem o exercício que junta os anteriores, e a parte que interessa não é escrever as perguntas, é correr a verificação sobre o que escreveste e encontrar pelo menos um defeito. Se não encontrares nenhum, provavelmente não estás a procurar bem.

Não há solução para este exercício, porque o tema é teu. Há um critério de sucesso: no fim, tens de conseguir apontar para pelo menos um defeito que encontraste no teu próprio exame e explicar como o corrigiste. Os mais comuns na primeira tentativa são três, e apareceram todos no meu: distractoras que não representam erro nenhum, a chave concentrada nas primeiras posições, e pelo menos uma pergunta cuja resposta está no material que a pessoa acabou de ler.

11O Certificado é Uma Promessa a Terceiros

Um certificado não é para quem o tira. Se fosse, bastava a pessoa saber que aprendeu, e não era preciso papel nenhum. Um certificado é uma afirmação feita a alguém que o vai ler mais tarde, quase sempre a decidir se contrata, se promove ou se confia. É uma promessa a terceiros, e quem a emite responde por ela.

É por isso que um exame fácil não é generoso. Quando se baixa a fasquia, não se está a fazer um favor a quem passa: está a esvaziar-se o valor de toda a gente que já tinha aquele papel, incluindo de quem o tirou quando ainda custava. E está a transferir-se um custo para quem lê o certificado e decide com base nele.

Este guia começou com duas falhas minhas. Fecho com uma decisão que tomei de propósito: no certificado que este site emite está escrito, em letra pequena mas está lá, que não é uma certificação profissional. Não sou uma entidade acreditada, não tenho população de candidatos, e o capítulo 7 explica em concreto o que isso significa sobre o que posso e não posso afirmar.

Dizer o que uma credencial não é faz parte de a tornar honesta. É a parte mais barata de todo este trabalho e é a que quase ninguém faz.