Saber se está certo antes de subir — e medir quando piora.
A frustração nº 1 de quem programa com IA é a resposta "quase certa, mas não" — 66% dos desenvolvedores em 2026. Eval é o que transforma essa sensação em número: conjunto de casos, critério de acerto, e regressão detectada antes do deploy. Inclui as armadilhas de usar modelo como juiz, detecção de alucinação em produção e o custo de rodar avaliação no CI.
Agrupados pela trilha de origem — o tema atravessa 20 trilhas.
As consultas de maior intenção deste tema, respondidas aqui.
Com um conjunto fixo de casos e critério de acerto verificável rodando a cada mudança — é a única forma de transformar "parece bom" em número. A frustração nº 1 de quem programa com IA é a resposta quase certa, e ela só aparece em volume: um caso passa, cinquenta revelam o padrão. Sem eval, cada deploy é aposta com resultado descoberto pelo usuário.
Menos do que se imagina para detectar regressão, e mais do que se imagina para medir qualidade absoluta. Algumas dezenas de casos bem escolhidos — cobrindo o caminho comum e as bordas conhecidas — já pegam a maior parte das quebras. O que não funciona é conjunto montado só com casos fáceis: ele passa sempre e não informa nada.
Exigindo que a resposta cite o trecho de origem e verificando essa citação contra o material — se o trecho não existe ou não sustenta a afirmação, é alucinação, e isso é checável sem julgamento humano. Modelo como juiz ajuda a escalar, com a ressalva de que ele tem os próprios vieses. Onde a resposta errada tem custo alto, a verificação precisa estar fora do modelo.