Evals como disciplina: por que LLM testing é diferente
Ao terminar: Você monta uma avaliação de LLM com hipótese, dataset e métrica, em vez de confiar em 'parece bom'.
Por que isto é disciplina, e não ferramenta
A pergunta "como sei se ficou melhor?" parece técnica e é organizacional. Times que tratam avaliação como uma biblioteca a instalar acabam com um painel que ninguém olha. Times que tratam como condição para mudar qualquer coisa acabam com um produto que melhora de forma cumulativa.
A diferença aparece numa situação concreta: alguém propõe trocar o prompt. Na primeira cultura, a resposta é "parece melhor, sobe". Na segunda, é "roda no conjunto e me mostra o número". A segunda demora dez minutos a mais e evita a regressão que ninguém notaria por três semanas.
O antipadrão que custa mais caro
Construir, publicar e só então tentar medir qualidade. Sem linha de base, sem conjunto curado e sem rastro, investigar a reclamação de um usuário vira arqueologia: você não tem o que a versão anterior respondia, nem como comparar. Avaliação montada no dia um custa horas; montada depois do incidente, custa semanas e não recupera o passado.
Os quatro pilares, e o que cada um responde
| Pilar | Responde a | Sem ele |
|---|---|---|
| Conjunto curado | "O sistema funciona nos casos que importam?" | Você testa com os exemplos que lembra na hora — sempre os fáceis, sempre os que já funcionam |
| Métrica objetiva | "Melhorou quanto, e isso é maior que o ruído?" | "Parece melhor" — que é indistinguível de viés de quem fez a mudança |
| Observação em produção | "O que os usuários reais encontram que meu conjunto não tem?" | O conjunto envelhece e passa a medir um problema que não existe mais |
| Suíte de regressão | "O que eu já consertei continua consertado?" | Progresso em círculos: cada correção reabre um caso antigo, e ninguém percebe |
O pilar que fecha o ciclo
A observação em produção é o que alimenta os outros três: toda falha real vira caso novo no conjunto e teste na suíte de regressão. Sem ela, a avaliação mede o que você imaginou no início do projeto — para sempre.
Como isso vira prática de time, não intenção
Cultura declarada não muda comportamento; o que muda é o que está no caminho crítico. Quatro regras que funcionam porque bloqueiam:
- Toda mudança de prompt, modelo ou ferramenta acompanha o resultado da avaliação antes e depois. Não é documento — é uma linha no pedido de mudança.
- A suíte de regressão bloqueia a publicação. Enquanto for opcional, ela é ignorada exatamente nos dias em que mais importa: os de pressa.
- Decisão de modelo se toma com número no seu domínio, não com resultado de benchmark público. Benchmark é triagem.
- Avaliação humana periódica sobre uma amostra, para conferir se o juiz automatizado ainda concorda com o julgamento humano. Sem essa calibração, todos os outros números perdem base.
O sinal de que a disciplina pegou
Alguém propõe uma mudança e a primeira pergunta do time — não do líder — é "qual foi o resultado no conjunto?". Nesse ponto, a avaliação deixou de ser processo imposto e virou como o time pensa.
Qual é o anti-padrão mais comum ao introduzir avaliação num projeto?
Quando NÃO vale montar tudo isso
Rigor tem custo, e aplicá-lo cedo demais mata protótipo. A fronteira é razoavelmente nítida:
📋 Quanto rigor de avaliação para o estágio atual
Enquanto você está descobrindo se a ideia funciona, um conjunto formal atrasa a única coisa que importa, que é aprender rápido. A partir do momento em que existe usuário real, a conta inverte: rodar 100 exemplos em três modelos custa poucos dólares, e escolher o modelo errado em produção custa a confiança de quem usa.
Alt: Conjunto formal desde a primeira linha — Atrasa a validação da ideia, e o conjunto provavelmente medirá o produto errado — porque ele ainda vai mudar
Alt: Nunca formalizar — Funciona até a primeira regressão silenciosa, e aí não há como descobrir quando quebrou
Perguntas frequentes
❓ Por que testar LLM é diferente de testar software?
❓ Avaliação é responsabilidade de quem?
❓ Quando começar a montar avaliação?
Fixando
O que significa uma cultura orientada a dados no desenvolvimento com modelos?
Quais pilares sustentam uma prática de avaliação madura?
Terminou de ler?
Marcar como concluído registra o XP, mantém sua sequência e coloca 3 cartas deste módulo na fila de revisão espaçada.
Próximos passos sugeridos
Temas deste módulo
Discussão
Carregando comentários…