Eval frameworks: Braintrust, Langfuse, Inspect, Promptfoo

• → só o que não é objetivo
• → aprovado

• Fora da AWS
• Conceito de arquitetura
• Segurança e identidade
• Compute
• Gestão e governança

O desenho é um ciclo, e o portão é o que o torna útil: avaliação que não bloqueia nada é painel. A seta de volta — falha vira caso — é o que faz o sistema melhorar de forma cumulativa.

1. 1 · Verificação objetiva primeiro, porque é grátis. Esquema válido, campo presente, valor exato. Onde existe resposta única, não há por que gastar um julgamento por modelo.
2. 2 · O juiz é para o que não tem resposta única. Ele custa dinheiro e tem viés. Usá-lo onde a verificação objetiva bastaria é trocar precisão por despesa.
3. 3 · Inverter a ordem cancela o viés de posição. O juiz prefere a primeira resposta. Rodar nas duas ordens e tirar a média separa preferência real de artefato do formato.
4. 4 · A suíte de regressão é a memória. Sem ela, cada correção reabre um caso antigo e o progresso anda em círculos sem ninguém perceber.
5. 5 · Só bloqueando é que a avaliação muda comportamento. Enquanto ela apenas informa, é ignorada nos dias de pressa — que são justamente os dias em que a regressão passa.
6. 6 · A falha de produção fecha o ciclo. Cada uma vira caso novo. É o que faz o conjunto convergir para o uso real em vez de medir para sempre o que alguém imaginou no início.