LLM-as-judge: armadilhas e mitigações

Três documentados: prefere resposta mais longa, prefere a primeira apresentada, e tende a concordar com o estilo do próprio modelo que o gerou. Os três inflam nota sem melhorar qualidade — e os três se mitigam com critério objetivo, alternância de ordem e ancoragem em casos corrigidos à mão.

Comparação, quase sempre: o juiz é bom em dizer qual das duas é melhor e ruim em atribuir 7 ou 8 de forma reprodutível. Se você precisa de nota absoluta, ancore com exemplos pontuados por humano e trate a nota como faixa, não como número.

Quando o critério exige conhecimento de domínio que o modelo não tem, ou julgamento com consequência — segurança, saúde, decisão financeira. Aí ele serve para triagem e a decisão fica com humano. Usar juiz em critério que ele não sabe avaliar produz número com aparência de medição.