Avaliação de busca: MRR, NDCG, P@K, golden datasets

Posição recíproca média quando existe uma resposta certa, ganho cumulativo descontado quando há graus de relevância, e precisão nos primeiros resultados quando a tela mostra poucos. A escolha vem da interface: se o usuário vê três resultados, medir os dez primeiros informa pouco.

Com consultas reais do registro, e os documentos relevantes anotados por quem entende o domínio — incluindo grau de relevância quando faz sentido. Cinquenta consultas bem anotadas medem melhor que quinhentas anotadas às pressas, porque anotação inconsistente vira ruído.

Porque toda mudança em corte, embedding ou reordenação parece melhorar quando testada em duas consultas escolhidas por quem fez a mudança. Sem conjunto de referência, a discussão é de opinião e a regressão passa. Medir primeiro é o que transforma ajuste em engenharia.