Customization & Evaluation — fine-tune, CPT, model eval
- ⬜🛡️ Security & Governance para AI workloads(AWS AI Practitioner (AIF-C01))
Recomendamos completar os pré-requisitos antes de seguir, mas nada te impede de continuar.
Existem quatro maneiras de fazer um foundation model servir melhor ao seu caso, e elas custam ordens de grandeza diferentes. O exame quase sempre pergunta a mesma coisa por baixo: qual é a intervenção mais barata que atende ao requisito. Escolher a mais poderosa quando a mais simples resolve é a resposta errada.
A escada de customização
Suba um degrau só quando o de baixo comprovadamente não resolve.
| Degrau | O que muda | Custo e tempo | Resolve |
|---|---|---|---|
| Prompt engineering | Nada no modelo — só a instrução | Minutos, custo de inferência | Formato, tom, tarefa bem descrita |
| RAG | Nada no modelo — injeta contexto | Horas, custo de embedding e busca | Conhecimento próprio, volátil e citável |
| Fine-tuning | Ajusta pesos com seus pares de entrada e saída | Horas a dias, custo de treino e de hospedagem | Formato muito específico, estilo consistente, tarefa estreita e repetitiva |
| Continued pre-training | Continua o pré-treino com texto cru do seu domínio | Dias, o mais caro de todos | Vocabulário e jargão de um domínio inteiro que o modelo mal viu |
Fine-tuning ensina forma, RAG traz fato
A confusão que o exame explora: fine-tuning NÃO é o jeito de ensinar fatos ao modelo. Ele ensina padrão — como responder, em que formato, com que estilo. Fato que muda, precisa de citação de fonte ou tem que estar atualizado é RAG. Se o enunciado diz "a informação muda toda semana", fine-tuning está eliminado, não importa o resto.
- → sempre começa aqui
- → falta conhecimento próprio
- → gerenciado
- → formato ainda inconsistente
- → o jargão é do domínio inteiro
- → comparar
- → baseline
- → gabarito
- Conceito de arquitetura
- IA e machine learning
O caminho é sempre da esquerda para a direita, e cada seta exige uma justificativa medida. Sem o baseline avaliado no degrau 1, não há como afirmar que o degrau 3 melhorou algo — e é essa medição que a maioria dos projetos pula.
- Todo caso começa no prompt. É a intervenção de minutos. Boa parte do que se atribui a "limitação do modelo" é instrução ambígua ou formato de saída não especificado.
- Falta conhecimento seu? É RAG, não treino. Documento interno, catálogo, política. RAG resolve com atualização barata e com citação da fonte — duas coisas que fine-tuning não entrega.
- Fine-tuning entra quando o padrão não cola no prompt. Sinal claro: você precisa de dezenas de exemplos few-shot para o formato sair certo, e isso já custa tokens em toda chamada. Aí compensa mover o padrão para os pesos.
- Continued pre-training é para o vocabulário do domínio. Jurídico, biomedicina, engenharia de um nicho. O modelo precisa entender o jargão, não imitar um formato. Use texto cru, não pares pergunta-resposta.
- Sem avaliação, a escada não tem sentido. Meça o degrau 1 antes de subir. Comparar o modelo ajustado com "a impressão de como estava antes" é o erro que faz projeto gastar semanas de treino para ganhar nada.
Como o dado de fine-tuning se parece
Para fine-tuning supervisionado, pares de entrada e saída no formato que você quer que o modelo produza. Para continued pre-training, texto cru — sem rótulo, sem par.
{"prompt": "Classifique o ticket: 'não consigo logar desde ontem'",
"completion": "{\"categoria\": \"acesso\", \"urgencia\": \"alta\"}"}
{"prompt": "Classifique o ticket: 'gostaria de mudar meu plano'",
"completion": "{\"categoria\": \"comercial\", \"urgencia\": \"baixa\"}"}Onde o fine-tuning falha na prática
Qualidade vence quantidade e a diferença é grande. Algumas centenas de exemplos consistentes superam milhares de exemplos contraditórios, porque exemplo contraditório ensina o modelo a ser inconsistente. Se dois exemplos parecidos têm rótulos diferentes sem motivo visível, o problema está no dado, e treinar mais só amplifica.
LoRA e QLoRA aparecem no exame como conceito: em vez de ajustar todos os pesos, treinam um conjunto pequeno de parâmetros adicionais. O efeito prático é treino muito mais barato e rápido, com resultado próximo do ajuste completo para tarefa estreita. Você não precisa implementar — precisa saber que é isso que torna fine-tuning viável em orçamento normal.
Um banco quer que o assistente responda sempre no mesmo formato estruturado, com campos fixos, sobre produtos cujo catálogo muda toda semana. Qual combinação é a correta?
Avaliação: as três formas
Domínio 3 tem um pedaço inteiro sobre isso, e a escolha depende do que você está medindo.
| Forma | Como funciona | Boa para |
|---|---|---|
| Métrica automática | Compara a saída com a referência: exatidão, F1, ROUGE, BLEU | Classificação, extração, tradução — onde existe resposta certa |
| Modelo como juiz | Outro modelo avalia a resposta contra critérios que você define | Texto aberto: resumo, redação, atendimento. Escala bem e é consistente |
| Avaliação humana | Pessoas julgam, geralmente comparando duas respostas | A referência final. Caro e lento — use em amostra, para calibrar as outras duas |
No Bedrock isso aparece como Model Evaluation, com trabalhos automáticos (métrica sobre dataset) e trabalhos com avaliadores humanos. Para o exame, o que importa é reconhecer que existe avaliação gerenciada e que a escolha da forma depende de existir ou não uma resposta objetivamente correta.
O limite das métricas automáticas
ROUGE mede sobreposição de palavras com o texto de referência. Serve para resumo, com ressalva: um resumo excelente escrito com outras palavras pontua mal. É exatamente por isso que texto aberto tende a pedir juiz ou humano — a métrica de sobreposição não entende paráfrase.
Perguntas frequentes
❓ Quando ajuste fino vale mais que RAG ou prompt?
❓ Quantos exemplos são necessários para ajuste fino?
❓ O que é pré-treino continuado?
Fixando
Depois de um fine-tuning, a equipe quer saber se houve ganho real numa tarefa de classificação de tickets. Qual abordagem sustenta a conclusão?
Um laboratório precisa que o modelo compreenda terminologia de patologia clínica que raramente aparece em texto público. Não há pares de pergunta e resposta prontos, apenas 4 GB de laudos e artigos internos. Qual técnica se aplica?
Próximo passo
Fim do Domínio 3. Começa o Domínio 4, sobre IA responsável — bias, transparência e Guardrails. É aif-responsible-ai.
Terminou de ler?
Marcar como concluído registra o XP, mantém sua sequência e coloca 3 cartas deste módulo na fila de revisão espaçada.
Próximos passos sugeridos
Temas deste módulo
Discussão
Carregando comentários…