Capstone: fine-tune de modelo especialista de domínio
⏱ 20 min·⭐ 95 XP
Pré-requisitos (0/1)0%
- ⬜🚀 Deploy modelo customizado: vLLM, TGI, Bedrock(Fine-tuning & Customização de LLMs)
Recomendamos completar os pré-requisitos antes de seguir, mas nada te impede de continuar.
Escopo
| Entregável | O que prova |
|---|---|
| Curadoria como código versionado | O conjunto é reproduzível e cada remoção é justificável |
| Verificação de contaminação | Sua métrica mede generalização, não memorização |
| Comparação pareada com o modelo base | Você mediu se o ajuste VALEU, não só se o resultado é bom |
| Cartão do modelo com limitações | Alguém pode confiar na saída sabendo onde ela falha |
| Servidor funcionando | O modelo virou serviço, e não um arquivo de pesos |
| Conclusão honesta, inclusive negativa | Concluir que não compensou é resultado, não fracasso |
EntregávelCuradoria como código versionado
O que provaO conjunto é reproduzível e cada remoção é justificável
EntregávelVerificação de contaminação
O que provaSua métrica mede generalização, não memorização
EntregávelComparação pareada com o modelo base
O que provaVocê mediu se o ajuste VALEU, não só se o resultado é bom
EntregávelCartão do modelo com limitações
O que provaAlguém pode confiar na saída sabendo onde ela falha
EntregávelServidor funcionando
O que provaO modelo virou serviço, e não um arquivo de pesos
EntregávelConclusão honesta, inclusive negativa
O que provaConcluir que não compensou é resultado, não fracasso
- Domínio: escolha concreto (ex: Brazilian legal contract classification)
- Dataset: 2000-5000 exemplos curados, dedup, contamination check
- FT: LoRA em Llama-3-8B ou Mistral-7B (QLoRA se GPU limitada)
- Eval: golden set 100+ com ground truth + pairwise vs base
- Deploy: vLLM container + Hugging Face Space demo
- Docs: model card, README, repo público
Entregáveis (checklist)
# Capstone entregáveis
✓ GitHub repo público: ft-legal-contracts-br
├── data/
│ ├── raw/ (source, gitignored se sensível)
│ ├── process.py (curation pipeline)
│ └── README.md (dataset provenance)
├── train/
│ ├── train.py (LoRA/QLoRA)
│ └── config.yaml
├── eval/
│ ├── golden_set.jsonl (100+ curated)
│ ├── eval.py (pairwise + metrics)
│ └── report.md (results vs base model)
├── deploy/
│ ├── Dockerfile (vLLM server)
│ ├── huggingface_space/ (demo interativa)
│ └── README.md
└── model_card.md (Mitchell et al. template)
✓ Hugging Face Model: github.com/you/model
✓ Hugging Face Space: huggingface.co/spaces/you/ft-demo
✓ Blog post explicando approach + results✅
Capstone ML serious. Recrutador vê: dataset curado, FT rigoroso, eval quantitative, deploy funcional, model card. Diferencial profissional real — não "tutorial HF finetuning colado".
Quiz rápido
O capstone exige avaliação pareada contra o modelo base, e não apenas a pontuação do modelo ajustado. Por quê?
Perguntas frequentes
❓ Por onde começar um projeto de ajuste fino?
Pela avaliação. Com conjunto de referência e a nota do modelo base medida, cada passo seguinte é comparável. Começar coletando dado sem saber a linha de base é o caminho de terminar sem poder afirmar que melhorou — e é o que acontece na maioria dos projetos.
❓ Qual domínio rende mais num projeto de especialista?
Domínio com formato de saída rígido e vocabulário próprio — revisão de código com convenção da casa, redação jurídica padronizada, laudo estruturado. É onde o comportamento estável é o problema, e é exatamente o que ajuste fino resolve melhor que prompt.
❓ Como saber se o projeto não deveria ter sido RAG?
Se os erros do modelo base são de FATO — ele não sabe algo específico —, era recuperação. Se são de FORMA — sabe, e responde do jeito errado —, é ajuste fino. Fazer esse diagnóstico no conjunto de erros antes de treinar economiza o projeto inteiro.
Fixando
Quiz rápido
O que um cartão de modelo entrega que o repositório de código não entrega?
Quiz rápido
Por que o pipeline de curadoria dos dados é entregue como código versionado, e não como uma limpeza feita à mão?
Terminou de ler?
Marcar como concluído registra o XP, mantém sua sequência e coloca 3 cartas deste módulo na fila de revisão espaçada.
Próximos passos sugeridos
Temas deste módulo
Discussão
Carregando comentários…