MLOps & Monitoramento — SageMaker Pipelines, Model Monitor, observabilidade Bedrock
⏱ 28 min·⭐ 110 XP
Pré-requisitos (0/1)0%
- ⬜🎯 Customization & Evaluation — fine-tune, CPT, model eval(AWS AI Practitioner (AIF-C01))
Recomendamos completar os pré-requisitos antes de seguir, mas nada te impede de continuar.
📘 Domínio 1 — Fundamentos de IA e ML· 20%
O ciclo de vida de ML é conteúdo de Domínio 1, e é onde o exame cobra que você saiba que o trabalho não termina no deploy. Modelo em produção degrada sem ninguém mexer nele, porque o mundo que ele aprendeu muda. Reconhecer o tipo de degradação e a ferramenta que a detecta é o que se pede.
O ciclo, com nome em cada etapa
A sequência que o exame usa como referência.
1. Enquadrar o problema de negócionegócio
Que decisão será tomada com a predição, e qual erro custa mais. Definir isso depois do treino é a causa mais comum de projeto que entrega métrica boa e valor nenhum.
▼
2. Coletar e preparar o dadodado
A etapa mais longa. Inclui análise exploratória, tratamento de faltante, engenharia de atributo e a divisão em treino, validação e teste.
▼
3. Treinar e ajustarmodelo
Escolher algoritmo, treinar, ajustar hiperparâmetro. O conjunto de validação guia o ajuste; o de teste fica intocado.
▼
4. Avaliarmodelo
Métrica adequada à tarefa, no conjunto de teste, e por grupo quando houver risco de viés. Exatidão global em dado desbalanceado engana.
▼
5. Registrar e aprovargovernança
O modelo vai para o registry com versão, métrica e linhagem. A promoção para produção passa por aprovação — é controle de governança, não burocracia.
▼
6. Implantaroperação
Endpoint em tempo real, transformação em lote, ou serverless. A escolha vem do padrão de uso, não da preferência do time.
▼
7. Monitorar e retreinaroperação
Deriva de dado, deriva de qualidade, viés que aparece depois. O gatilho de retreino sai daqui, e fecha o ciclo de volta na etapa 2.
💡
Por que existem três conjuntos
O conjunto de teste existe para ser usado uma vez. Ajustar hiperparâmetro olhando o resultado do teste transforma ele em validação, e a estimativa de desempenho fica otimista — você mediu quão bem o modelo vai naquele conjunto específico, não no mundo. É o erro conceitual mais cobrado sobre a etapa 3.
SageMaker Pipelines e Model Registry
A automação desse ciclo, na AWS, tem nomes que o exame usa.
Dado
S3dataset versionado
Feature Storeatributos reutilizáveis
Pipeline
Processinglimpa e divide
Trainingtreina e ajusta
Evaluationmétrica no conjunto de teste
Governança
Model Registryversão + linhagem
AprovaçãoPendingManualApproval
Produção
Endpointou batch transform
Operação
Model Monitorderiva de dado e de qualidade
CloudWatchalarme dispara retreino
- → atributos
- → se a métrica passar
- → aguarda decisão
- → aprovado
- → captura de dados
- → métrica de deriva
- → gatilho de retreino
- Armazenamento
- Conceito de arquitetura
- Gestão e governança
O ciclo se fecha: o monitoramento em produção alimenta o gatilho de retreino, e o pipeline roda de novo. A aprovação entre registro e endpoint é o que impede que "a métrica passou" signifique automaticamente "está em produção".
- O pipeline é o ciclo em código. Cada etapa é um step com entrada e saída declaradas. O ganho não é automação: é reprodutibilidade — dá para saber exatamente com que dado e que parâmetro aquele modelo nasceu.
- O registro guarda versão, métrica e linhagem. Modelo sem registro é arquivo em bucket. Quando o auditor perguntar qual versão decidiu aquele caso em março, a resposta está aqui — ou não existe.
- A aprovação é um portão explícito. O step de aprovação manual separa "passou na métrica" de "liberado para decidir sobre pessoas". Em domínio regulado, é esse portão que a conformidade exige ver.
- Endpoint ou lote é decisão de padrão de uso. Resposta necessária em milissegundos, por requisição, pede endpoint. Milhões de predições uma vez por noite pedem batch transform — e endpoint ligado 24/7 para uso esporádico é o desperdício mais comum.
- O monitoramento fecha o laço. Model Monitor compara o dado que chega com uma linha de base e aponta deriva. O alarme não retreina sozinho por mágica: alguém liga o alarme ao gatilho do pipeline.
Os tipos de deriva
A distinção decide questão. O sintoma é parecido, a causa e a correção não são.
| Tipo | O que mudou | Como se detecta |
|---|---|---|
| Deriva de dado (data drift) | A distribuição da entrada mudou — outro perfil de cliente, outra faixa de valor | Comparação estatística com a linha de base. Não precisa saber o resultado real |
| Deriva de conceito (concept drift) | A relação entre entrada e resposta mudou — o que indicava fraude ano passado não indica mais | Só aparece quando o resultado real chega. Exige rótulo posterior |
| Deriva de qualidade do modelo | A métrica caiu, medida contra o resultado real observado | Model Monitor com rótulo de retorno (ground truth) |
| Deriva de viés | O desempenho por grupo se desequilibrou ao longo do tempo | Clarify em modo de monitoramento contínuo |
TipoDeriva de dado (data drift)
O que mudouA distribuição da entrada mudou — outro perfil de cliente, outra faixa de valor
Como se detectaComparação estatística com a linha de base. Não precisa saber o resultado real
TipoDeriva de conceito (concept drift)
O que mudouA relação entre entrada e resposta mudou — o que indicava fraude ano passado não indica mais
Como se detectaSó aparece quando o resultado real chega. Exige rótulo posterior
TipoDeriva de qualidade do modelo
O que mudouA métrica caiu, medida contra o resultado real observado
Como se detectaModel Monitor com rótulo de retorno (ground truth)
TipoDeriva de viés
O que mudouO desempenho por grupo se desequilibrou ao longo do tempo
Como se detectaClarify em modo de monitoramento contínuo
⚠️
Por que uma é rápida e a outra é lenta
Deriva de dado é detectável imediatamente — basta comparar a entrada de hoje com a linha de base. Deriva de conceito só é detectável quando o resultado real chega, e em muitos negócios isso demora semanas: um modelo de inadimplência só descobre que errou quando o prazo vence. Por isso deriva de dado serve como alerta antecipado — ela costuma preceder a queda de qualidade.
from sagemaker.model_monitor import DefaultModelMonitor
from sagemaker.model_monitor.dataset_format import DatasetFormat
monitor = DefaultModelMonitor(role=ROLE, instance_count=1, instance_type="ml.m5.xlarge")
# A linha de base sai do conjunto de TREINO — é a definição do que é normal.
# Sem ela não há do que divergir, e é o passo que mais se esquece de configurar.
monitor.suggest_baseline(
baseline_dataset="s3://lago/train/dados.csv",
dataset_format=DatasetFormat.csv(header=True),
output_s3_uri="s3://lago/baseline/",
)
monitor.create_monitoring_schedule(
endpoint_input=predictor.endpoint_name,
output_s3_uri="s3://lago/relatorios/",
schedule_cron_expression="cron(0 * ? * * *)",
enable_cloudwatch_metrics=True,
)
# O que este monitor pega: deriva de DADO — a distribuição da entrada mudou.
# O que ele NÃO pega: deriva de CONCEITO — a entrada está idêntica e a RELAÇÃO
# com a resposta mudou. Essa exige rótulo verdadeiro, que costuma chegar tarde;
# até lá, o sinal disponível é a mudança de importância dos atributos.Quiz rápido
Um modelo de previsão de demanda mantém a mesma exatidão medida no conjunto de teste, mas há três meses passou a errar em produção. O perfil dos pedidos mudou depois de a empresa entrar numa nova região. Que fenômeno é este, e o que detecta primeiro?
Observabilidade de aplicações com foundation model
Com Bedrock você não treina nem hospeda, então o que se monitora muda de natureza: em vez de deriva de atributo, o que importa é custo, latência, e qualidade da resposta.
| O que medir | Onde vem | Por que importa |
|---|---|---|
| Tokens de entrada e saída por chamada | Bloco `usage` da resposta, e métrica no CloudWatch | É a base de todo controle de custo e do rateio por equipe. Instrumentar depois é quase impossível |
| Latência por modelo | CloudWatch | Modelo maior responde melhor e mais devagar. Sem medir, a escolha é opinião |
| Taxa de intervenção do Guardrail | Métrica do Guardrail | Bloqueio excessivo em pergunta legítima é defeito. Sem medir, você só descobre por reclamação |
| Qualidade da resposta em amostra | Avaliação periódica com conjunto de referência | A qualidade pode cair sem nada mudar do seu lado — mudou o modelo, ou mudaram as perguntas |
| Quem invocou qual modelo | CloudTrail | Governança e investigação de incidente |
O que medirTokens de entrada e saída por chamada
Onde vemBloco `usage` da resposta, e métrica no CloudWatch
Por que importaÉ a base de todo controle de custo e do rateio por equipe. Instrumentar depois é quase impossível
O que medirLatência por modelo
Onde vemCloudWatch
Por que importaModelo maior responde melhor e mais devagar. Sem medir, a escolha é opinião
O que medirTaxa de intervenção do Guardrail
Onde vemMétrica do Guardrail
Por que importaBloqueio excessivo em pergunta legítima é defeito. Sem medir, você só descobre por reclamação
O que medirQualidade da resposta em amostra
Onde vemAvaliação periódica com conjunto de referência
Por que importaA qualidade pode cair sem nada mudar do seu lado — mudou o modelo, ou mudaram as perguntas
O que medirQuem invocou qual modelo
Onde vemCloudTrail
Por que importaGovernança e investigação de incidente
Perguntas frequentes
❓ O que um pipeline de ML precisa ter?
As etapas encadeadas e reproduzíveis: preparar dado, treinar, avaliar, registrar o modelo e implantar — com a aprovação no meio, entre registrar e implantar. É a aprovação que separa automação de descontrole, e é o que a prova cobra em cenário de governança.
❓ Como detectar que o modelo degradou em produção?
Monitorando duas coisas diferentes: desvio no dado de entrada, que muda antes do resultado, e qualidade da predição quando há rótulo posterior. O primeiro é o alarme antecipado — quando a distribuição de entrada muda, a queda de acerto vem depois, e agir no primeiro sinal é o que evita o incidente.
❓ O que monitorar num sistema com modelo generativo?
Além de latência e erro, três coisas que só existem aqui: tokens por requisição, que é custo; número de voltas quando há agente, que é comportamento; e taxa de saída rejeitada pela validação, que é qualidade. As três juntas transformam "o modelo piorou" em algo investigável.
Fixando
Quiz rápido
Uma equipe precisa poder responder, numa auditoria, qual versão do modelo tomou uma decisão em março e com que dado ela foi treinada. Qual prática sustenta essa resposta?
Quiz rápido
Uma aplicação usa Bedrock e o custo cresceu 4x em um mês sem aumento proporcional de usuários. Qual instrumentação permite achar a causa?
💡
Próximo passo
Conteúdo coberto. Falta a estratégia de prova e o simulado: como atacar cada domínio, onde estão as pegadinhas e como administrar 90 minutos. É aif-simulado-final.
Terminou de ler?
Marcar como concluído registra o XP, mantém sua sequência e coloca 3 cartas deste módulo na fila de revisão espaçada.
Próximos passos sugeridos
Temas deste módulo
Discussão
Carregando comentários…