Transformação e atributos: o defeito que nenhum ajuste de modelo conserta

Vazamento de dado é quando um atributo do treinamento carrega informação que não existiria no momento da previsão. O modelo aprende a resposta em vez do padrão, atinge acurácia excelente na validação e desaba em produção. É o defeito mais caro do domínio 1 porque ele não parece um defeito: parece um modelo muito bom.

from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler

# 1. Separar PRIMEIRO. Qualquer estatística calculada antes desta linha
#    contamina a validação — é o vazamento mais fácil de cometer sem perceber.
X_tr, X_val, y_tr, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

prep = ColumnTransformer([
    ("num", Pipeline([("imp", SimpleImputer(strategy="median")),
                      ("esc", StandardScaler())]), colunas_numericas),
    # `handle_unknown="ignore"`: categoria vista só na validação não quebra a
    # transformação — sem isso, o pipeline estoura em produção no primeiro valor novo.
    ("cat", OneHotEncoder(handle_unknown="ignore"), colunas_categoricas),
])

# 2. `fit` SÓ no treino; a validação apenas recebe a transformação.
prep.fit(X_tr)
X_tr_t, X_val_t = prep.transform(X_tr), prep.transform(X_val)

# Em dado com ordem no tempo, troque `train_test_split` por corte por data:
# embaralhar série temporal treina no futuro e testa no passado.

A prova raramente pergunta qual é tecnicamente capaz — todos são. Ela pergunta qual tem o menor esforço operacional para o cenário descrito. Glue quando a palavra "catálogo" ou "sem servidor" aparece; EMR quando aparece "Spark existente" ou "controle fino do cluster"; Processing quando a transformação é passo de um fluxo de ML; Data Wrangler quando o cenário fala em exploração ou em pouca escrita de código.

• Categoria de baixa cardinalidade: codificação um-de-N. Simples e sem ordem implícita, ao custo de uma coluna por valor.
• Categoria de alta cardinalidade: codificação por alvo ou por frequência, com a ressalva de que codificação por alvo VAZA se calculada antes da separação — é o caso de vazamento mais sutil que existe.
• Escala: padronização quando o algoritmo assume distribuição centrada; normalização para faixa fixa quando há limite conhecido. Árvores não precisam de nenhuma das duas, e normalizar antes de uma árvore é esforço sem efeito.
• Faltante: imputar pela mediana é o padrão seguro para numérico; para categórico, tratar a ausência como categoria própria costuma render mais do que preencher com a moda, porque o fato de faltar muitas vezes é informação.

Transformação bem feita gera atributos, e atributo bom é caro de produzir. O passo seguinte trata do problema que aparece quando o mesmo atributo precisa existir no treino e na hora da previsão — e das duas maneiras de calcular ele acabar divergindo.