Infraestrutura de treinamento: spot, checkpoint e a GPU ociosa

A prova explora o fato de que o terceiro termo engana. Dobrar o número de instâncias não corta o tempo pela metade — a comunicação entre nós cresce, e há um ponto a partir do qual acrescentar máquina aumenta o custo total sem reduzir o tempo. Distribuir é uma decisão para modelo que não cabe numa instância, não uma alavanca genérica de velocidade.

Treinamento com capacidade pontual usa a capacidade ociosa da AWS a uma fração do preço, com a contrapartida de que a instância pode ser retomada a qualquer momento. Para treinamento isso é uma troca excelente — desde que uma condição seja atendida.

from sagemaker.estimator import Estimator

est = Estimator(
    image_uri=IMAGEM,
    role=ROLE,
    instance_count=1,
    instance_type="ml.g5.xlarge",

    # As três linhas de capacidade pontual. Sem a terceira, uma interrupção em
    # 80% perde as 80% E cobra por elas — a economia vira prejuízo.
    use_spot_instances=True,
    max_run=14 * 3600,          # teto do treino em si
    max_wait=20 * 3600,         # teto de treino + espera por capacidade

    # O que transforma interrupção em retomada. O contêiner grava aqui; o
    # SageMaker sincroniza com o S3 e devolve o diretório ao reiniciar.
    checkpoint_s3_uri="s3://lago/checkpoints/experimento-17/",
    checkpoint_local_path="/opt/ml/checkpoints",
)

est.fit({
    # `FastFile` transmite direto do S3 em vez de copiar tudo antes de começar.
    # É a correção certa quando a GPU fica ociosa esperando dado — trocar por
    # GPU maior só deixa uma máquina mais cara parada.
    "train": TrainingInput("s3://lago/curado/train/", input_mode="FastFile"),
})

• Modelo tabular, árvores, conjuntos pequenos: família de uso geral ou otimizada para computação. GPU aqui é dinheiro jogado fora, porque o algoritmo não a usa.
• Rede neural profunda, visão, linguagem: família com GPU. O critério passa a ser memória da GPU, não número de núcleos de CPU.
• Modelo que não cabe na memória de uma GPU: treinamento distribuído, com paralelismo de dado ou de modelo conforme o que não cabe.
• Inferência de alto volume e custo sensível: silício próprio da AWS, com Inferentia; para treino, Trainium. A troca é preço por compatibilidade — exige que a pilha suporte.

Com o treino rodando de forma eficiente, resta escolher os valores que governam o aprendizado — e decidir quanto vale a pena gastar procurando por eles, que é uma pergunta de custo tanto quanto de qualidade.