LoRA de imagem: treinar style/character em 30 min
⏱ 15 min·⭐ 75 XP
Pré-requisitos (0/1)0%
- ⬜🎛️ ControlNet: condicionamento espacial preciso(Diffusion Models & Geração Multimodal)
Recomendamos completar os pré-requisitos antes de seguir, mas nada te impede de continuar.
Por que LoRA é a forma certa de personalizar diffusion
Antes de LoRA, personalizar SD significava treinar Dreambooth completo (atualiza todos os pesos do U-Net) — 24+ GB VRAM, checkpoints de 4-7 GB cada, lento para iterar. A entrada do LoRA (Hu et al. 2021, primeiro em NLP; portado para SD por kohya_ss em 2022) virou o jogo: arquivos de 50-200 MB, treino em GPU de consumidor, e composáveis (vários LoRAs ativos ao mesmo tempo).
ƒ A matemática do LoRA
W_eff = W_pretrained + (α / r) · A · B , A ∈ ℝ^(d×r) , B ∈ ℝ^(r×k) , r ≪ d
W_pretrained
pesos do U-Net (congelados)
A · B
adaptação low-rank treinável
r
rank (bottleneck)
α
escala (LoRA strength)
✅
A premissa empírica: os gradientes da fine-tuning vivem num subespaço de baixa dimensão. Ou seja, ΔW aprendido é "naturalmente low-rank". LoRA explora essa observação para reduzir parâmetros sem perder capacidade.
Ferramentas — qual escolher
| Tool | Foco | UX | Suporte | Quando usar |
|---|---|---|---|---|
| kohya_ss | Geral (SD 1.5, SDXL, SD3, Flux) | GUI Gradio + CLI | ★★★★★ | Padrão de fato; máxima customização |
| OneTrainer | SD 1.5, SDXL, Flux | GUI desktop limpa | ★★★★ | Iniciantes em LoRA SDXL |
| ai-toolkit (Ostris) | Flux principalmente | CLI + YAML config | ★★★★ | Estado da arte para Flux LoRAs |
| SimpleTuner (bghira) | SDXL, SD3, Flux, Pixart | CLI + config | ★★★★ | Pesquisa, multi-aspect ratio |
| Replicate / Civitai trainer | SDXL principalmente | Web UI hospedado | ★★★ | Sem GPU local; rápido |
| Diffusers train_dreambooth_lora.py | Geral, baixo nível | Script Python | ★★★ | Integração custom em pipeline |
Toolkohya_ss
FocoGeral (SD 1.5, SDXL, SD3, Flux)
UXGUI Gradio + CLI
Suporte★★★★★
Quando usarPadrão de fato; máxima customização
ToolOneTrainer
FocoSD 1.5, SDXL, Flux
UXGUI desktop limpa
Suporte★★★★
Quando usarIniciantes em LoRA SDXL
Toolai-toolkit (Ostris)
FocoFlux principalmente
UXCLI + YAML config
Suporte★★★★
Quando usarEstado da arte para Flux LoRAs
ToolSimpleTuner (bghira)
FocoSDXL, SD3, Flux, Pixart
UXCLI + config
Suporte★★★★
Quando usarPesquisa, multi-aspect ratio
ToolReplicate / Civitai trainer
FocoSDXL principalmente
UXWeb UI hospedado
Suporte★★★
Quando usarSem GPU local; rápido
ToolDiffusers train_dreambooth_lora.py
FocoGeral, baixo nível
UXScript Python
Suporte★★★
Quando usarIntegração custom em pipeline
💡
Recomendação prática 2024-25: ai-toolkit do Ostris para Flux; kohya_ss para SDXL/SD3; Replicate se não tem GPU.
Dataset: o que importa de verdade
QuantidadePersonagem: 10-30 imgs. Estilo: 30-100. Conceito/objeto: 5-15. Mais que isso raramente melhora.
Resolução1024×1024+ para SDXL/SD3/Flux. 512×512+ para SD1.5. Tools modernas suportam multi-aspect (bucketing).
VariaçãoÂngulos, expressões, fundos, iluminação. Sem variação → overfit ao fundo/pose dominante.
QualidadeSem JPEG artifacts, sem upscales fake. Imagens originais > screenshots comprimidas.
CaptioningTrigger word fixo + descrição variável. Ex: "ohwx style, a cat sitting on a wooden chair, soft lighting".
⚠️
O erro mais comum de iniciante: 100 screenshots todas tiradas do mesmo jogo/personagem, mesma iluminação, mesma pose. O LoRA aprende isso (e só isso). Resultado: gera o personagem só naquela cenário específico. Diversidade do dataset é o que permite generalização.
Captioning automático: WD14 / BLIP / Florence-2
Escrever captions à mão para 30 imagens dói. Por sorte existem auto-captioners maduros:
| Captioner | Tipo de output | Quando usar |
|---|---|---|
| WD14 Tagger (SmilingWolf) | Booru tags ("1girl, blue_eyes, sitting") | Anime/illustrations; SD 1.5 anime LoRAs |
| BLIP-2 (Salesforce) | Frase natural ("a girl with blue eyes sitting on a chair") | Estilo realistic; SDXL e Flux |
| Florence-2 (Microsoft) | Densa, multi-task (caption + bboxes + OCR) | Estado da arte 2024; flex |
| JoyCaption (fancyfeast) | Captions detalhadas otimizadas para Flux | Flux LoRAs — qualidade superior |
| LLaVA-Next / Cogvlm | Caption muito detalhado via VLM | Quando você quer captions ricas mas é lento |
CaptionerWD14 Tagger (SmilingWolf)
Tipo de outputBooru tags ("1girl, blue_eyes, sitting")
Quando usarAnime/illustrations; SD 1.5 anime LoRAs
CaptionerBLIP-2 (Salesforce)
Tipo de outputFrase natural ("a girl with blue eyes sitting on a chair")
Quando usarEstilo realistic; SDXL e Flux
CaptionerFlorence-2 (Microsoft)
Tipo de outputDensa, multi-task (caption + bboxes + OCR)
Quando usarEstado da arte 2024; flex
CaptionerJoyCaption (fancyfeast)
Tipo de outputCaptions detalhadas otimizadas para Flux
Quando usarFlux LoRAs — qualidade superior
CaptionerLLaVA-Next / Cogvlm
Tipo de outputCaption muito detalhado via VLM
Quando usarQuando você quer captions ricas mas é lento
autocaption.py
# Exemplo: WD14 + trigger word injection
from PIL import Image
from wd14_tagger import WD14Tagger # pseudocode
tagger = WD14Tagger("SmilingWolf/wd-v1-4-swinv2-tagger-v2")
trigger = "ohwx_character"
for img_path in glob("./dataset/*.png"):
img = Image.open(img_path)
tags = tagger.predict(img, threshold=0.35) # ["1girl", "blue_eyes", ...]
# Trigger word PRIMEIRO, sempre
caption = f"{trigger}, " + ", ".join(tags)
with open(img_path.replace(".png", ".txt"), "w") as f:
f.write(caption)💡
Trigger word: invente algo único (ex: "ohwx", "myxch", "zxc7"). Use sempre — durante training e na inferência. Sem trigger word, o LoRA pode "vazar" no modelo base (qualquer mulher vira seu personagem).
Config de treino: o que cada parâmetro faz
config.yaml (ai-toolkit style)
# Exemplo de config para LoRA de personagem em Flux Dev
job: extension
config:
name: "myx_character_flux_v1"
process:
- type: 'sd_trainer'
training_folder: "output"
device: cuda:0
trigger_word: "myxch"
network:
type: "lora"
linear: 32 # rank — capacity da adaptação
linear_alpha: 32 # alpha — ganho efetivo (α/r = 1.0)
save:
dtype: float16
save_every: 500 # checkpoint periódico
max_step_saves_to_keep: 4
datasets:
- folder_path: "./dataset"
caption_ext: "txt"
caption_dropout_rate: 0.05 # 5% dos steps sem caption — regulariza
shuffle_tokens: false
resolution: [1024]
train:
batch_size: 1
steps: 2500 # ~2500 para 20 imgs; ajustar para tamanho dataset
gradient_accumulation_steps: 1
train_unet: true
train_text_encoder: false # economiza VRAM; geralmente OK
gradient_checkpointing: true # troca tempo por VRAM
noise_scheduler: "flowmatch" # Flux usa rectified flow
optimizer: "adamw8bit"
lr: 1e-4 # típico: 1e-4 a 5e-4 para Flux
ema_config:
use_ema: true
ema_decay: 0.99
dtype: bf16
model:
name_or_path: "black-forest-labs/FLUX.1-dev"
is_flux: true
quantize: true # NF4 quant para caber em 24GB
sample:
sampler: "flowmatch"
sample_every: 250
width: 1024
height: 1024
prompts:
- "myxch character standing in a forest, cinematic lighting"
- "myxch character portrait, neutral background"
- "myxch character riding a bike in a city"linear (rank)8-16 para estilo simples; 16-32 para personagem; 32-64 para conceitos complexos. Não passe de 128 sem motivo.
lrSDXL: 1e-4 a 5e-4. Flux: 1e-4. Muito alto → instabilidade. Muito baixo → não converge.
stepsRegra prática: ~100-200 steps por imagem. 20 imgs × 125 = 2500 steps.
gradient_checkpointingTroca ~30% de tempo por ~40% menos VRAM. Liga sempre que estiver no limite.
caption_dropout_rate5-15% — força o LoRA a aprender o conceito mesmo sem caption, melhora generalização.
Lendo a curva de loss (e o que ela NÃO diz)
🗺️ Diagnóstico de training run
Loss cai rápido nos primeiros 200 stepsNormal — está absorvendo a estatística do dataset
Plateau entre 500-1500 stepsLoss estabiliza ~0.3-0.5 (Flux flow matching). Avalie samples a cada 250 steps
Samples ficam "rígidos" / sempre mesmo fundoOverfit — pare ou reduza rank. Não confie só na loss
Loss continua caindo mas qualidade visual pioraCatastrophic forgetting do conceito amplo — pare antes
Loss flat desde o inícioLR baixo demais ou batch_size errado; aumente LR para 5e-4 e veja
Loss oscila violentamenteLR alto demais ou batch=1 com dataset muito heterogêneo; reduza LR
⚠️
Lei fundamental do LoRA training: sample, sample, sample. Configure com 4-6 prompts de validação fixos (com e sem trigger word, em poses/contextos diferentes do dataset). A curva de loss é um indicador secundário.
Quiz rápido
Qual premissa empírica justifica adaptar o modelo por matrizes de posto baixo em vez de atualizar todos os pesos?
Variantes avançadas: DoRA, LoKr, LoHa
| Método | Ideia | Quando usar |
|---|---|---|
| LoRA (Hu 2021) | ΔW = A·B (rank-r) | Padrão; sempre uma boa baseline |
| DoRA (Liu 2024) | Decompõe ΔW em magnitude + direção; treina ambos separadamente. Liu et al. ICML 2024 | Mais expressivo que LoRA para mesmo rank; ~10-20% melhor em benchmarks |
| LoHa (Yeh et al. 2023) | Hadamard product de duas LoRAs — mais capacity | Quando rank baixo não basta mas você quer params controlados |
| LoKr | Kronecker product — alta capacity, poucos params | Estilos complexos com poucas imagens |
| LyCORIS | Família que engloba LoHa, LoKr, etc. + algoritmos novos | kohya_ss tem suporte nativo |
MétodoLoRA (Hu 2021)
IdeiaΔW = A·B (rank-r)
Quando usarPadrão; sempre uma boa baseline
MétodoDoRA (Liu 2024)
IdeiaDecompõe ΔW em magnitude + direção; treina ambos separadamente. Liu et al. ICML 2024
Quando usarMais expressivo que LoRA para mesmo rank; ~10-20% melhor em benchmarks
MétodoLoHa (Yeh et al. 2023)
IdeiaHadamard product de duas LoRAs — mais capacity
Quando usarQuando rank baixo não basta mas você quer params controlados
MétodoLoKr
IdeiaKronecker product — alta capacity, poucos params
Quando usarEstilos complexos com poucas imagens
MétodoLyCORIS
IdeiaFamília que engloba LoHa, LoKr, etc. + algoritmos novos
Quando usarkohya_ss tem suporte nativo
Inferência: como usar o LoRA gerado
inference_lora.py
from diffusers import FluxPipeline
import torch
pipe = FluxPipeline.from_pretrained(
"black-forest-labs/FLUX.1-dev",
torch_dtype=torch.bfloat16,
).to("cuda")
# Carrega LoRA treinado
pipe.load_lora_weights("./output/myx_character_flux_v1/myx_character_flux_v1.safetensors")
pipe.fuse_lora(lora_scale=0.8) # 0..1.5; 0.8-1.0 típico
img = pipe(
prompt="myxch character in a snowy mountain, cinematic, 35mm film",
num_inference_steps=28,
guidance_scale=3.5, # Flux usa CFG baixo
width=1024, height=1024,
).images[0]
img.save("test.png")
# Opcional: combinar múltiplos LoRAs
pipe.load_lora_weights("./style_anime.safetensors", adapter_name="style")
pipe.set_adapters(["myx_character_flux_v1", "style"], adapter_weights=[1.0, 0.6])lora_scale0.7-1.0 padrão. Acima de 1.2 satura. Abaixo de 0.5 quase não aplica.
StackingPersonagem + estilo + concept LoRAs juntos. Ajuste pesos individualmente.
ConflitoLoRAs que treinam o mesmo conceito (2 personagens diferentes com mesmo trigger) conflitam. Use triggers únicos.
Decisão: LoRA vs Dreambooth vs Textual Inversion
📋 Você quer personalizar um modelo de imagem para um personagem específico
✓ LoRA (rank 16-32) com 15-25 imagens
Tem o melhor trade-off: qualidade próxima a Dreambooth full, arquivos pequenos (~150 MB), treinável em consumer GPU, composable com outros LoRAs. Estado da arte da comunidade desde 2022.
Alt: Dreambooth full
Alt: Checkpoint 4-7 GB, mais VRAM no treino, não composable, raramente melhor que LoRA bem feito
Alt: Textual Inversion
Alt: Só treina embedding (5 KB) — limitado em capacidade; ok para conceitos simples, ruim para personagens detalhados
Alt: ControlNet
Alt: Não personaliza identidade; condiciona estrutura. Use junto, não no lugar
Alt: IP-Adapter
Alt: Subject reference leve, mas menos consistente que LoRA dedicado
Perguntas que sobram
❓ Treinei um LoRA em SDXL — funciona em SD3 ou Flux?
Não. LoRAs são específicos da arquitetura — pesos têm shapes diferentes entre U-Net (SDXL) e DiT (SD3/Flux). Cada modelo base precisa de LoRA próprio. Felizmente as ferramentas (ai-toolkit, kohya_ss, OneTrainer) suportam todos.
❓ Por que recomendam não treinar o text encoder em LoRA de Flux?
O T5-XXL é grande (4.7B) e treinar afetá-lo aumenta VRAM e risco de catastrophic forgetting do entendimento textual. Para personagem/estilo, treinar só o U-Net/DiT já basta. Para conceitos novos que precisam de novo 'rótulo textual' (ex: nome de marca inventada), pode valer treinar text encoder — mas exige mais VRAM.
❓ Qual a melhor GPU para treinar Flux LoRA em casa?
RTX 3090/4090 (24 GB) é o ponto doce: roda Flux Dev com quantization NF4 + gradient_checkpointing. A6000 (48 GB) ou H100 são melhores se disponível. Em <24 GB você consegue treinar SDXL LoRA mas Flux fica apertado.
❓ Como precificar treino na nuvem (Replicate / RunPod)?
Replicate: ~$2-5 por LoRA Flux (h100 ~$0.001-0.002/s, 20-60 min). RunPod com h100 spot: ~$2-3/h, treino ~30 min = ~$1-1.5. Custos vão cair em 2026 conforme h200 e b100 ficam mainstream.
Papers e tools
LoRAHu, Shen, Wallis, Allen-Zhu, Li, Wang, Wang, Chen 2021 — "LoRA: Low-Rank Adaptation of Large Language Models" (ICLR 2022).
DoRALiu, Wang, Chen et al. 2024 — "DoRA: Weight-Decomposed Low-Rank Adaptation" (ICML).
LyCORISYeh et al. 2023 — repositório com LoHa, LoKr, LoCon e tudo mais.
kohya_ssgithub.com/bmaltais/kohya_ss — GUI de referência, base da comunidade.
ai-toolkitgithub.com/ostris/ai-toolkit — Flux LoRA, mantido por Ostris (estado da arte 2024).
OneTrainergithub.com/Nerogar/OneTrainer — GUI desktop limpa para SDXL/Flux.
💡
Próximo: ComfyUI como engenharia de workflow — JSON versionável, custom nodes em Python, API server e ComfyUI Deploy para produção. Sai do "clica e arrasta" e entra em automação real.
Perguntas frequentes
❓ Quantas imagens preciso para treinar um estilo?
Algumas dezenas de imagens consistentes já bastam para estilo, e menos ainda para personagem — o que decide é consistência e variedade de ângulo, não quantidade. Conjunto grande e inconsistente ensina a média e produz resultado sem identidade.
❓ Por que o modelo treinado ignora o prompt?
Porque foi treinado demais: o adaptador passou a dominar e o modelo perdeu resposta ao texto. O sinal é toda geração sair parecida independentemente do prompt. O remédio é menos passos, peso menor na aplicação, ou legendas mais descritivas no treino.
❓ Legenda das imagens de treino importa?
Importa muito: ela ensina o que é o conceito e o que é variável. Legenda genérica faz o modelo associar o estilo a tudo; legenda que descreve o que varia — fundo, roupa, ângulo — deixa o conceito isolado e o prompt volta a funcionar.
Fixando
Quiz rápido
Qual é o erro de conjunto de dados mais comum, e o que ele produz?
Quiz rápido
Por que a curva de perda é considerada indicador secundário nesse tipo de treino?
Terminou de ler?
Marcar como concluído registra o XP, mantém sua sequência e coloca 3 cartas deste módulo na fila de revisão espaçada.
Próximos passos sugeridos
Temas deste módulo
Discussão
Carregando comentários…