ControlNet: condicionamento espacial preciso

⏱ 14 min·⭐ 70 XP

Pré-requisitos (0/1)0%

⬜⚡ Stable Diffusion 3.5 e Flux: MMDiT e DiT por dentro(Diffusion Models & Geração Multimodal)

Recomendamos completar os pré-requisitos antes de seguir, mas nada te impede de continuar.

O problema que ControlNet resolve

Diffusion + prompt textual é mágico, mas tem um teto: você não consegue ditar onde as coisas vão. "Um homem de óculos em pé" gera mil composições aleatórias. Se você precisa de uma pose específica, um layout específico de arquitetura, uma silhueta de produto — o prompt sozinho não basta.

Antes do ControlNet, o estado da arte era img2img com strength baixa (preserva composição mas perde fidelidade) ou inpaint manual. Nada satisfatório para fluxos profissionais. Zhang & Agrawala (ICCV 2023, "Adding Conditional Control to Text-to-Image Diffusion Models" — best paper) mudaram isso ao introduzir um mecanismo de condicionamento espacial plug-and-play que não destrói o modelo base.

✅

A inovação central não é o conceito de "usar um hint extra" — é como integrar esse hint sem catastrophic forgetting. A resposta foi zero-conv + trainable copy do encoder.

A arquitetura em uma figura

🗺️ ControlNet plugado num U-Net (SD 1.5)

Hint (ex: Canny edges 64×64)Mapa estrutural extraído da imagem de referência

Pequeno encoder de hintConv stack que projeta hint para feature space do U-Net

Trainable copy do encoder do U-NetCópia dos pesos do encoder original — vai aprender a integrar o hint

Zero-convolutionsConexões zero-init entre cada bloco da cópia treinável e o decoder do U-Net congelado

U-Net base CONGELADOEncoder e decoder do modelo original; pesos não mudam — preserva qualidade

Soma no decoderDecoder do U-Net recebe (skip do encoder original) + (zero-conv da cópia)

ε preditoSaída final do U-Net + ControlNet — respeita o hint espacial

Por que zero-conv funciona

Considere um bloco do decoder do U-Net no momento de combinar features:

ƒ Combinação no decoder (com ControlNet)

h_out = U_dec(h_in) + Z( C_enc( h_in, hint ) )

U_dec

decoder do U-Net (congelado)

C_enc

cópia treinável do encoder

1×1 conv com pesos zero

hint

mapa Canny/depth/pose/...

No início do treino, Z = 0, logo h_out = U_dec(h_in) — exatamente como o U-Net original. O gradiente da loss flui de h_out pra Z (∂L/∂Z ≠ 0 imediatamente, mesmo que Z tenha pesos zero, porque a entrada ≠ 0). Z aprende a "abrir" o canal gradualmente, e C_enc segue ajustando seus pesos para passar features úteis.

💡

A genialidade: você nunca tem um momento de "transição traumática". O modelo base nunca degrada, e a integração é suave. Mesmo princípio do adaLN-Zero do DiT — virou padrão para conditioning.

Tipos de condicionamento (do paper original e extensões)

Tipo	Hint extraído por	Caso de uso
Canny edges	Algoritmo Canny clássico (OpenCV)	Preserva contornos exatos (produtos, arquitetura)
HED soft edges	Holistically-Nested Edge Detection (Xie & Tu 2015)	Edges mais suaves, "artistic"
Depth map	MiDaS (Ranftl et al. 2020) ou DPT	Composição 3D, profundidade plausível
Normal map	BAE-Net / Omnidata	Iluminação coerente, superfícies
Semantic segmentation	ADE20K / Mask2Former	Layout de cena ("céu aqui, prédio ali")
OpenPose	OpenPose keypoints / DWPose (Yang et al. 2023)	Pose humana precisa
M-LSD lines	M-LSD (Gu et al. 2022)	Linhas retas, arquitetura, interiores
Scribble	Desenho manual / sketch sintético	Composição rápida a partir de rascunho
Tile (upscale)	A imagem original (downsample)	Upscale com adição de detalhes
QR code	QR code renderizado	QR codes "artísticos" que ainda escaneiam
Reference-only	A imagem inteira (via attention)	Style/composição sem hint estrutural
IP-Adapter	CLIP/SigLIP vision encoder	Style + subject reference, leve (~50M)

TipoCanny edges

Hint extraído porAlgoritmo Canny clássico (OpenCV)

Caso de usoPreserva contornos exatos (produtos, arquitetura)

TipoHED soft edges

Hint extraído porHolistically-Nested Edge Detection (Xie & Tu 2015)

Caso de usoEdges mais suaves, "artistic"

TipoDepth map

Hint extraído porMiDaS (Ranftl et al. 2020) ou DPT

Caso de usoComposição 3D, profundidade plausível

TipoNormal map

Hint extraído porBAE-Net / Omnidata

Caso de usoIluminação coerente, superfícies

TipoSemantic segmentation

Hint extraído porADE20K / Mask2Former

Caso de usoLayout de cena ("céu aqui, prédio ali")

TipoOpenPose

Hint extraído porOpenPose keypoints / DWPose (Yang et al. 2023)

Caso de usoPose humana precisa

TipoM-LSD lines

Hint extraído porM-LSD (Gu et al. 2022)

Caso de usoLinhas retas, arquitetura, interiores

TipoScribble

Hint extraído porDesenho manual / sketch sintético

Caso de usoComposição rápida a partir de rascunho

TipoTile (upscale)

Hint extraído porA imagem original (downsample)

Caso de usoUpscale com adição de detalhes

TipoQR code

Hint extraído porQR code renderizado

Caso de usoQR codes "artísticos" que ainda escaneiam

TipoReference-only

Hint extraído porA imagem inteira (via attention)

Caso de usoStyle/composição sem hint estrutural

TipoIP-Adapter

Hint extraído porCLIP/SigLIP vision encoder

Caso de usoStyle + subject reference, leve (~50M)

ControlNet na prática: ComfyUI / diffusers

controlnet_canny.py

from diffusers import StableDiffusionXLControlNetPipeline, ControlNetModel
from diffusers.utils import load_image
import torch, cv2, numpy as np

# 1. Carrega base + ControlNet
controlnet = ControlNetModel.from_pretrained(
    "diffusers/controlnet-canny-sdxl-1.0",
    torch_dtype=torch.float16,
)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    torch_dtype=torch.float16,
    variant="fp16",
).to("cuda")

# 2. Extrai Canny da imagem de referência
ref = load_image("reference.png").resize((1024, 1024))
img = np.array(ref)
edges = cv2.Canny(img, 100, 200)               # threshold low/high
edges = np.stack([edges] * 3, axis=-1)          # 3 canais para o ControlNet
control_image = Image.fromarray(edges)

# 3. Geração condicionada
out = pipe(
    prompt="cyberpunk neon city, ultra-detailed, 8k",
    image=control_image,
    controlnet_conditioning_scale=0.7,           # 0..2 — força do condicionamento
    num_inference_steps=30,
    guidance_scale=7.5,
).images[0]
out.save("controlnet_out.png")

controlnet_conditioning_scale0 = sem influência do hint; 1.0 = padrão; >1.5 satura/quebra. Tipicamente 0.5-0.9.

control_guidance_start/endAplicar ControlNet só em parte dos timesteps (ex: 0.0-0.7) — bordas firmes no início, liberdade no fim.

Canny thresholdsLow/high do Canny clássico — controlam densidade de bordas. Imagens limpas: 100/200; complexas: 50/150.

StackingMúltiplos ControlNets juntos (pose + depth, canny + tile). Custo: somam VRAM e tempo.

IP-Adapter: style transfer leve

IP-Adapter (Ye et al. 2023) ataca o problema "estilo/subject reference" sem treinar um ControlNet pesado. A ideia: adicionar uma cross-attention paralela ao cross-attention de texto, condicionada num embedding da imagem de referência produzido por CLIP vision encoder.

🗺️ Cross-attention paralelo (IP-Adapter)

🖼️Imagem refCLIP-ViT-H/14

Vision encoder produz embedding global + tokens

projeção MLP

▼

📝Prompt textoCLIP-text encoder

Embedding usual do prompt

▼

🔀Dois cross-attentions paralelosem cada bloco do U-Net

attn_text + λ · attn_image — λ controla peso da referência (0..1)

▼

📤Saídaimagem que respeita prompt + estilo da ref

Pesos do U-Net base permanecem congelados

✅

Vantagens: ~22M params (SD 1.5) a ~50M (SDXL), treina em horas, integra suavemente com ControlNet. Variantes: IP-Adapter-FaceID (subject consistente para retratos), IP-Adapter-Plus (mais fidelidade).

Quiz rápido

Qual limite do condicionamento apenas por texto motivou a criação do controle estrutural?

Decisão: quando usar o quê

📋 Você precisa gerar variações de um produto preservando a silhueta exata

✓ ControlNet Canny (ou MLSD para linhas retas)

Canny extrai contornos com precisão; em conjunto com strength alto (0.8-1.0) preserva a forma do produto. Combinar com prompt criativo gera variações de cenário/iluminação sem mudar o produto.

Alt: img2img puro

Alt: Strength baixo preserva mas degrada qualidade; strength alto perde a silhueta

Alt: IP-Adapter

Alt: Bom para style reference mas não preserva contornos com precisão

Alt: ControlNet Depth

Alt: Preserva profundidade 3D mas não contornos exatos

📋 Você quer gerar várias imagens com o mesmo personagem em poses diferentes

✓ IP-Adapter-FaceID + ControlNet OpenPose

FaceID mantém o rosto consistente; OpenPose define a pose. Combinação é o flow padrão para 'consistent character'. Alternativamente, treine um LoRA do personagem (próximo módulo) para máxima consistência.

Alt: Só ControlNet OpenPose

Alt: Mantém a pose mas o rosto/identidade varia

Alt: Só IP-Adapter

Alt: Identidade ok mas pose continua aleatória

ControlNet em SD3 e Flux

Para arquiteturas MMDiT/DiT, "copiar o encoder" não é tão simples — não há U-Net contrativo. As implementações para SD3 e Flux usam variantes:

SD3 ControlNetCópia de N blocos iniciais do MMDiT, com zero-init na saída de cada um. Stability lançou Canny, Tile, Pose, Depth oficiais.

Flux ControlNet (X-Labs, InstantX)Várias famílias comunitárias — Canny, Depth, Pose, HED, Tile. X-Labs e InstantX dominam.

Flux Tools (Black Forest Labs)Lançamento oficial nov 2024 — Fill (inpaint), Canny, Depth, Redux (image variation). Integrados ao modelo, qualidade superior aos comunitários.

T2I-AdapterAlternativa leve (~70M) que injeta features via residuais em vez de cópia inteira — funciona em SDXL/SD3. Custo menor, qualidade similar para canny/depth/pose.

Perguntas que sobram

❓ Posso treinar meu próprio ControlNet?

Sim — repos como kohya_ss e diffusers têm scripts. Precisa de dataset (imagem, hint) pareado (5k-50k pares para qualidade decente) e ~24-48h em A100. Custo prático: comece com um ControlNet existente + LoRA por cima, é mais barato.

❓ ControlNet conflita com LoRA?

Não — eles operam em superfícies diferentes (LoRA modifica pesos do U-Net base via low-rank; ControlNet adiciona stream paralelo). Você pode combinar: ControlNet Canny + LoRA de estilo + IP-Adapter ao mesmo tempo. Cuidado apenas com VRAM e com pesos somados (controlnet_scale × lora_scale × cfg pode saturar).

❓ Por que controlnet_scale > 1 dá artefatos?

Forçar o hint demais empurra o modelo para fora do manifold de imagens naturais que ele aprendeu. Acima de ~1.2 começa a ter blocagem, texturas estranhas, contornos repetidos. Solução: control_guidance_end < 1.0 para liberar os passos finais.

❓ Existe um ControlNet 'universal' que aceita qualquer hint?

Não exatamente, mas Uni-ControlNet (Zhao et al. 2023) e ControlNet++ propõem encoders multi-hint compartilhados. Na prática a comunidade prefere modelos específicos — qualidade por hint é maior.

Papers e código

ControlNetZhang, Rao, Agrawala 2023 — ICCV best paper — "Adding Conditional Control to Text-to-Image Diffusion Models".

IP-AdapterYe, Yang, Zhang, Liu, Wang 2023 — "IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models".

T2I-AdapterMou, Wang, Xie, Liu, Zhang, Wang, Shi 2023 — "T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for T2I Diffusion Models".

DWPoseYang, Zeng, Wang, Liu 2023 — pose estimator mais preciso que OpenPose, popular como pré-processador.

Uni-ControlNetZhao et al. 2023 — multi-hint num único modelo.

Reposgithub.com/lllyasviel/ControlNet (paper original), github.com/tencent-ailab/IP-Adapter, github.com/XLabs-AI/x-flux (Flux ControlNets).

💡

Próximo: treinar um LoRA de estilo/personagem em 30 minutos. Vamos ver kohya_ss, OneTrainer, ai-toolkit (Ostris), captioning automático, e como interpretar curvas de loss para identificar overfitting visual.

Perguntas frequentes

❓ O que o condicionamento espacial resolve?

O controle que o prompt não dá: pose, contorno, profundidade e composição vindos de uma imagem de referência. Sem ele, descrever posição em texto é impreciso e a geração varia a cada semente. É a diferença entre gerar algo parecido e gerar o que se pediu.

❓ Dá para combinar mais de um condicionamento?

Dá, e é comum — contorno e profundidade juntos, por exemplo, com pesos diferentes. O risco é conflito entre condições, que produz artefato: quando as referências discordam sobre geometria, o resultado fica quebrado, e ajustar peso é como se resolve.

❓ Condicionamento substitui ajuste fino?

Não: são eixos diferentes. Condicionamento controla a estrutura de uma geração; ajuste fino ensina estilo ou personagem de forma persistente. Quem quer o mesmo personagem em cem imagens precisa de treino, não de referência espacial.

Fixando

Quiz rápido

A camada de saída inicializada em zero é o mecanismo central. O que ela evita?

Quiz rápido

Por que forçar a intensidade do controle acima do padrão produz artefatos?

Terminou de ler?

Marcar como concluído registra o XP, mantém sua sequência e coloca 3 cartas deste módulo na fila de revisão espaçada.

Próximos passos sugeridos

🎓

LoRA de imagem: treinar style/character em 30 min

Diffusion Models & Geração Multimodal · 15 min · +75 XP

→

Temas deste módulo

Modelos por dentro

Discussão

Carregando comentários…

ControlNet: condicionamento espacial preciso

⏱ 14 min·⭐ 70 XP

Pré-requisitos (0/1)0%

⬜⚡ Stable Diffusion 3.5 e Flux: MMDiT e DiT por dentro(Diffusion Models & Geração Multimodal)

Recomendamos completar os pré-requisitos antes de seguir, mas nada te impede de continuar.

O problema que ControlNet resolve

✅

A inovação central não é o conceito de "usar um hint extra" — é como integrar esse hint sem catastrophic forgetting. A resposta foi zero-conv + trainable copy do encoder.

A arquitetura em uma figura

🗺️ ControlNet plugado num U-Net (SD 1.5)

Hint (ex: Canny edges 64×64)Mapa estrutural extraído da imagem de referência

Pequeno encoder de hintConv stack que projeta hint para feature space do U-Net

Trainable copy do encoder do U-NetCópia dos pesos do encoder original — vai aprender a integrar o hint

Zero-convolutionsConexões zero-init entre cada bloco da cópia treinável e o decoder do U-Net congelado

U-Net base CONGELADOEncoder e decoder do modelo original; pesos não mudam — preserva qualidade

Soma no decoderDecoder do U-Net recebe (skip do encoder original) + (zero-conv da cópia)

ε preditoSaída final do U-Net + ControlNet — respeita o hint espacial

Por que zero-conv funciona

Considere um bloco do decoder do U-Net no momento de combinar features:

ƒ Combinação no decoder (com ControlNet)

h_out = U_dec(h_in) + Z( C_enc( h_in, hint ) )

U_dec

decoder do U-Net (congelado)

C_enc

cópia treinável do encoder

1×1 conv com pesos zero

hint

mapa Canny/depth/pose/...

💡

Tipos de condicionamento (do paper original e extensões)

Tipo	Hint extraído por	Caso de uso
Canny edges	Algoritmo Canny clássico (OpenCV)	Preserva contornos exatos (produtos, arquitetura)
HED soft edges	Holistically-Nested Edge Detection (Xie & Tu 2015)	Edges mais suaves, "artistic"
Depth map	MiDaS (Ranftl et al. 2020) ou DPT	Composição 3D, profundidade plausível
Normal map	BAE-Net / Omnidata	Iluminação coerente, superfícies
Semantic segmentation	ADE20K / Mask2Former	Layout de cena ("céu aqui, prédio ali")
OpenPose	OpenPose keypoints / DWPose (Yang et al. 2023)	Pose humana precisa
M-LSD lines	M-LSD (Gu et al. 2022)	Linhas retas, arquitetura, interiores
Scribble	Desenho manual / sketch sintético	Composição rápida a partir de rascunho
Tile (upscale)	A imagem original (downsample)	Upscale com adição de detalhes
QR code	QR code renderizado	QR codes "artísticos" que ainda escaneiam
Reference-only	A imagem inteira (via attention)	Style/composição sem hint estrutural
IP-Adapter	CLIP/SigLIP vision encoder	Style + subject reference, leve (~50M)

TipoCanny edges

Hint extraído porAlgoritmo Canny clássico (OpenCV)

Caso de usoPreserva contornos exatos (produtos, arquitetura)

TipoHED soft edges

Hint extraído porHolistically-Nested Edge Detection (Xie & Tu 2015)

Caso de usoEdges mais suaves, "artistic"

TipoDepth map

Hint extraído porMiDaS (Ranftl et al. 2020) ou DPT

Caso de usoComposição 3D, profundidade plausível

TipoNormal map

Hint extraído porBAE-Net / Omnidata

Caso de usoIluminação coerente, superfícies

TipoSemantic segmentation

Hint extraído porADE20K / Mask2Former

Caso de usoLayout de cena ("céu aqui, prédio ali")

TipoOpenPose

Hint extraído porOpenPose keypoints / DWPose (Yang et al. 2023)

Caso de usoPose humana precisa

TipoM-LSD lines

Hint extraído porM-LSD (Gu et al. 2022)

Caso de usoLinhas retas, arquitetura, interiores

TipoScribble

Hint extraído porDesenho manual / sketch sintético

Caso de usoComposição rápida a partir de rascunho

TipoTile (upscale)

Hint extraído porA imagem original (downsample)

Caso de usoUpscale com adição de detalhes

TipoQR code

Hint extraído porQR code renderizado

Caso de usoQR codes "artísticos" que ainda escaneiam

TipoReference-only

Hint extraído porA imagem inteira (via attention)

Caso de usoStyle/composição sem hint estrutural

TipoIP-Adapter

Hint extraído porCLIP/SigLIP vision encoder

Caso de usoStyle + subject reference, leve (~50M)

ControlNet na prática: ComfyUI / diffusers

controlnet_canny.py

from diffusers import StableDiffusionXLControlNetPipeline, ControlNetModel
from diffusers.utils import load_image
import torch, cv2, numpy as np

# 1. Carrega base + ControlNet
controlnet = ControlNetModel.from_pretrained(
    "diffusers/controlnet-canny-sdxl-1.0",
    torch_dtype=torch.float16,
)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet,
    torch_dtype=torch.float16,
    variant="fp16",
).to("cuda")

# 2. Extrai Canny da imagem de referência
ref = load_image("reference.png").resize((1024, 1024))
img = np.array(ref)
edges = cv2.Canny(img, 100, 200)               # threshold low/high
edges = np.stack([edges] * 3, axis=-1)          # 3 canais para o ControlNet
control_image = Image.fromarray(edges)

# 3. Geração condicionada
out = pipe(
    prompt="cyberpunk neon city, ultra-detailed, 8k",
    image=control_image,
    controlnet_conditioning_scale=0.7,           # 0..2 — força do condicionamento
    num_inference_steps=30,
    guidance_scale=7.5,
).images[0]
out.save("controlnet_out.png")

controlnet_conditioning_scale0 = sem influência do hint; 1.0 = padrão; >1.5 satura/quebra. Tipicamente 0.5-0.9.

control_guidance_start/endAplicar ControlNet só em parte dos timesteps (ex: 0.0-0.7) — bordas firmes no início, liberdade no fim.

Canny thresholdsLow/high do Canny clássico — controlam densidade de bordas. Imagens limpas: 100/200; complexas: 50/150.

StackingMúltiplos ControlNets juntos (pose + depth, canny + tile). Custo: somam VRAM e tempo.

IP-Adapter: style transfer leve

🗺️ Cross-attention paralelo (IP-Adapter)

🖼️Imagem refCLIP-ViT-H/14

Vision encoder produz embedding global + tokens

projeção MLP

▼

📝Prompt textoCLIP-text encoder

Embedding usual do prompt

▼

🔀Dois cross-attentions paralelosem cada bloco do U-Net

attn_text + λ · attn_image — λ controla peso da referência (0..1)

▼

📤Saídaimagem que respeita prompt + estilo da ref

Pesos do U-Net base permanecem congelados

✅

Vantagens: ~22M params (SD 1.5) a ~50M (SDXL), treina em horas, integra suavemente com ControlNet. Variantes: IP-Adapter-FaceID (subject consistente para retratos), IP-Adapter-Plus (mais fidelidade).

Quiz rápido

Qual limite do condicionamento apenas por texto motivou a criação do controle estrutural?

Decisão: quando usar o quê

📋 Você precisa gerar variações de um produto preservando a silhueta exata

✓ ControlNet Canny (ou MLSD para linhas retas)

Canny extrai contornos com precisão; em conjunto com strength alto (0.8-1.0) preserva a forma do produto. Combinar com prompt criativo gera variações de cenário/iluminação sem mudar o produto.

Alt: img2img puro

Alt: Strength baixo preserva mas degrada qualidade; strength alto perde a silhueta

Alt: IP-Adapter

Alt: Bom para style reference mas não preserva contornos com precisão

Alt: ControlNet Depth

Alt: Preserva profundidade 3D mas não contornos exatos

📋 Você quer gerar várias imagens com o mesmo personagem em poses diferentes

✓ IP-Adapter-FaceID + ControlNet OpenPose

Alt: Só ControlNet OpenPose

Alt: Mantém a pose mas o rosto/identidade varia

Alt: Só IP-Adapter

Alt: Identidade ok mas pose continua aleatória

ControlNet em SD3 e Flux

Para arquiteturas MMDiT/DiT, "copiar o encoder" não é tão simples — não há U-Net contrativo. As implementações para SD3 e Flux usam variantes:

SD3 ControlNetCópia de N blocos iniciais do MMDiT, com zero-init na saída de cada um. Stability lançou Canny, Tile, Pose, Depth oficiais.

Flux ControlNet (X-Labs, InstantX)Várias famílias comunitárias — Canny, Depth, Pose, HED, Tile. X-Labs e InstantX dominam.

Flux Tools (Black Forest Labs)Lançamento oficial nov 2024 — Fill (inpaint), Canny, Depth, Redux (image variation). Integrados ao modelo, qualidade superior aos comunitários.

T2I-AdapterAlternativa leve (~70M) que injeta features via residuais em vez de cópia inteira — funciona em SDXL/SD3. Custo menor, qualidade similar para canny/depth/pose.

Perguntas que sobram

❓ Posso treinar meu próprio ControlNet?

❓ ControlNet conflita com LoRA?

❓ Por que controlnet_scale > 1 dá artefatos?

❓ Existe um ControlNet 'universal' que aceita qualquer hint?

Papers e código

ControlNetZhang, Rao, Agrawala 2023 — ICCV best paper — "Adding Conditional Control to Text-to-Image Diffusion Models".

IP-AdapterYe, Yang, Zhang, Liu, Wang 2023 — "IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models".

T2I-AdapterMou, Wang, Xie, Liu, Zhang, Wang, Shi 2023 — "T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for T2I Diffusion Models".

DWPoseYang, Zeng, Wang, Liu 2023 — pose estimator mais preciso que OpenPose, popular como pré-processador.

Uni-ControlNetZhao et al. 2023 — multi-hint num único modelo.

Reposgithub.com/lllyasviel/ControlNet (paper original), github.com/tencent-ailab/IP-Adapter, github.com/XLabs-AI/x-flux (Flux ControlNets).

💡

Perguntas frequentes

❓ O que o condicionamento espacial resolve?

❓ Dá para combinar mais de um condicionamento?

❓ Condicionamento substitui ajuste fino?

Fixando

Quiz rápido

A camada de saída inicializada em zero é o mecanismo central. O que ela evita?

Quiz rápido

Por que forçar a intensidade do controle acima do padrão produz artefatos?

Terminou de ler?

Marcar como concluído registra o XP, mantém sua sequência e coloca 3 cartas deste módulo na fila de revisão espaçada.

Próximos passos sugeridos

🎓

LoRA de imagem: treinar style/character em 30 min

Diffusion Models & Geração Multimodal · 15 min · +75 XP

→

Temas deste módulo

Modelos por dentro

Discussão

Carregando comentários…