Como Instalar o ComfyUI Portable e Gerar Sua Primeira Imagem com Stable Diffusion e LoRA
O ComfyUI é uma das ferramentas mais completas para geração de imagens com inteligência artificial. Diferentemente de interfaces mais simples, ele permite montar o processo de geração visual utilizando um sistema de nodes, no qual cada etapa do processo pode ser conectada e configurada individualmente.
Neste tutorial, você vai aprender desde a instalação do ComfyUI Portable no Windows até a geração da sua primeira imagem usando Stable Diffusion XL. Depois, vamos montar um workflow simples e adicionar um LoRA SDXL-Lightning de 8 passos para gerar imagens muito mais rapidamente.
1. Baixando o ComfyUI Portable
Para este tutorial vamos utilizar a versão Portable para NVIDIA. Ela não exige uma instalação tradicional: basta baixar, extrair e executar.
Acesse a página oficial do ComfyUI:
Na seção Windows Portable, escolha a versão correspondente à sua placa de vídeo NVIDIA.
Depois de baixar o arquivo ZIP:
- Extraia o arquivo para uma pasta de sua preferência.
- Evite colocar o ComfyUI dentro de pastas protegidas do Windows, como
Program Files. - Abra a pasta extraída.
- Execute o arquivo de inicialização correspondente à versão NVIDIA.
- Uma janela do terminal será aberta e o ComfyUI iniciará o servidor local.
Quando o programa iniciar, normalmente será possível acessar a interface pelo navegador através do endereço local mostrado no terminal.
O ComfyUI Portable já vem preparado para funcionar de forma independente, sem a necessidade de instalar Python e
todas as dependências manualmente. A documentação oficial também informa que os checkpoints devem ser colocados
na pasta ComfyUI\models\checkpoints.
2. Baixando um modelo Stable Diffusion XL
O ComfyUI é apenas a interface e o mecanismo de execução. Para gerar imagens, precisamos fornecer um modelo.
Neste tutorial vamos utilizar o Juggernaut XL, um checkpoint baseado em SDXL bastante utilizado para geração de imagens realistas.
Baixe o modelo aqui:
Baixar o Juggernaut XL no Civitai
Depois de baixar o arquivo .safetensors, coloque-o dentro de:
ComfyUI\models\checkpoints
O nome exato do arquivo pode variar de acordo com a versão baixada. O importante é que ele esteja dentro da pasta
checkpoints.
3. Abrindo o ComfyUI
Com o modelo instalado, inicie novamente o ComfyUI.
Na interface você verá vários blocos conectados. Esses blocos são chamados de nodes. Cada node executa uma parte do processo de geração.
Um workflow básico de Stable Diffusion normalmente possui estas etapas:
- Checkpoint Loader: carrega o modelo.
- CLIP Text Encode: transforma o prompt em informação que o modelo consegue interpretar.
- Empty Latent Image: cria o espaço latente onde a imagem será gerada.
- KSampler: executa o processo de geração.
- VAE Decode: transforma o resultado latente em uma imagem.
- Save Image: salva a imagem gerada.
4. Criando um workflow simples de Stable Diffusion
Se o ComfyUI estiver aberto com o workflow padrão, você provavelmente já terá vários desses nodes montados.
O fluxo básico deve ficar assim:
Checkpoint Loader
↓
CLIP Text Encode (+)
↓
KSampler
↓
VAE Decode
↓
Save ImageO CLIP Text Encode positivo recebe aquilo que você deseja visualizar. O CLIP Text Encode negativo recebe características que você deseja evitar.
No Checkpoint Loader, selecione o Juggernaut XL que acabou de colocar na pasta
models\checkpoints.
5. Configurando a resolução
Para começar, utilize uma resolução de 1024 × 1024, que é uma resolução nativa comum para modelos SDXL.
No node Empty Latent Image, configure:
Width: 1024
Height: 1024
Batch Size: 1Se sua placa de vídeo tiver pouca VRAM, resoluções menores podem ser necessárias.
6. Seu primeiro prompt
Agora vamos gerar a primeira imagem.
Copie o prompt abaixo para o node CLIP Text Encode (Positive):
No campo negativo, utilize:
7. Configurando o KSampler
Para uma primeira geração utilizando o checkpoint normalmente, você pode começar com uma configuração tradicional de SDXL, por exemplo:
Steps: 25
CFG: 5 a 7
Sampler: euler
Scheduler: normal
Seed: -1O Seed -1 permite gerar uma variação diferente a cada execução. Depois que encontrar uma imagem interessante, você pode fixar o seed para reproduzir o resultado.
Agora pressione Queue Prompt ou use o atalho Ctrl + Enter. O ComfyUI colocará o workflow na fila e começará a gerar a imagem.
8. Outros prompts para testar
Depois de gerar a primeira imagem, experimente outros assuntos para verificar como o modelo se comporta.
Teste 2 — Carro
Teste 3 — Lobo
9. Adicionando um LoRA ao workflow
Agora vamos adicionar um LoRA ao nosso workflow.
LoRAs são modelos complementares que podem modificar ou adaptar o comportamento do modelo principal. No nosso caso, vamos utilizar o SDXL-Lightning 8-Step LoRA, desenvolvido pela ByteDance.
Baixe o arquivo aqui:
Baixar o SDXL-Lightning 8-Step LoRA
Depois de baixar o arquivo:
sdxl_lightning_8step_lora.safetensorscoloque-o dentro de:
ComfyUI\models\lorasA documentação oficial do SDXL-Lightning também indica essa pasta para os LoRAs utilizados pelo ComfyUI.
10. Inserindo o LoRA no workflow
No ComfyUI, adicione o node:
Load LoRAO novo fluxo ficará aproximadamente assim:
Checkpoint Loader
↓
Load LoRA
↓
KSampler
↓
VAE Decode
↓
Save ImageConecte a saída MODEL do Checkpoint Loader à entrada model do Load LoRA.
Depois conecte a saída MODEL do Load LoRA à entrada model do KSampler.
As conexões de CLIP também devem passar pelo Load LoRA quando o node estiver configurado para aplicar o LoRA ao modelo e ao CLIP.
No campo do LoRA, selecione:
sdxl_lightning_8step_lora.safetensors11. Configuração do SDXL-Lightning 8-Step
O ponto mais importante é entender que o LoRA de 8 passos não deve ser utilizado como um LoRA comum. Ele foi treinado para trabalhar com uma quantidade específica de passos.
A documentação oficial do SDXL-Lightning recomenda, para o uso no ComfyUI, Euler com scheduler sgm_uniform e o número de passos correspondente ao checkpoint. Para a versão de 8 passos, portanto, utilize 8 steps.
Use esta configuração inicial:
LoRA:
sdxl_lightning_8step_lora.safetensors
Steps:
8
CFG:
0
Sampler:
euler
Scheduler:
sgm_uniform
LoRA strength model:
1.0
LoRA strength CLIP:
1.0O CFG 0 pode parecer estranho para quem está acostumado com Stable Diffusion tradicional, mas faz parte da configuração recomendada para o SDXL-Lightning.
Importante: o SDXL-Lightning é um modelo destilado. Por isso, aumentar os Steps para 20, 30 ou 40 não significa necessariamente melhorar o resultado. O modelo de 8 passos foi treinado especificamente para funcionar com 8 passos.
12. Testando o LoRA
Volte ao primeiro prompt:
Execute novamente o workflow.
A diferença principal é que agora o processo utiliza o LoRA de destilação para reduzir drasticamente a quantidade de passos necessários para gerar a imagem.
13. Testando com carro
Mantenha:
Steps: 8
CFG: 0
Sampler: euler
Scheduler: sgm_uniform
LoRA strength: 1.014. Testando com animal
Novamente, utilize os mesmos parâmetros do Lightning:
Steps: 8
CFG: 0
Sampler: euler
Scheduler: sgm_uniform
LoRA strength: 1.015. E se o resultado ficar estranho?
Se a imagem estiver com aparência muito diferente do esperado, verifique primeiro estes pontos:
- O arquivo do LoRA está realmente dentro de
models\loras? - Você selecionou o arquivo
sdxl_lightning_8step_lora.safetensorscorreto? - O checkpoint utilizado é compatível com SDXL?
- O sampler está configurado como Euler?
- O scheduler está configurado como sgm_uniform?
- Os Steps estão exatamente em 8?
- O CFG está em 0?
- A força do LoRA está em 1.0?
Também é importante lembrar que o próprio projeto SDXL-Lightning recomenda utilizar o checkpoint completo Lightning quando disponível, pois ele tende a oferecer melhor qualidade. O LoRA existe principalmente para permitir aplicar a técnica sobre outros modelos base.
16. Prompt adicional para teste de conteúdo adulto
Para testar modelos e workflows, você também pode utilizar prompts diferentes conforme o tipo de conteúdo que deseja gerar. Um exemplo fornecido para teste é:
O prompt negativo utilizado neste tutorial continua sendo:
17. Agora você já tem um workflow reutilizável
Depois que tudo estiver funcionando, salve o workflow. O ComfyUI permite salvar e carregar workflows como arquivos JSON, tornando possível reutilizar a mesma estrutura posteriormente.
Você pode manter dois workflows:
- Stable Diffusion XL normal: para geração tradicional com mais Steps.
- SDXL-Lightning 8-Step: para geração rápida utilizando o LoRA.
A partir daqui, o ComfyUI começa a ficar realmente interessante: você pode trocar modelos, adicionar LoRAs diferentes, controlar resolução, modificar samplers, adicionar ControlNet, upscalers e construir workflows cada vez mais avançados.
O mais importante neste primeiro contato é entender a lógica básica:
Modelo
↓
Prompt
↓
Latent
↓
Sampler
↓
VAE
↓
ImagemDepois que essa estrutura fizer sentido, aprender ComfyUI deixa de ser simplesmente apertar um botão para gerar uma imagem e passa a ser montar exatamente o processo que você deseja.
0 Comentários