This article focuses on ComfyUI, an interface to Stable Diffusion that provides greater flexibility for producing images. For some time, I was thinking there was no reason to consider the ComfyUI option - both Easy Diffusion and Automatic1111 were more than sufficient. However, as one becomes familiar with the possibilities, I began to see the advantages of ComfyUI even though it looked a bit more demanding for the user. It had also been suggested that it was developing faster than other interfaces – which may be helpful, depending on your image production needs. The most obvious visual difference is the use of nodes and connectors. Perhaps you are familiar with Blender (blender.org), and may recall it uses nodes in a similar way for the compositor function. A screenshot shows the nodes with connections with the dark default color scheme.
Cet article se concentre sur ComfyUI, une interface de Stable Diffusion qui offre une plus grande flexibilité pour la production d'images. Pendant un certain temps, j'ai pensé qu'il n'y avait aucune raison de considérer l'option ComfyUI ; Easy Diffusion et Automatic1111 étaient plus que suffisants. Cependant, au fur et à mesure que l'on se familiarise avec les possibilités, j'ai commencé à voir les avantages de ComfyUI, même s'il semblait un peu plus exigeant pour l'utilisateur. Il avait également été suggéré qu'il se développait plus rapidement que les autres interfaces - ce qui peut être utile, en fonction de vos besoins en matière de production d'images. La différence visuelle la plus évidente est l'utilisation de nœuds et de connecteurs. Vous connaissez peut-être Blender (blender.org) et vous vous souvenez peut-être qu'il utilise des nœuds d'une manière similaire pour la fonction de composition. Une capture d'écran montre les nœuds et les connexions avec les couleurs sombres du schéma par défaut.
We will cover a few nodes in some detail, but consider how this differs from the other interfaces. They consist of what appears to be similar options – without the node and connector concept. With nodes and connectors, you make the interface reflect your needs and not hamper your creativity. ComfyUI allows you to add duplicate nodes wherever needed or add additional nodes and reroute the workflow. You can right-click on the node area and select a node to add. As an example I selected add Node, sampling, custom sampling, and samplers. The number of choices gives you a taste for the possibilities and we will use this feature in the future. Other interfaces may have additional options but the simplicity of drawing out your workflow like a map makes it both: • obvious what you are doing now, and • easier to follow when you go back to it in the future. That said, the complexity can dramatically increase, and learning and understanding all the possible options can require much more experience.
Nous examinerons quelques nœuds en détail, mais réfléchissons à la différence avec les autres interfaces. Elles consistent en ce qui semble être des options similaires, sans le concept de nœuds et de connecteurs. Avec les nœuds et les connecteurs, vous faites en sorte que l'interface reflète vos besoins et n'entrave pas votre créativité. ComfyUI vous permet d'ajouter des nœuds en double là où c'est nécessaire ou d'ajouter des nœuds supplémentaires et de rediriger le flux de travail. Vous pouvez faire un clic droit sur la zone des nœuds et sélectionner un nœud à ajouter. À titre d'exemple, j'ai sélectionné Ajouter un nœud, Échantillonnage, Échantillonnage personnalisé et Échantillonneurs. Le nombre de choix vous donne un aperçu des possibilités et nous utiliserons cette fonction à l'avenir. D'autres interfaces peuvent proposer des options supplémentaires, mais la simplicité de la représentation de votre flux de travail sous forme de carte en fait un outil à la fois simple et efficace : ••ce que vous faites maintenant est évident, et ••il sera plus facile à suivre lorsque vous y reviendrez à l'avenir.
Cela dit, la complexité peut augmenter considérablement, et l'apprentissage et la compréhension de toutes les options possibles peuvent nécessiter beaucoup plus d'expérience.
But before we get too carried away with adding complexity to what some would think is already too complex, let’s see what it takes to make an image. Keep in mind that this is an introduction, and expanded information and initial install will be the goal next time. Let’s start with a picture I needed showing a mother helping her daughter make a pot roast. When you first start ComfyUI, you get a generic interface which contains essentially the same interface as other “simpler” interfaces. First you determine the checkpoint to be used, which in this case is an SDXL safetensors version or sd_xl_base_1.0.safetensors. Clicking on that area of the Load Checkpoint node gives you the option of choosing from what is available. Next, as with other interfaces, you need to add appropriate descriptive text or prompt. Instead of two different areas set in the interface, ComfyUI uses a CLIP Text Encode (Prompt) node which is only differentiated by where it is connected. The yellow CLIP connection goes to two different CLIP nodes (you could rename them as Positive and Negative). Nodes can also be moved around to reflect your needs with connectors following appropriately.
Mais avant d'ajouter de la complexité à ce qui, pour certains, est déjà trop complexe, voyons ce qu'il faut faire pour créer une image. Gardez à l'esprit qu'il s'agit d'une introduction et que l'objectif de la prochaine fois sera d'obtenir des informations plus détaillées et de procéder à une première installation. Commençons par une image dont j'avais besoin, montrant une mère aidant sa fille à préparer un rôti.
Lorsque vous démarrez ComfyUI pour la première fois, vous obtenez une interface générique qui contient essentiellement la même chose que d'autres interfaces « plus simples ». Vous déterminez d'abord le point de contrôle à utiliser, qui, dans ce cas, est une version des capteurs de sécurité SDXL ou sd_xl_base_1.0.safetensors. En cliquant sur cette zone du nœud Load Checkpoint, vous avez la possibilité de choisir parmi ce qui est disponible. Ensuite, comme pour les autres interfaces, vous devez ajouter un texte descriptif approprié ou une invite. Au lieu de deux zones différentes dans l'interface, ComfyUI utilise un nœud CLIP Text Encode (Prompt) qui se différencie uniquement par sa connexion. La connexion CLIP jaune est reliée à deux nœuds CLIP différents (que vous pourriez renommer Positif et Négatif). Les nœuds peuvent également être déplacés en fonction de vos besoins ; les connecteurs vous suivront convenablement.
It all starts to come together in the KSampler node. Conditioning outputs from the CLIP nodes in orange go to the Positive and Negative input in the KSampler. The Model output originating from the Load Checkpoint node (light purple) does the same. An Empty Latent Image node (pink), which also connects to the KSampler, allows you to determine image size and batch size for the image(s) to be created. A latent image is not a true image but essentially information that can be converted into an image. A variety of options are available within the KSampler (also see the larger version). Sampling steps with higher numbers increase quality and time required, and a minimum of 20 is a good start. The CFG or Classifier Free Guidance scale controls how much the prompt should be followed. De-noise strength determines how much the image should change in the IMG2IMG process, zero is none and one is completely changed. Other options are available via drop-down lists. To create an image, click on the Queue Prompt button.
Tout commence à s'assembler dans le nœud KSampler. Les sorties Conditioning des nœuds CLIP en orange sont dirigées vers les entrées positive et négative du KSampler. La sortie du modèle provenant du nœud Load Checkpoint (violet clair) fait de même. Un nœud Empty Latent Image (rose), également connecté au KSampler, vous permet de déterminer la taille de l'image et la taille du lot pour la ou les images à créer. Une image latente n'est pas une véritable image, mais essentiellement une information qui peut être convertie en image.
Plusieurs options sont disponibles dans le KSampler (voir aussi la version agrandie). Des étapes d'échantillonnage plus nombreuses augmentent la qualité et le temps nécessaire, et un minimum de 20 est un bon début. L'échelle CFG (Classifier Free Guidance) permet de contrôler dans quelle mesure l'invite doit être suivie. L'intensité du débruitage détermine dans quelle mesure l'image doit être modifiée au cours du processus IMG2IMG ; zéro correspond à aucune modification et un à une modification complète. D'autres options sont disponibles via des listes déroulantes. Pour créer une image, cliquez sur le bouton Queue Prompt.
As it starts, you can watch it progress as each node border becomes highlighted in green. Most processing occurs in the Ksampler, now highlighted, and a thicker green line indicates progress as it moves from the left to right. The initial result produced is a single image or batch with the 40 images shown in this case. You can select one and look at each in detail. Hopefully this introduction will entice you to try the ComfyUI interface (rather than discourage you). Next time we will address initial installation, updates, and a few additions you will want to add.
Au fur et à mesure qu'il se déroule, vous pouvez en voir la progression, chaque bord de nœud devenant surligné en vert. La majeure partie du traitement a lieu dans le Ksampler, maintenant mis en évidence, et une épaisse ligne verte indique la progression au fur et à mesure qu'elle se déplace de la gauche vers la droite.
Le résultat initial produit est une image unique ou un lot avec les 40 images montrées dans ce cas. Vous pouvez en sélectionner une et examiner chacune en détail. Nous espérons que cette introduction vous incitera à essayer l'interface ComfyUI (plutôt que de vous décourager). La prochaine fois, nous aborderons l'installation initiale, les mises à jour et quelques ajouts que vous souhaiterez effectuer.