Die Flux.2 Anleitung - Teil 2: Installation, Einstellungen, Arbeitsweisen

Mit den Flux.2-Modellen von Black Forrest Labs lassen sich neben der Bildgenerierung auch Bildelemente bearbeiten oder kombinieren, ohne diese aufwändig freistellen, auswählen oder maskieren zu müssen. Während Teil 1 dieser Anleitung Ihnen zeigt, wie Sie Objekte, Bildaufbau und Stile per Text- oder Bildprompt kontrollieren können, führt Sie Teil 2. durch die Installation der unterschiedlichen Flux.2-Modelle unter Benutzeroberflächen wie ComfyUI, InvokeAI, SDNext, SwarmUI oder RuinedFooocus. Außerdem werden die nützlichsten Einstellungen und Arbeitsweisen erklärt.

Kommerzielle Nutzung von Flux.2-Modellen

Wie schon in Teil 1 der Flux.2-Anleitung beschrieben, zielen die Flux.2 Basis-Modelle offensichtlich auf professionelle Anwender und sind relativ groß. Kommerziell vollständig nutzbar sind außerdem nur die per Flux.2 API oder Cloud-Anbieter zugänglichen Modelle sowie die abgespeckten Flux.2 [klein] 4B-Modelle gemäß Apache 2-Lizenz. Bilder die mit dem FLUX [dev]- oder dem Flux.2 [klein] 9B-Modell generiert wurden, dürfen nur begrenzt gemäß den Bedingungen der FLUX Non-Commercial License v2.0 kommerziell genutzt werden.

Was ist der Unterschied zwischen BF16-, FP8-, und NVFP4-Modellen?

Da viele Grafikkarten der Größe der Flux-Modelle nicht gewachsen sind, gibt es über die Basismodelle von Black Forrest Labs hinaus eine Vielzahl von Flux.2-Modellen unterschiedlicher Größe und Detailtiefe, mit denen auch Rechner mit geringem Grafikkartenspeicher zurechtkommen.

Flux.2 [dev] und Flux.2 [klein] sind 16 Bit-Modelle (BF16), die entsprechend groß sind und zur Bildgenerierung relativ viel Grafikkartenspeicher benötigen. Bei den 8 Bit-Modellen (FP8) handelt es sich um komprimierte Varianten der Flux-Originale, die für Grafikkarten mit weniger als 64 GB VRAM optimiert wurden.

Während FP8-Modelle deutlich kleiner sind als BF16-Modelle, kommen NFP4-Modelle mit 30% der ursprünglichen Dateigröße aus. NFP4-Modelle wurden für NVIDIA-Grafikkarten der 50XX-Serie optimiert und sind in der Bilderzeugung noch einmal deutlich schneller, wie die FP8-Modelle.

Was ist der Unterschied zwischen GGUF- und Safetensors-Modellen?

Auch gguf-Dateien sind sogenannte „quantisierte“, also komprimierte Modelle für Rechner mit geringem Grafikkartenspeicher. Von den Flux AI-Basismodellen gibt es gguf-Varianten mit der Bezeichnung Q2, Q3, Q4, Q5, Q6 und Q8 mit einer Dateigröße von 8-35 GB.

Sie sind auch für Grafikkarten ab 8 GB VRAM (12 GB empfohlen) geeignet, benötigen aber mehr Zeit für die Bildgenerierung, da sie erst dekomprimiert werden müssen. Während die Bildqualität des Q8-Modells durchaus mit den Ergebnissen des FP8-Modells vergleichbar ist, ist unterhalb von Q4 nicht mit befriedigenden Resultaten zu rechnen.

Die 5 bit- und die 4 bit-gguf-Varianten gibt es zudem mit unterschiedlicher Quantisierung:

Q5_1	25 GB [dev]	7 GB [klein]	wenig Qualitätsverlust
Q5_0	23 GB [dev]	7 GB [klein]	ausgewogene Bildqualität
Q5_K_S	23 GB [dev]	7 GB [klein]	wenig Qualitätsverlust (empfohlen)
Q4_1	21 GB [dev]	6 GB [klein]	wesentlicher Qualitätsverlust
Q4_0	19 GB [dev]	6 GB [klein]	sehr hoher Qualitätsverlust
Q4_K_S	19 GB [dev]	6 GB [klein]	beachtlicher Qualitätsverlust

Wozu brauche ich welche Text-Encoder und VAE-Encoder?

Ein Text-Encoder ist ein künstliches, neuronales Netzwerk, das mit Text-Bild-Paaren trainiert wurde. Es dient bei der Text-zu-Bild-Generierung dazu, den Prompt zu interpretieren, indem es die Texteingabe in einzelne Merkmale zerlegt und relevante Bildelemente erkennt.

Das Flux.2 [dev]-Modell wurde hier mit dem umfassenden Sprachmodell von Mistral AI gepaart. Der Encoder ist nicht nur in der Lage, Prompts in natürlicher Sprache zu verstehen sondern auch Texteingaben in vielen verschiedenen Sprachen. Das bedeutet, dass Sie Ihren Prompt nun auch auf Deutsch schreiben können. Der Nachteil des Sprachmodels von Mistral AI ist die Dateigröße, die sich auf die Geschwindigkeit der Bildgenerierung auswirkt. Das Modell gibt es als FP16- und als FP8-Variante, wobei letztere 50% kleiner ist, als das Basis-Modell.

Da das Flux.2 [klein]-Modell für Grafikkarten mit geringerer Speichergröße geschaffen wurde, kommt hier ein Sprachmodell mit weniger Speicherhunger zum Einsatz: der Text-Encoder von Qwen AI. Auch hier gibt es eine FP16- und eine kleinere FP8-Variante.

Ein Variational Autoencoder (VAE) ist ein neuronales Netzwerk, das den Bilderzeugungsprozess beschleunigt, die Qualität und die Detailtiefe verbessert und die Farben verstärkt.

Übersicht der Flux.2 Basismodelle

Falls Sie inzwischen den Überblick über die verschiedenen Flux.2-Modelle und -Encoder komplett verloren haben, hier eine grobe Übersicht:

Modell	Dateigröße	Empfohlener VRAM	Referenzbilder
Flux.2 [dev] BF16	64 GB	> 64 GB	6
Flux.2 [dev] FP8	35 GB	32 GB	6
Flux.2 [dev] NF4	23 GB	NVIDIA 50xx	6
Flux.2 [dev] Q2-Q8 GGUF	13-35 GB	> 12 GB	6
Flux.2 [klein] BF16 9B	18 GB	32 GB	4
Flux.2 [klein] FP8 9B	9 GB	16 GB	4
Flux.2 [klein] BF16 4B	8 GB	12 GB	4
Flux.2 [klein] FP8 4B	4 GB	> 8 GB	4
Flux.2 [klein]  Q2-Q8 4B GGUF	4-10 GB	> 8 GB	4

Die Merkmale 9B (9 Billion) und 4B (4 Billion) geben die Anzahl der Parameter an, mit denen das Modell trainiert wurde.

Eine Tabelle mit weiteren Informationen zu Quantisierungen, Encodern und Download-Links finden Sie hier als PDF-Download:

Systemvoraussetzungen: Welches Flux.2-Modell soll ich also nun nehmen?

Das hängt davon ab welche Benutzeroberfläche Sie verwenden und wie lange Sie auf ein Bild warten wollen. Generell kann man als Daumenregel festhalten, dass der Grafikkartenspeicher etwas größer sein sollte, als die Dateigröße des Modells. Wenn Sie mit annehmbarer Geschwindigkeit arbeiten wollen solten Sie beachten, dass auch die Text-Encoder sehr groß sind und entsprechend Speicherplatz benötigen. Je nach Benutzeroberfläche werden die Text-Encoder während des Prozesses in den Arbeitsspeicher ausgelagert, damit sich die Dateigrößen nicht addieren. Auch Ihr Arbeitsspeicher sollte daher entsprechend groß sein..

Prinzipiell können Sie sich mit einem Grafikkartenspeicher ab 8 GB und einem Arbeitsspeicher von 16 GB in das Flux.2-Abenteuer stürzen. Bei geringer Speicherkapazität müssen Sie aber mit langen Wartezeiten bei der Bilderzeugung rechnen. Richtig Spaß macht die Sache erst ab 24 GB VRAM und 32 GB RAM , wobei Sie sich hier auf die komprimierten Modelle konzentrieren sollten. Für die FP8 [dev]-Modelle sollten 32 GB VRAM und 64 GB RAM zur Verfügung stehen.

Wozu brauche ich einen Huggingface API Token

Viele Benutzeroberflächen bieten eine Form von automatisierten oder begleiteten Download an, d. h. die UI lädt automatisch sowohl das richtige Modell als auch alle erforderlichen Text-Encoder und VAE-Encoder herunter. Um Flux-Modelle herunterzuladen, müssen Sie zunächst die Nutzungsbedingungen von Black Forrest Labs akzeptieren. Hierzu benötigen Sie eine Huggingface-Account. Rufen Sie auf Huggingface.co die jeweilige „Model card“ des Modells auf, also z.B. Flux.2 [klein] 9B. Ganz oben finden Sie dann den Button „Agree and access repository“.

Nachdem Sie den Nutzungsbedingungen zugestimmt haben, können Sie einen API-Token erzeugen. Das ist eine Art Passwort mit dem ihre UI auf geschützte Dateien bei Huggingface zugreifen kann. Wenn Sie diesen API-Token in dem dafür vorgesehenen Bereich Ihrer WebUI eintragen, könnnen Sie Modelle herunterladen, ohne sich jedes mal wieder bei Huggingface einloggen zu müssen.

Wie erzeuge ich einen Huggingface API Key bzw. Hugginface Token?

Melden Sie sich bei Huggingface an, navigieren Sie über „Settings“ zu „Access Tokens“ und klicken Sie auf „Create new token“. Wenn Sie dann den „Token Type“ „Fine grained“ wählen, können Sie weiter unten unter „Repositories permissions“ die Modelle auswählen, zu denen Sie bereits Zugang haben.

Lokale Benutzeroberflächen für Flux.2

Nicht alle Benutzeroberflächen kommen mit den Flux.2-Modellen zurecht. Wenn Sie die Bilderzeugung auf Ihrem eigenen Rechner bevorzugen, stehen Ihnen die Weboberflächen ComfiUI, InvokeAI, RuinedFooous, SDNext und SwarmUI zu Verfügung. ForgeWebUI wir offensichtlich nicht mehr weiterentwickelt.

ComfyUI

ComfyUI ist mit Abstand die flexibelste Benutzeroberfläche und immer auf dem neuesten Stand, wenn es um die Verarbeitung aktueller Modelle geht. Zur bequemen Installation und Anwendung gibt es eine Desktop-Version. Für Bastler, die gerne selber Hand anlegen, empfiehlt sich die „portable“ Version.

Installation von Flux.2 in ComfyUI

Während die Installation von Flux.1-Modellen in der „portable Version“ bequem über den „Manager“ erledigt werden konnte, ist dieser aus der Desktop-Version bedauerlicherweise verschwunden.

Für beide Versionen besteht aber die Möglichkeit, Modelle über die Fehlermeldungen in den Workflows zu installieren. Das hat den Vorteil, dass Sie genau die Flux.2-Modelle und die dazu passenden Text- und VAE-Encoder herunterladen, die Sie benötigen.

Um ein Flux.2-Template zu laden, öffnen Sie die Templates-Übersicht mit dem Button links oben und suchen Sie nach „Flux 2“. Sie könnten z.B. die Vorlage „Image Flux.2 klein 9b“ wählen. Das Model „Flux.2 klein 9b“ ist ein guter Kompromiss aus Bildqualität und Speicherhunger.

In Ihrem Workflow erscheinen nun einige Fenster bzw. „Nodes“ mit einem roten Rahmen, da hier Elemente fehlen. Rechts unter „Workflow Overview“ > „Errors“ listet ComfyUI die fehlenden Dateien auf. Über die „Download“-Buttons können Sie das Modell und die Encoder nun direkt herunterladen oder über den „Copy URL“ die Download-Links zu den Dateien kopieren.

Für Benutzer der „portable Version“ sind die Download-Links zu den Modellen und den Encodern und deren Speicherort in der ComfyUI-Ordnerstruktur noch einmal links im Workflow in einer Notiz aufgelistet.

Um Flux.2-Modelle nutzen zu können, müssen Sie auf Huggingface.co zunächst den Nutzungsbedingungen für jedes Modell zustimmen. Deshalb finden Sie unter „Missing Models“ den Hinweis: „Some models are gated.“ Wenn Sie auf das Schloss rechts neben dem betroffenen Modell klicken, öffnet sich ein Fenster mit dem Huggingface-Login. Hier können Sie sich anmelden oder neu registrieren. Anschließend werden Ihnen die Nutzungsbedingungen angezeigt. Sobald Sie diese mit „Agree and access repository“ bestätigt haben und die Meldung „You have been granted access to this model“ können Sie das Model über den „Download“-Button herunterladen. Lassen Sie dabei das Huggingface-Fenster offen und bleiben Sie angemeldet.

Der blaue Button oben rechts zeigt den laufenden Download an. Er färbt sich grün, sobald der Vorgang abgeschlossen ist.

Die Desktop-Version von ComfyUI speichert die Dateien auf Windows unter „C:\Users\IhrBenutzer\AppData\Local\Comfy-Desktop\ComfyUI-Shared\models\“. Falls Sie die Modelle bereits auf Ihrem Rechner haben, können Sie diese sowohl für die Desktop- als auch für die Portable-Version auch einfach in das ComfyUI-Modellverzeichnis in Ihrem ComfyUI-Installationsverzeichnis kopieren: „MeinInstallationsverzeichnis\models\diffusion_models“.

Neben dem Flux.2-Modell benötigen Sie einen Text-Encoder und einen VAE-Encoder. Auch diese können Sie bequem über die „Missing Models“-Liste herunterladen oder in Ihr Modellverzeichnis kopieren:

• Text-Encoder: MeinInstallationsverzeichnis\models\text_encoders
• VAE-Encoder: MeinInstallationsverzeichnis\models\vae

Bilderzeugung in ComfyUI mit Flux.2

ComfyUI bietet Workflows für unterschiedliche Flux.2 [dev] und [klein]-Modelle an. Ihre Möglichkeiten hängen von der Größe Ihres Grafikkartenspeichers ab.

Einen Überblick erhalten Sie, indem Sie in der Randleiste ganz links unten den Button „Templates“ anwählen und in dem neuen Fenster rechts oben in der Suchfeld „flux2“ eingeben. Für den Anfang empfehle ich, mit dem Model „Flux.2 [klein] 9B“ zu arbeiten, das ist ein guter Kompromiss aus Qualität, Geschwindigkeit und Speicherhunger.

Um ein Bild zu generieren könnten Sie also das Template „Flux.2 [klein] 9B: Text to Image“ auswählen. Im Text to Image-Node müssen Sie dann nur noch einen Prompt eingeben und die Bildgröße festlegen.

Die Einstellungen für die Bildgenerierung sind bereits hinterlegt. Die Standardeinstelungen sind:

• CFG Guider: 5
• Sampler: Euler
• Steps: 20

Zur Verbesserung der Qualität können Sie die Steps auf 30 erhöhen. Ist die Farbsättigung der Ergebnisse zu hoch, sollten Sie den Wert für den „CFG Guider“ reduzieren. Um diese Werte zu ändern öffnen Sie den Subgraph Node, indem Sie auf den Button oben rechts im Text to Image-Node klicken.

Bildbearbeitung in ComfyUI mit Flux.2 und Referenzbildern

Je nach Model können Sie bis zu zehn Referenzbilder in ComfyUI verwenden. ComfyUI hält für das oben empfohlene Modell „Flux.2 [klein] 9B“ das Template „Flux.2 [klein] 9B: Image Edit“ bereit, mit dem Sie bis zu zwei Referenzbilder verwenden können.

Klicken Sie dazu in der Randleiste ganz links unten auf den Button „Templates“, geben Sie in dem neuen Fenster rechts oben in der Suchfeld „flux2“ ein und wählen Sie das Template „Flux.2 [klein] 9B: Image Edit“. Laden Sie ggf. die fehlenden Dateien herunter. In dem „Load Image“-Node können Sie nun mit einem Klick auf den Button „choose file to upload“ ein Referenzbild laden. Beschreiben Sie anschließend in dem Textfeld im „Image Edit“-Node ein, was mit mit dem Bild geschehen soll. In unserem Beispiel:

remove the man in front of the car

Bildbearbeitung in ComfyUI mit Flux.2 und mehreren Referenzbildern

Wenn Sie im Template „Flux.2 [klein] 9B: Image Edit“ ein weiteres Referenzbild verwenden wollen, laden Sie das in den unteren „Load Image“-Node und aktivieren Sie die unteren, lila eingefärbten „Image Edit“- und „Save Image“-Nodes mit einem Klick auf den Node und dann auf den „Bypass/Unbypass Selected Nodes“ rechts oben über dem Node. Geben Sie dann im „Image Edit“-Node einen Prompt ein, wie z.B. :

place the woman in front of the car

Die beiden Prompts werden nun nacheinander abgearbeitet: Der Mann verschwindet und die Frau wird eingefügt.

Hier ist noch ein Beispiel mit vier Referenzbildern und einem Prompt. Der Workflow basiert auf dem „Flux.2 Dev“ Template, das zunächst nur einen „Load Image“-Node anbietet. Das verwendete Modell ist „Flux2 [Dev] FP8 Mixed“.

Um weitere Referenzbilder einfügen zu können, habe ich den „Image Edit“-Subgraph-Node in seine Bestandteile aufgelöst, indem ich den „Image Edit“-Node angeklickt und dann den „Unpack the selected Subgraph“-Button über dem Node gewählt habe (viertes Symbol von links).

Anschließend habe ich die Kombination aus den „Load Image“-, „Scale Image to Total Pixels“-, „VAE Encode-“ und „Set Reference Latent“-Nodes dreimal kopiert und die „VAE Encode-“Nodes jeweils mit dem „Load VAE“-Node verbunden. Außerdem mussten die „Set Reference Latent“-Nodes in Reihe geschaltet werden, wobei die Verbindung des obersten Nodes mit dem „Basic Guider“-Node bleibt, während der Unterste aus dem „Flux Guidance“-Node gespeist wird.

Hier ist der Prompt:

A woman in a red white checkered dress is standing at the fender in front of a black car with one hand on the fender and looking at the viewer. A man with his hand in his pockets, wearing a black jacket, beige trousers and a hat is standing near the door of the car.

Zur besseren Übersicht habe ich sämtliche Nodes gelöscht, die mit dem „8 Steps LoRA“ zusammenhängen. Dieser wäre hilfreich, wenn Sie schneller zum Ergebnis kommen wollen.

InvokeAI

Im Unterschied zu anderen Benutzeroberflächen arbeitet InvokeAI mit unterschiedlichen Ebenen für Bilderzeugung, Masken und ControlNets - ähnlich wie Bildbearbeitungs- oder Illustrationsprogramme. Die Ebenen lassen sich als Photoshop-Datei exportieren. Damit lässt sich InvokeAI gut in professionelle Arbeitsabläufe einfügen.

Installation von Flux.2 in InvokeAI

In InvokeAI installieren Sie Modelle ausschließlich über die Benutzeroberfläche. Das hat den Vorteil, dass Sie sich nicht mit der Ordnerstruktur auseinandersetzen müssen und nur Modelle herunterladen, die InvokeAI auch verarbeiten kann.

Diese Anleitung bezieht sich auf die deutsche Benutzeroberfläche, die Sie links unten unter Zahnrad > Settings > Language auswählen können.

Die Modellübersicht erreichen Sie, indem Sie in der Benutzeroberfläche unten links den Würfel aktivieren. Der „Model Manager“ auf der linken Seite zeigt Ihnen eine Übersicht, welche Modelle bereits installiert sind. Auf der rechten Seite unter „Modell hinzufügen“ haben Sie nun drei Möglichkeiten, unterschiedliche Flux.2-Modelle zu installieren.

Bevor Sie Modelle herunterladen, sollten Sie zunächst unter dem Reiter „Huggingface“ im Textfeld „Huggingface Token“ Ihren Huggingface API Schlüssel eintragen, da Sie sonst die Fehlermeldung „You do not have access to this model“ erhalten.

Servierfertiges Flux.2 Anfänger-Modell für kleine Grafikkarten

Wenn Sie sich nicht weiter damit beschäftigen wollen, welches Modell mit welchem Text-Encoder und welchem VAE-Encoder Sie verwenden können und einfach loslegen wollen, ist der Reiter „Einstiegsmodelle“ rechts oben der richtige Ort für Sie. Ein Klick auf den „Flux.2 Klein“-Button im Bereich „Starterpakete“ lädt Ihnen ein Flux.2 [klein] GGUF Q4 Modell nebst allen erforderlichen Encodern herunter (7 Gb). Dieses Modell können Sie ohne weiters mit einer Grafikkarte ab 8 Gb und einem Arbeitsspeicher ab 16 Gb nutzen. Allerdings sollten Sie keine all zu großen Erwartungen an die Bildqualität stellen.

Flux.2 [klein]-Modelle für höhere Ansprüche

Ebenfalls unter dem Reiter „Einstiegsmodelle“ finden Sie weiter unten ein Liste von Modellen, die Sie als Bündel einschließlich aller notwendigen Encoder herunterladen können. Scrollen Sie abwärts, bis Sie die Flux.2 [klein] Modelle erreichen. Falls Ihre Grafikkarte das hergibt, empfehle ich Ihnen das Modell „Flux.2 Klein 9B (FP8)“. Das ist ein guter Kompromiss aus Qualität und Genügsamkeit in Sachen Grafikkartenspeicher.

Flux.2 Modelle aus Ihrem eigenen Archiv in InvokeAI nutzen

Wenn Sie es wie ich bevorzugen, Modelle in einem zentralen Archiv zu lagern, müssen Sie diese unter dem Reiter „URL oder lokaler Pfad“ installieren. Am einfachsten gehen Sie dazu in das lokale Verzeichnis, in dem sich das Model befindet und kopieren mit einem Rechtsklick auf die Datei und „Als Pfad kopieren“ den Dateipfad, fügen diesen dann im Textfeld „URL oder lokaler Pfad“ ein und klicken auf „Install“.

Aber Vorsicht: InvokeAI verarbeitet nur bestimmte Kombinationen von Flux.2 [klein] und Text-Encodern. Im Zweifelsfall schauen Sie unter „Einstiegsmodelle“ nach, mit welchen Encodern Ihr Wunschmodel gebündelt wurde.

Ein Haken bei „In-place install“ belässt das Modell in Ihrem Archiv, anstatt es in das InvokeAI-Modellverzeichnis zu kopieren.

Bilderzeugung in InvokeAI mit Flux.2

Um in InvokeAI ein Bild mit Flux.2 zu erzeugen, aktivieren Sie den „Aa“-Button links oben und geben einen Text-Prompt ein. Wählen Sie im Fenster „Erstellung“ unter „Modell“ das gewünschte Flux.2-Modell. InvokeAI sucht nun automatisch nach dem passenden Text-Encoder und dem VAE-Encoder und zeigt diese im Fenster „Erweitert“ links unten an. Falls Sie dort eine Fehlermeldung sehen, müssen Sie den passenden Encoder noch herunterladen.

Unter „Bild“ können Sie die gewünschte Bildgröße einstellen. Dabei sollten Sie die empfohlenen Seitenverhältnisse beachten. Das Menü unter „Seitenverhältnis“ bietet Ihnen hierzu verschiedene, voreingestellte Formate an. Sie können unter „Breite“ und „Höhe“ aber auch eigene Bildgrößen festlegen, sofern die Werte durch 64 teilbar sind..

Auch die Einstellungen für die Bildgenerierung nimmt InvokeAI automatisch vor. Die Standardeinstellungen sind:

• Planer: Euler
• Schritte: 20
• Guidance: 4

Die Einstellung „Guidance“ wird für komprimierte Flux.2 [klein]-Modelle nicht mehr angezeigt. Der Wert beträgt standardmäßig „1“ und läßt sich nicht ändern.

Falls Invoke unter „Erweitert“ weder ein „VAE“ noch ein Encoder eingtragen ist, müssen Sie diese noch auswählen. Die Encoder sind nicht optional.

Zur Verbesserung der Qualität können Sie die Schritte auf 30 erhöhen.

Bildbearbeitung in InvokeAI mit Flux.2 und Referenzbildern

Bei aktiviertem „Aa“-Button können sie unterhalb des Text-Prompts ein Referenzbild eingeben, indem Sie dort eines hochladen, oder Sie machen einen Rechtsklick auf das gewünschte Bild rechts in Ihrer Galerie. Geben Sie dann darüber, wie in Teil 1 der Flux.2-Anleitung beschrieben, einen detaillierten Text-Prompt ein, der erklärt, was Sie mit dem Bild machen wollen.

In unserem Beispiel wählen wir unter Ordner > Flux2 klein 9B >Bilder das Foto eines 50er Jahre Custom Cars mit seinem Besitzer mit einem Rechtsklick > „Use as Reference Image“. Unter „Bild“ geben wir die Auflösung des Originalbilds mit 1248 x 832 ein, damit die Bildgröße erhalten bleibt. Um den Mann verschwinden zu lassen, schreiben wir im Text-Prompt:

Remove the man in front of the car.

Wie arbeite ich mit mehreren Referenzbildern in InvokeAI?

InvokeAI akzeptiert mehrere Referenzbilder. Auch diese können Sie, wie oben beschrieben, unter Assets oder Bilder anwählen und als Referenzbild definieren. Im Text-Prompt können Sie die einzelnen Bildelemente, die Sie im Ergebnis sehen wollen, dann entweder im Detail beschreiben oder Sie beziehen sich auf die Bildreihenfolge, also „Aktion...Bild1...Bild2...Bild3...“.

Colored photo of a 25 yo. man in a suit wearing a hat and black shoes, 1959s fashion. Full body shot. Hands in pockets. Standing in front of a 1950s pale blue custom car on a suburban street. You can see the driver side of the car. A woman in a red white checkered dress is standing at the fender in front of the car with one hand on the fender and looking at the viewer. Bright sunlight on a summer day.

Add the woman in image 2 to the photo of the man in a suit in image 1 in front of his car. The woman wears the red white checkered dress from image 3. She is standing at the fender in front of the car with one hand on the fender and looking at the viewer. Bright sunlight on a summer day. Maintain any other details of the scene.

SDNext

Wer der guten, alten AUTOMATIK1111-WebUI nachtrauert, dem ist mit SDNext gut geholfen. Die aktuelle Benutzeroberfläche von SDNext lässt sich sogar auf die originale Oberfläche zurückstellen.

Installation von Flux.2 in SDNext

In SDNext installieren Sie Modelle ausschließlich über die Benutzeroberfläche. Das hat den Vorteil, dass Sie sich nicht mit der Ordnerstruktur auseinandersetzen müssen und nur Modelle herunterladen, die SDNext auch verarbeiten kann. Der Nachteil ist, dass SDNext keine vollständigen Modelle herunterlädt, die Sie auch ohne größeren Aufwand in anderen Benutzeroberflächen verwenden können, sondern mehrere Teilkomponenten.

Die Modellübersicht finden Sie rechts unter „Networks“ unter dem Reiter „Model“ > „All“. Wenn Sie in der Suchmaske „Flux.2“ eingeben, listet SDNext alle kompatiblen Flux.2-Modelle auf, die zur Installation bereitstehen oder bereits installiert sind. Wenn Sie mit der Maus über das Bild fahren und auf „I“ klicken, erhalten Sie detaillierte Informationen zum Modell.

Bevor Sie Modelle installieren, sollten Sie zunächst unter dem Button „Settings“ > „Huggingface“ im Textfeld „Huggingface token“ Ihren Huggingface API Schlüssel eintragen, da Sie sonst keinen Zugriff auf Flux.2-Modelle haben.

Um ein Modell herunter zu laden, klicken Sie auf das entsprechende Bild unter Netzwerke“ unter dem Reiter „Model“ > „All“. SDNext lädt nun das gewählte Modell herunter. Sobald Sie die Bildgenerierung starten, werden auch auch alle erforderlichen Encoder heruntergeladen. Je nach Dateigröße kann das eine Weile dauern.

Kompatible Flux.2 Modelle für SDNext

Flux.2 [dev]

Flux.2 [dev] sdnq-uint4 ¹ ²

Flux.2 [klein] Base 9B

Flux.2 [klein] 9B

Flux.2 [klein] 9B KV ³

Flux.2 [klein] 9B sdnq-uint4-dynamic-svd ¹ ²

Flux.2 [klein] Base 4B

Flux.2 [klein] 4B

Flux.2 [klein] 4B sdnq-uint4-dynamic ¹ ²

¹ SDNQ-Modelle verwenden die plattformübergreifende „SD.Next Quantization Engine“.

² UINT4-Quants sind komprimierte Modelle mit verringerter Qualität und Geschwindigkeit, benötigen aber 3,6 fach weniger Grafikkartenspeicher als die Standardmodelle.

³ KV-Modelle sind für die beschleunigte Bilderzeugung mit mehreren Referenzbildern optimiert.

Bilderzeugung in SDNext mit Flux.2

Um in SDNext ein Bild mit Flux.2 zu erzeugen, aktivieren Sie rechts unter „Networks“ > „Models“ das gewünschte Flux.2-Modell. Dann wählen Sie den „Images“-und den „Prompt“-Button links oben und geben einen Text-Prompt ein. Weiter unten können Sie die gewünschte Bildgröße einstellen. Dabei sollten Sie die empfohlenen Seitenverhältnisse beachten. Klicken Sie auf die Buttons „Sampler“ und „Guidance“ um diese zu kontrollieren oder zu ändern.

Die Standardeinstellungen sind:

• Steps: 20
• Sampling method: Euler
• Guidance scale: 1-4

Zur Verbesserung der Qualität können Sie die Steps auf 30 oder mehr erhöhen. Ist die Farbsättigung der Ergebnisse zu hoch, sollten Sie den „Guidance rescale“ heraufsetzen.

Für das Beispiel wurde das Modell Flux.2 [Klein] 9B KV verwendet, das sich besonders gut für die Bildgenerierung mit mehreren Referenzbildern eignet.

Colored photo of a 25 yo. man in a suit wearing a hat and black shoes, 1950s fashion. Full body shot. Hands in pockets. Standing in front of a 1950s pale blue custom car on a suburban street. You can see the driver side of the car. A one story home with horizontal grey wood paneling in the far background. Bright sunlight on a summer day.

Bildbearbeitung in SDNext mit Flux.2 und Referenzbildern

Rechts neben dem Prompt können Sie unter dem Reiter „Input“ > „Image“ ein Referenzbild hochladen. Klicken Sie hierzu auf den „Upload image to active layer“-Button. Auf der rechten Seite sehen Sie, dass SDNext einen sog. „Stage“ angelegt hat.

Im Texteingabefeld links für den Prompt geben Sie ein was mit dem Bild passieren soll:

Remove the man in front of the car

Bildbearbeitung in SDNext mit Flux.2 und mehreren Referenzbildern

Um mehr als ein Referenzbild zu nutzen, laden Sie zunächst das wichtigste Bild wie oben beschrieben mit dem „Upload image to active layer“-Button in den Image-Input. Anschließend legen Sie eine neue Ebene (Stage 2) an, indem Sie auf das Plus-Zeichen rechts oben unter „Stages“ klicken. Das zweite Referenzbild können Sie dann wieder mit dem Button „Upload image to active layer“ laden. Stellen Sie sicher, dass die eingestellte Bildgröße Ihrem Wunsch entspricht oder mit dem Bildformat des Haupt-Referenzbilds übereinstimmt.

Gehen Sie nun in der Menüspalte links auf „Inputs“ und aktivieren Sie „Skip input processing“, damit SDNext Ihre Bilder unverarbeitet an die Bilderzeugung weiterreicht.

In dem Beispiel unten wurden drei Referenzbilder in drei Stages geladen.

Add the woman in image 2 to the scene in image 1. She is wearing the red white checkered dress from image 3 and is standing at the right side of the man at the fender in front of the car with one hand on the fender and looking at the viewer. She is a little smaller than the man. Maintain all details of image 1.

SwarmUI

SwarmUI ist eine Weiterentwicklung der AUTOMATIK1111-Oberfläche, mit dem Unterschied, dass Sie viele der aktuellen Bild- und Videogenerierungsmodelle nutzen können, Die Benutzeroberfläche ist übersichtlich und es gibt einen Installer, mit dem Sie die SwarmUI mit einem Klick installieren können.

Installation von Flux.2 in SwarmUI

In SwarmUI müssen Sie Flux.2-Modelle direkt von Huggingface.co herunterladen und in das Verzeichnis „MeinInstallationsverzeichnis\Models\diffusion_models“ kopieren. Der mitgelieferte „Downloader“ in SwarmUI speichert die Daten leider in das falsche Verzeichnis. SwarmUI verarbeitet sämtliche Flux.2-Modelle.

SwarmUI lädt die zum jeweiligen Modell kompatiblen Encoder automatisch bei der ersten Bildgenerierung herunter. Der Text-Encoder wird unter „MeinInstallationsverzeichnis\Models\text_encoders“ gespeichert und der VAE-Encoder unter „MeinInstallationsverzeichnis\Models\VAE“.

Bilderzeugung in SwarmUI mit Flux.2

Um ein Bild mit SwarmUI zu erzeugen aktivieren Sie im unteren Register unter dem „Models“-Reiter das gewünschte Flux.2-Modell und geben Sie einen Prompt im Textfeld „Type your prompt here“ ein.

SwarmUI setzt die notwendigen Einstellungen für das gewählte Modell automatisch, Sie müssen nur noch unter „Resolution“ die Bildgröße festlegen. Die Standard-Einstellungen sind für:

Flux.2 [dev]

> Core Parameters

• Steps: 20
• CFG Scale: 1

> Sampling

• Sampler: Euler
• Scheduler: Normal
• Flux Guidance Scale: 3,5

Flux.2 [klein]

> Core Parameters

• Steps: 20
• CFG Scale: 7

> Sampling

• Sampler: Euler
• Scheduler: Normal
• Flux Guidance Scale: 3,5

In dem Beispiel unten habe ich das Model Flux.2 [klein] 9B FP8 mit einem CFG-Scale von 1 verwendet. Ein niedriger CFG Scale von 2-3 führte zu qualitativ besseren Ergebnissen.

Colored photo of a 25 yo. man in a suit wearing a hat and black shoes, 1950s fashion. Full body shot. Hands in pockets. Standing in front of a 1950s pale blue custom car on a suburban street. You can see the driver side of the car. A one story home with horizontal grey wood paneling in the far background. Bright sunlight on a summer day.

Bildbearbeitung in SwarmUI mit Flux.2 und Referenzbildern

Die Anzahl der Referenzbilder, die Sie in SwarmUI verwenden können, wird nur durch das Modell begrenzt, das Sie verwenden. Um ein Referenzbild auszuwählen, können Sie es auf das Eingabefeld für den Text-Prompt ziehen oder es dort hineinkopieren. Es erscheint dann oberhalb des Prompts.

In unserem Beispiel lassen wir einen Mann, der vor seinem Auto steht, verschwinden. Die Bildgröße wurde unter „Resolution“ mit „Aspect Ratio“ = „Custom“ auf die Originalgröße gesetzt, der „CFG Scale“ auf 1.

Bildbearbeitung in SwarmUI mit Flux.2 und mehreren Referenzbildern

Sie können weitere Referenzbilder hinzufügen, indem Sie auch diese in das Textfeld für den positiven Prompt kopieren. Da die Flux.2 [klein]-Modelle etwas schwerer von Begriff sind, als die Flux.2 [dev]-Modelle, fällt der Prompt in diesem Fall etwas ausführlicher aus:

Add the woman in image 2 to the scene in image 1. She is smaller than the man. She is wearing the red white checkered dress from image 3 and is standing at the fender in front of the car with one hand on the fender and looking at the viewer. Maintain all details from image 1.

RuinedFooocus

RuinedFooocus ist ein Ableger der beliebten Benutzeroberfläche „Fooocus“. Während das Original mit einem deutlich größeren Funktionsumfang daherkommt, ist RuinedFooocus in der Lage, mit vielen aktuellen Bild- und Videogenerierungsmodellen zu arbeiten. Da RuinedFooocus je nach Flux-Modell alle erforderlichen Encoder automatisch herunterlädt, ohne dass Sie sich mit den unterschiedlichen Abhängigkeiten auseinandersetzen müssen, ist diese Benutzeroberfläche besonders für Anfänger geeignet.

Der Nachtteil gegenüber anderen Benutzeroberflächen bei der Arbeit mit Flux.2 in RuinedFooocus ist, dass Sie nur ein Referenzbild und keine GGUF-Modelle verwenden können.

Installation von Flux.2 in RuinedFooocus

In RuinedFooocus müssen Sie Flux.2-Modelle direkt von Huggingface.co herunterladen und in das Verzeichnis „MeinInstallationsverzeichnis\models\checkpoints“ kopieren. Um Flux.2-Modelle herunterladen zu können, müssen Sie sich zunächts bei Huggingface anmelden und den Nutzungsbedingungen von Black Forrest Labs zustimmen.

RuinedFooocus lädt die zum jeweiligen Modell kompatiblen Encoder automatisch bei der ersten Bildgenerierung herunter. Der Text-Encoder wird unter „MeinInstallationsverzeichnis\models\clip“ gespeichert und der VAE-Encoder unter „MeinInstallationsverzeichnis\models\vae“.

Bilderzeugung in RuinedFooocus mit Flux.2

Um ein Bild mit RuinedFooocus zu erzeugen wählen Sie im Register rechts oben unter dem „Models“-Reiter das gewünschte Flux.2-Modell und geben Sie links unten einen Prompt in das Textfeld „Type prompt here“ ein.

Unter dem „Setting“-Reiter wählen Sie dann in der „Performance“-Auswahl die Einstellung „Flux“. RuinedFooocus setzt damit die erforderlichen Einstellungen, welche Sie mit der Einstellung „Custom“ nach Wunsch anpassen können. Unter „Aspect Ratio“ können Sie nun noch die gewünschte Bildgröße festlegen.

Hier ist ein Beispiel, das mit dem Modell Flux.2 [klein] 9B generiert wurde.

Colored photo of a 25 yo. man in a suit wearing a hat and black shoes, 1950s fashion. Full body shot. Hands in pockets. Standing in front of a 1950s pale blue custom car on a suburban street. You can see the driver side of the car. A one story home with horizontal grey wood paneling in the far background. Bright sunlight on a summer day.

Bildbearbeitung in RuinedFooocus mit Flux.2 und Referenzbildern

RuinedFooocus erlaubt nur die Bearbeitung eines Referenzbildes. Laden Sie hierzu ein Bild in das „Input Image“-Fenster unter dem Reiter „PowerUP“ hoch oder schieben Sie es dort hin. Beschreiben Sie links im Eingabefeld was mit dem Bild geschehen soll und stellen Sie sicher, dass das Bildformat unter „Setting“ > „Aspect Ratio“ mit dem Format des Referenzbildes übereinstimmt.

In unserem Beispiel lassen wir den Mann vor dem Auto verschwinden:

remove the man in front of the car