Die Stable Diffusion Fooocus Anleitung: Der Bildprompt

Neben der in Teil 1 der „Stable Diffusion Fooocus Anleitung“ beschriebenen Bilderzeugung per Texteingabe bietet Fooocus auch die Möglichkeit, Bilder auf Basis vorhandener Fotos, Illustrationen oder Skizzen zu generieren. Dieses können Bilder sein, die Sie bereits mit einem Textprompt erzeugt haben oder eine Datei aus Ihrem eigenen Archiv.

Bevor Sie sich auf die Bild-zu-Bild-Funktionen in der Fooocus-Benutzeroberfläche stürzen, sollten Sie sich mit den Funktionen zur Bildegenerierung mit einem Textprompt vertraut machen, die in Teil 1 „Die Stable Diffusion Fooocus Anleitung: Erste Schritte“ erklärt werden.

Die Option „Input Image“ finden Sie links unter dem Texteingabefeld neben der „Advanced“-Option.

Die Bildeingabe (Input Image)

Mit der Bildeingabe können Sie Variationen eines Bildes erzeugen, Bilder mischen, ein Bild vergrößern (Upscaling) oder erweitern (Outpainting) und Korrekturen vornehmen (Inpainting). Sie können Gesichter austauschen (Face Swap), die Körperhaltung vorgeben (Pose) oder ganz allgemein den Bildinhalt kontrollieren (ControlNet).

Die Bild-zu-Bild-Funktion studiert das vorgegebene Bild und modifiziert es entsprechend Ihren Vorgaben. Dies verschafft Ihnen eine größere Kontrolle über das Endergebnis, als es mit Text-Prompts möglich ist. Die image-to-image-Bilderzeugung berücksichtigt die Farben und die Bildkomposition der Bildquelle und ist damit das ideale Werkzeug um Variationen des Originalbilds zu generieren oder durch Erhöhung der Bildauflösung mehr Details darzustellen.

Ein Bild hochladen

Ein Bild, das Sie mit der Fooocus-Texteingabe erzeugt haben, können Sie per Drag-and-Drop auf das dafür vorgesehene Feld ziehen. Alle anderen Bilddateien importieren Sie, indem Sie in das Feld klicken und die Datei auf Ihrem Rechner öffnen.

Der „Upscale or Variation“-Reiter 

Bildvergrößerung (Upscaling)

Die Upscale-Funktion erhöht die Bildauflösung und detailliert die Bildelemente. Das ist z.B. dann hilfreich, wenn Gesichter grotesk wirken oder Objekte unscharf dargestellt werden.

Sie haben die Wahl zwischen 1,5-und 2-facher Vergrößerung. Für die 2-fache Vergrößerung gibt es außerdem eine „Fast“-Option, die den Vorgang beschleunigt und weniger Grafikspeicher beansprucht.

Variation

Um Variationen eines Bildes zu erstellen, ergänzen Sie Elemente oder ändern Sie Details in der Texteingabe.

Während die Einstellung „Vary (Subtle)“ nur geringfügige Änderungen an dem Bild vornimmt, erzeugt die Option „Vary (Strong)“ deutlich sichtbare Modifikationen.

Mit der „Vary (Subtle)“-Option können Sie z.B. den Gesichtsausdruck einer Person variieren, ohne das Gesamtbild wesentlich zu verändern.

Das folgende Bild wurde mit dem Prompt

attractive woman, half body, ultra detailed delicate face, excited, long elegant 80s asymetric hairstyle, wind blowing hair backwards, looking at the viewer, typing on a computer keyboard, couture dress, monitor exploding, colorful background, vivid colors

erzeugt und in das „Upscale or Variation“-Feld importiert.

• Checkpoint: juggernautXL_v8Rundiffusion
• Style: SAI Fantasy

Um den Gesichtsausdruck der Dame von „excited“ nach „angry“ zu verschieben, ersetzen wir den kompletten Prompt durch die Angabe „angry“ oder „very angry“ und aktivieren die Einstellung „Vary (Subtle)“. Die Umgebung ändert sich so nur geringfügig, während sich das Gesicht vor Wut verzehrt.

Die Option „Vary (Strong)“ ist dann hilfreich, wenn Sie größere Veränderungen sehen wollen. So könnten Sie z.B. misslungene Details überarbeiten, die Atmosphäre verbessern oder Objekte verändern.

In unserem Beispiel könnten wir der Frau eine Brille aufsetzen. In diesem Fall behalten wir den Prompt bei und fügen das Wort „glasses“ dort ein, wo das Gesicht der Frau beschrieben wird. Die Einstellung „Vary (Strong)“ fügt jetzt dem Gesicht  nicht nur eine Brille hinzu, sondern ändert auch das Kleid, die Frisur und den Hintergrund.

Der Image Prompt Reiter

Der Image Prompt ermöglicht es Ihnen, bis zu 4 Bilder zu mischen, Gesichter auszutauschen und Bildelemente zu kontrollieren, wie z.B. die Körperhaltung oder die Anordnung von Objekten.

Um den Einfluss der einzelnen Bilder auf das Endergebnis zu steuern, aktivieren Sie ganz unten die „Advanced“-Option. Die Regler für den Ablauf der Bildgenerierung und die Gewichtung sowie die Auswahl-Buttons für „Image Prompt“, „PyraCanny“, „CDPS“ und „Face Swap“ werden nun angezeigt.

Bilder mischen (Image Prompt)

Die Funktion „Image Prompt“ übernimmt Bild, Stil, Charakter, Bildkomposition und Farben der importierten Bilder und mischt diese so, dass sich ein sinnvolles und ansprechendes Bild ergibt. Den Einfluß der einzelnen Bildquellen steuern Sie mit den beiden Reglern unter der Bildeingabe.

Ablauf der Bildgenerierung (Stop at)

Mit dem Regler „Stop at“ steuern Sie den Ablauf der Bilderzeugung. Die künstliche Intelligenz errechnet das Ergebnis in mehreren Arbeitsschritten aus einem Bildrauschen. So durchläuft z.B. eine Bildgenerierung mit der „Performance“-Einstellung „Speed“ 30 Schritte bis zur Endfassung. Ein Wert von 0,5 bewirkt, dass die Bildquelle nach der Hälfte der Erzeugungsschritte, also nach 15 Schritten ihren Einfluß auf den Prozess verliert.

Die Bildquelle gibt der Komposition so eine  grundlegende Struktur und Farbigkeit, die dann durch andere Bildquellen und Texteingaben überlagert wird. Je höher Sie den „Stop at“-Wert setzen, desto mehr schränken Sie die Kreativität der Bildgenerierung ein.

In dem Beispiel unten mischen wir zwei Porträts mit unterschiedlichen „Stop at“-Werten. Während der Ablauf mit den Standardwerten (beide Quellen 0,5) Frisur, Kleidung und Hintergrund gleichmäßig mischt, bricht bei Reduzierung der zweiten Bildquelle auf 0,3 die Punk-Frisur und die Weste durch. Eine Steigerung auf den Wert 0,8 verstärkt entsprechend die feierliche Kleidung und den Haarknoten aus dem rechten Bild.

Gewichtung (Weight)

Auch die Gewichtung steuert den Einfluß einzelner Bildquellen auf das Endergebnis, wirkt sich aber auf den gesamten Prozess der Bildgenerierung aus. Je höher die Gewichtung, desto mehr dominieren die Details, die Farben und die Bildkomposition der Bildquelle im erzeugten Bild.

Das Beispiel unten arbeitet mit einer Person im Vordergrund und einem Hintergrund.

Benutzen wir die Fooocus-Standardeinstellungen, geht die Haarfarbe der Frau verloren und der Hintergrund wird betont. Erhöhen wir die Gewichtung des ersten Image Prompts auf 0,7, erhalten wir eine ausgewogene Mischung der beiden Bilder. Heben wir den Wert auf 0,8, überlagern die Türme aus dem Hintergrund des ersten Bilds die Szene.

Im Zweifelsfall liefern die Standardwerte für den „Stop at“-Wert und für den „Weight“-Wert einwandfreie Ergebnisse.

PyraCanny

Die Funktion „PyraCanny“ übernimmt die Körperhaltung von Personen oder die Kontur von Objekten aus einer Bildquelle in das generierte Bild. Dabei wird eine schwarz-weiß-Version der Quelle mit den Umrissen von Personen bzw. Objekten  zwischengespeichert und als Grundlage für die Berechnung der Bildkomposition verwendet. Als Prompt kann hier sowohl eine Texteingabe oder eine weitere Bildquelle dienen.

Die Bildquelle für unser PyraCanny-Beispiel wurde mit diesem Prompt erzeugt und in das Image-Prompt-Feld importiert:

1girl, punk hairstyle, leather jacket, torn pants, vivid colors

• Checkpoint: juggernautXL_v8Rundiffusion
• Styles: SAI Fantasy, Futuristic Cyberpunk Cityscape

Nach Aktivierung der „PyraCanny“-Option ändert Fooocus die Werte für „Stop at“ und „Weight“ automatisch auf 0,5 und 1. Diese Standardwerte führen in den meisten Fällen zum besten Ergebnis.

Uns interessiert ausschließlich die Körperhaltung der Frau, die wir in einem etwas seriöseren Zusammenhang verwenden wollen, und zwar mit diesem Textprompt:

1girl, blonde hair, business suit, shopping mall

• Checkpoint: juggernautXL_v8Rundiffusion
• Style: SAI Fantasy

Die „PyraCanny“-Funktion übernimmt hier nicht nur die Körperhaltung, sondern auch die Umrisse der Frisur, der Kleidung und der Umgebung.

Fotos aus Zeichnungen generieren

Da die „PyraCanny“-Funktion mit den Umrissen der Bildelemente arbeitet, eignet sie sich hervorragend für die Erzeugung von realistischen Fotos aus Zeichnungen und Comics sowie für die Kolorierung von Illustrationen.

Hierzu laden Sie die Zeichnung in den Image Prompt und aktivieren die „PyraCanny“-Option.

Das Beispielbild wurde mit der Anime-Version von Fooocus erstellt. Nach dem Start der „run_anime.bat“-Datei lädt Fooocus zunächst ein 7Gb großes Modell herunter, das für die Generierung von Anime-Bilder feinabgestimmt ist.

Hier ist der Textprompt:

1boy, angry japanese ninja in fighting pose, japanese temple in background, b&w

Negativer Prompt:

sword

• Checkpoint: animaPencilXL_v100.safetensors
• Style: SAI Line Art

Das Foto des Ninja wurde dann in der Fooocus-Standard-Version (run.bat) in den Iamge Prompt geladen und die „PyraCanny“-Option aktiviert.

Textprompt:

1boy, angry japanese ninja in fighting pose, japanese temple in background, vivid colors

• Checkpoint: juggernautXL_v8Rundiffusion
• Styles: Fooocus Cinematic, SAI Fantasy

In diesem Fall hatte Fooocus einige Probleme mit den Händen und dem Hintergrund. Die besten Ergebnisse lieferten die Einstellungen 0,8 für „Stop at“ und 0,9 für „Weight“.

Struktur Extraktion (CPDS)

Die Funktion „CPDS“ (Contrast Preserving Decolorisation Structure) wendet einen Algorithmus an, der die Struktur einer Bildquelle analysiert und extrahiert. Dabei dienen sowohl die Umrisse von Bildobjekten als auch die Anordnung der Objekte in der Tiefe (Depth map) als Grundlage für die Bilderzeugung.

Die „CPDS“-Funktion wird exakt genauso angewendet, wie die „PyraCanny“-Funktion. Auch die Ergebnisse ähneln sich. Die „CPDS“-Option ist besonders dann hilfreich, die räumliche Tiefe der Bildquelle im Vordergrund steht.

Die räumliche Tiefe wäre z.B. bei Gebäuden wichtig, wie in diesem Fall:

Der Prompt für die Bildquelle:

woman and man, tai chi in front of a futuristic mansion, sunrise

• Checkpoint: juggernautXL_v8Rundiffusion
• Style: Photo Glamour

Der Prompt nach dem Import der Bildquelle in den Image Prompt und der Aktivierung der „CPDS“-Option lautete:

two knights fighting in front of a temple

• Checkpoint: juggernautXL_v8Rundiffusion
• Style: SAI Fantasy Art

Gesichter austauschen (Face Swap)

Mit der „Face Swap“-Funktion ist es möglich die Gesichter von Personen auf Fotos auszutauschen. So können Sie z.B. Ihr eigenes Foto, Fotos anderer Menschen oder generierte Porträts in unterschiedliche Bilder einfügen und damit konsistente Charaktere erschaffen.

Die Bildquelle für „Face Swap“ dient hierbei als Grundlage für einen Textprompt oder eine weitere Bildquelle, in die das Gesicht übernommen werden soll.

Hier ist ein Beispiel, in dem die „Face Swap“-Option für das zweite Porträt aktiviert ist. Das generierte Bild übernimmt das Gesicht und die Brille aus dem zweiten Bild und fügt es in den Image Prompt ein.

Wenn Ihnen diese Methode nicht präzise genug erscheint, sollten Sie an dieser Stelle die Inpaint-Funktion nutzen.

Der „Inpaint or Outpaint“-Reiter

Die Bilderweiterung (Outpaint)

Die „Outpaint“-Funktion erweitert die Größe eines Bild, indem sie den Bildinhalt und die Texteingabe analysiert und versucht, die Bildelemente sinnvoll zu verlängern. Der Textprompt sollte aus der vorherigen Bildgenerierung übernommen werden oder eine Beschreibung des importierten Bildes enthalten.

Um die „Outpaint“-Funktion zu aktivieren, wählen Sie im Auswahlmenü unten rechts die Option „Inpaint or Outpaint (default)“ und legen unter „Object Direction“  links unten fest, in welche Richtungen Sie das Bild erweitern wollen.

Die Segelboot-Szene für die Bildquelle wurde mit diesem Prompt generiert und anschließend mit „Outpaint“ links und rechts ergänzt:

sailboat in a bay, city lights, city and mountains in background, night, sunset

• Checkpoint: juggernautXL_v8Rundiffusion
• Styles: Photo SAI Fantasy Art, Fooocus V2, Fooocus Enhance, Fooocus Sharp

Inpaint

Die „Inpaint“-Funktion ermöglicht es Ihnen, neue Objekte in das Bild einzufügen (generative fill), vorhandene Objekte inhaltsbasiert zu löschen (content aware fill) oder den Hintergrund zu ändern. Diese „Inpaint“-Option aktivieren Sie, indem Sie im Auswahlmenü „Method“ unten rechts die Methode „Modify Content (add objects, modify background, etc.)“ wählen.

Darüber hinaus lassen sich häufige Bildmängel, wie z.B. beschädigte Gesichter, zusätzliche Beine oder defekte Hände mit dieser Methode ohne großen Aufwand beheben. Hierzu wählen Sie im Auswahlmenü „Method“ unten rechts die Option „Improve Detail (face, hands, eyes, etc.)“.

Haben Sie ein Bild in das Feld für die Bildquelle importiert, erscheint ein kleiner Kreis auf dem Bild. Das ist Ihr Pinsel, mit dem Sie die Maske erstellen. Klicken Sie auf den Stift-Button, um die Pinselbreite zu vergrößern oder zu verkleinern.

Mit dem Pinsel können Sie nun die Bereiche markieren, die Sie bearbeiten wollen. Die Maske muss nicht besonders präzise gezeichnet werden, der grobe Umriss reicht. Wichtig ist dabei, dass die Fläche der Maske komplett geschlossen ist. Es empfiehlt sich, nur ein Detail zur Zeit zu ändern.
 
Der linke Button in der Werkzeugleiste oben rechts macht die letzte Masken-Aktion rückgängig, das Radiergummi entfernt die Maske und der X-Button löscht die Bildquelle.

Links unten unter dem Feld für die Bildquelle finden Sie den „Inpaint additional prompt“. Hier geben Sie an, was Sie im Bereich der Maske sehen wollen. In unserem Beispiel ersetzen wir das Segelboot aus unserer „Outpaint“-Szene durch eine Motoryacht. Hierzu maskieren wir das Segelboot und den Bereich, in dem die Motoryacht erscheinen soll und ergänzen im „Inpaint Additional Prompt“:

motoryacht at night

Wenn Sie die „Inpaint“-Funktion das erste Mal starten, lädt Fooocus ein eigenes Inpaint-Modell (1,28 Gb) herunter. Es kann daher ein wenig dauern, bis Sie ein Ergebnis zu sehen bekommen.

Die Bildbeschreibung (Describe)

Wenn Sie eigene Fotos oder Zeichnungen hochladen und mit Fooocus weiterverarbeiten wollen, werden benötigen Sie oft eine Beschreibung Ihres Bildes für den Textprompt. Hier kommt Ihnen die „Describe“-Funktion unter dem Describe-Reiter zur Hilfe.

Importieren Sie Ihr Bild in das Feld für die Bildquelle geben Sie rechts daneben an, ob es sich um ein Foto („Photograph“) oder eine Zeichnung bzw. ein Kunstwerk („Art/Anime“) handelt.

Sobald Sie „Describe this Image into Prompt“ starten, erscheint im Texteingabefeld eine Bildbeschreibung.