Bilder optimieren, variieren oder umwandeln: Das Bild-zu-Bild-Werkzeug in Stable Diffusion

Die img2img-Benutzeroberfläche generiert Bilder auf der Basis eines vorhandenen Fotos, einer Illustration oder Skizze. Dieses kann ein Bild sein, dass Sie bereits mit einer Texteingabe in der txt2img Benutzeroberfläche erzeugt haben oder eine Datei aus Ihrem eigenen Archiv.

Die Bild zu Bild Funktion studiert das vorgegebene Bild und modifiziert es entsprechend Ihren Vorgaben. Dies verschafft Ihnen eine größere Kontrolle über das Endergebnis, als es mit Text-Prompts möglich ist. Die image-to-image- Bilderzeugung berücksichtigt die Farben und die Bildkomposition der Bildquelle und ist damit das ideale Werkzeug um Variationen des Originalbilds zu generieren oder durch Erhöhung der Bildauflösung mehr Details darzustellen.

Die meisten Einstellungen entsprechen den Reglern der Text-zu-Bild-Funktion (txt2img). In der Anleitung zur „txt2img“-Benutzeroberfläche sind diese Parameter detailliert beschrieben. Da hier aber ein Bild als Grundlage dient, dass nur begrenzt verändert werden soll, weicht die Vorgehensweise für einige Attribute ab.

1. Ein Bild hochladen

Ein Bild, das Sie mit txt2img erzeugt haben, können Sie dort mit dem „Send to img2img“-Button an die img2img-Funktion senden. Dabei werden auch gleich die Prompts und die Bildeinstellungen mit übertragen.

Stammt das generierte Bild nicht aus der aktuellen Sitzung, ist es am einfachsten, die PNG-Datei unter dem „PNG“-Reiter zu importieren und nicht unter „img2img“. Sie können die Datei dort per Drag-and-Drop auf das dafür vorgesehene Feld schieben oder auf „Source“ klicken und die Datei öffnen. Die „PNG“-Funktion liest nun sämtliche Erzeugungsdaten der Datei aus, die Sie dann mit dem „Send to img2img“-Button an die img2img-Funktion weiterreichen können.

Alle anderen Bilddateien ziehen Sie unter „img2img“ auf das dafür vorgesehene Feld (1) oder Sie klicken auf das Feld und öffnen die Datei auf Ihrem Rechner.

2. Das Modell (Checkpoint) auswählen

In dem Auswahlmenü „Stable Diffusion Checkpoint“ oben links wählen Sie das Modell, mit dem Sie arbeiten wollen. Die Auswahl hängt davon ab, wie stark Sie die Bildquelle verändern möchten.

Wollen Sie für ein Bild, das Sie mit txt2img erzeugt haben, relativ ähnliche Varianten entwickeln, bleiben Sie bei dem Modell, das Sie dort verwendet haben.

Das volle Potential der img2img-Funktion nutzen Sie aus, wenn Sie z.B. ein Foto in eine Zeichnung oder eine Zeichnung in ein Foto umwandeln wollen. Die Verwendung von spezialisierten Modellen, die auf Fotorealismus bzw. unterschiedliche Kunststile spezialisiert sind, führt hier zu erstaunlichen Ergebnissen.

Eine große Auswahl von Modellen finden Sie auf  Civitai oder Huggingface.

3. Die Texteingabe (Prompt)

Hier beschreiben Sie, was auf dem Bild in welchem Stil dargestellt werden soll.

Haben Sie ein Bild mit txt2img erzeugt, ist bereits ein Text vorhanden, den Sie nun Schritt für Schritt verändern können, um Variationen zu erzeugen.

Möchten Sie eine Zeichnung oder Skizze in ein Foto umwandeln oder ein Foto in eine Illustration, geben Sie hier den gewünschten Stil ein, wie z.B. „digital drawing“, „cubistic painting“, „3d rendering“, „photorealistic“ oder „photo of ...“.

4. Die negative Texteingabe (negative Prompt)

Hier tragen Sie Inhalte, Fehler und Genres ein, die Sie in Ihrem Bild ausschließen wollen, wie z.B. Bildrauschen, Missbildungen oder unerwünschte Genres.

Bei der image-to-image-Bilderzeugung nutzen Sie die negative Texteingabe aber vor allem, um Inhalte aus der Bildquelle zu entfernen oder den vorhandenen Stil zu blockieren.

5. Sampling-Methode und Sampling-Schritte (Sampling method, Sampling steps)

Die Sampling-Methode, also der Algorithmus, mit dem das Bild generiert wird, hängt unter anderem davon ab, welchen Stil Sie erzeugen wollen. So sind einige Sampler besser für Illustrationen geeignet, während andere realistischere Fotos ergeben.

Die voreingestellte „Euler a“-Methode und 20 „Sampling Steps“ führt in jedem Fall zum Ziel..

Ich tendiere inzwischen mehr zu „DPM++ 2M Karras“. Im Bereich von 24 - 50 „Sampling Steps“ liefert diese Methode exzellente Bildergebnisse bei annehmbarer Geschwindigkeit.

Stammt das Quellbild aus einer txt2img-Generierung, ist es sinnvoll die gleiche Sampling-Methode zu verwenden.

6. Breite und Höhe (Width, Height)

Hier können Sie die Breite und die Höhe des Bildes, das Sie erzeugen möchten, variieren. Die Werte sollten ein Vielfaches von 64 Pixeln ergeben.

Wenn Sie die Bildgröße ändern, sollten die generierten Bilder das selbe Seitenverhältnis (aspect ratio) haben, wie die Bildquelle.

7. Bildanzahl / Stapelgröße (Batch count)

Unter „Batch count“ legen Sie fest, wieviel Bilder erzeugt werden sollen. Um eine gewisse Auswahl zu haben, sind mindestens 4 Variationen der selben Bildquelle sinnvoll.

8. Das Mischungsverhältnis zwischen Texteingabe und Zufall (CFG Scale)

Während der Classifier Free Guidance Scale (CFG Scale) die wichtigste Stellschraube bei der Bilderzeugung per Texteingabe ist, sollte man bei der Bild-zu-Bild-Generierung zurückhaltend damit umgehen. Da der CFG Scale den Umfang festlegt, in dem die Texteingaben bei der Bilderzeugung berücksichtigt werden, wir aber eine Bildquelle als Ausgangspunkt verwenden, spielen die Prompts in diesem Fall nur eine untergeordnete Rolle. Hier ist die „Denoising strength“ (9) der entscheidende Regler.

Je kleiner der CFG Scale ist, desto zufälliger und kreativer fällt das Ergebnis aus. Der Standardwert von 7 führt hier meistens zu den besten Resultaten. Wenn Sie Sie einen höheren Wert verwenden, hilft es manchmal, auch die „Sampling steps“ hoch zu setzen, um eine brauchbare Bildqualität zu erhalten.

9. Das Mischungsverhältnis zwischen Bildquelle und Zufall (Denoising strength)

Die „Denoising strength“ ist die wichtigste Einstellung in der Bild-zu-Bild-Funktion. Sie regelt, in welchem Ausmaß die Bildquelle verändert wird. Je höher das Bildrauschen (Noise) ist, das beim Start der Bildgenerierung über die Bildquelle gelegt wird, desto größer sind die Veränderungen. Einstellbar sind Werte von 0 - 1. Ein Wert von 0 gibt das Originalbild unverändert aus. Ein Wert von 1 ignoriert die Bildquelle komplett und berücksichtigt nur die Texteingabe in dem Maß, das der CFG-Scale vorgibt.

Sinnvoll sind hier Werte von 0.4 - 0.75:

• 0.4 - 0.5: geringe Veränderung der Bildquelle - hilfreich, wenn die Bildauflösung vergrößert wird (z.B. von 512x512 px auf 1024x1024), um mehr Details zu erhalten.
• 0.5 - 0.65: milde Veränderung der Bildquelle - erzeugt leichte Variationen, z.B. für Gesichter oder Materialien, Farben und Bildkomposition bleiben erhalten.
• 0.65 - 0.75: kreative Veränderung der Bildquelle - Farben und Bildkomposition der Bildquelle werden berücksichtigt, aber Objekte werden stärker verändert

10. Der Bildursprung (Seed)

Wie in der Anleitung zu „txt2img“ beschrieben, erhält jedes erzeugte Bild eine Identifikationsnummer, die Sie als Startwert nutzen oder mit der Sie das Bild jederzeit wieder herstellen können. Wenn Sie Variationen einer Bildquelle erzeugen wollen, ist es sinnvoll, den Standardwert für den Seed bei -1 zu belassen, außer Sie wollen nur geringe Veränderungen vornehmen.