Fooocus Advanced Masking Features: Automatisches Maskieren

Ein besonders hilfreiches Werkzeug in der aktuellen Fooocus Benutzeroberfläche ist die automatische Objekterkennung und Segmentierung von Bildinhalten.

Mit den Advanced Masking Features lassen sich Bildelemente, wie z.B. Gegenstände, Silhouetten, Kleidung, Gesichter oder Hände für die Inpaint- und die Enhance-Funktionen automatisiert auswählen. Die händische Erstellung von Masken führt zwar immer noch zum besseren Endergebnis, aber gerade wenn es darum geht, ein Objekt freizustellen oder ein Gesicht zu verbessern, bringt die Automatik eine große Zeitersparnis.

In der Anleitung zum Fooocus Image Prompt können Sie sich mit der Inpaint-Funktion und dem Erstellen von Masken vertraut machen.

Die Advanced Masking Features finden sich unter dem „Inpaint or Outpaint“-Reiter, sind aber auch in die Enhance-Funktion integriert.

Masken in Fooocus automatisch erstellen

Werden die Advanced Masking Features unter der Bildquelle aktiviert, erscheint rechts neben der Bildquelle der Anzeigebereich für die Maske. Hier können Sie auch eine selbst erstellte Maske hochladen. Die weiße Fläche entspricht dabei dem maskierten Inhalt.

Modelle zur automatischen Generierung von Masken (Mask generation model)

Unter „Mask generation model“ wählen Sie aus, welches Modell für die Generierung der Maske verwendet werden soll.

Das voreingestellte Model „isnet-general-use“ ist für die meisten Aufgaben empfehlenswert, da es sehr detaillierte Masken des zentralen Bildelements im Vordergrund erstellt. Es erfasst auch filigrane Details.

isnet-general-use		Das voreingestellte Model ist für die meisten Aufgaben empfehlenswert, da es sehr detaillierte Masken des zentralen Bildelements im Vordergrund erstellt. Erfasst auch filigrane Details.
isnet-anime		Ist für die Maskierung von Anime-Elementen optimiert.
u2net		Maskiert das Hauptelement im Bild.
u2netp		Wie u2net, benötigt aber weniger Ressourcen und erfasst ggf. weniger Details.
u2net-human-seg		Maskiert nur die Person(en) im Bild ohne Accessoires.
u2net-cloth-seg	full	maskiert die komplette Bekleidung einer Preson, funktioniert aber eher selten.
	upper	Selektiert nur die Kleidung oberhalb der Gürtellinie.
	lower	Selektiert nur die Kleidung unterhalb der Gürtellinie.
silueta		Wie u2net, selektiert die Silhouette des Hauptelements
sam		Verwendet das „Segment anything model“.

Hier ein Vergleich der unterschiedlichen Modelle:

Bei der Maskierung von Kleidung mit dem „u2net-cloth-seg"-Model erscheint ein weiteres Auswahlmenü, mit dem Sie zwischen vollständiger Bekleidung, Bekleidung oberhalb der Gürtellinie und Bekleidung unterhalb der Gürtellinie wählen können:

Segment anything model (sam)

Wie der Name schon sagt, lassen sich mit dem „Segment anything model“ sämtliche Objekte in einem Bild auswählen und maskieren.

Zur Beschreibung des Objekts erscheint unter dem Auswahlmenü für das Maskierungsmodell ein Textfeld. Geben Sie hier mehrfach vorhandene Objekte immer in der Einzahl ein, also z.B. „eye“ statt „eyes“. Für oft verwendete Prompts, wie Gesicht, Augen, Körper usw. stehen Buttons unterhalb des Textfelds zur Verfügung.

Es können auch mehrere Bildelemente gleichzeitig maskiert werden, wie z.B. dieser Ball spielende Seehund.

Advanced options

In dem Feld „Advanced options“ können Sie weitere Einstellungen  vornehmen:

SAM-Model

Das „Segment anything model“ gibt es in drei Varianten:

vit-b	einfaches Modell (base)	schnell aber manchmal zu wenig detailliert
vit-l	großes Modell (large)	empfohlen
vit-h	riesiges Modell (huge)	braucht Zeit und Grafikspeicher, sehr detailliert

Das „vit-l“-Modell führt in den meisten Fällen zu einem guten Ergebnis.

Box Threshold, Text Threshold

Die Schwellenwerte für das Auswahlfenster legen fest, mit welcher Relevanz das Objekt gesucht werden soll. Sofern die generierte Maske nicht zu viel oder zu wenig erfasst, sollten Sie die Standardwerte übernehmen.

Anzahl gleichartiger Masken (Maximum number of detections)

Mit dieser Einstellung begrenzen Sie die Anzahl der auszuwählenden Objekte. Die Zählung beginnt immer mit dem größten Element und springt dann zu den jeweils kleineren Objekten. So können Sie z.B. Personen im Vordergrund einer Menschenmenge herausfiltern. Die Einstellung „0“ wählt sämtliche Objekte aus, die Sie im Prompt beschrieben haben.

Freistellen von Objekten

Eine beliebte Funktion der Advanced Masking Features ist das Freistellen von Objekten.

In unserem Beispiel bearbeiten wir unseren Seehund wieder mit dem SAM-Modell. Um den Hintergrund auszuwählen und nicht den Seehund, kehren wir die Auswahl um, indem wir die Option „Invert Mask When Generating“ anhaken.

Da wir den Hintergrund austauschen wollen, wählen wir unter „Method“ die Option „Modify Content (add objects, change background, etc.)“.

Im Textprompt für die Bilderzeugung oder im „Inpaint Additional Prompt“ unter der Methode können wir nun beschreiben, was wir im Hintergrund sehen wollen:

dunes with seagrass

Maskenunschärfe einstellen (Mask Erode or Dilate)

Wenn die Übergänge zwischen dem Objekt und dem Hintergrund unrealistisch hart wirken, sollten Sie die Unschärfe der Maske heraufsetzen. Die Einstellung hierzu ist leider nach wie vor unter dem Reiter „Advanced“ versteckt. Aktivieren Sie dort den „Debug Mode“ und suchen Sie unter dem „Inpaint“-Reiter nach dem „Mask Erode or Dilate“-Regler.

Hier ist ein weiteres Beispiel, bei dem der Hintergund ausgetauscht wurde:

woman in red dress on the beach

Die Maske wurde mit der „isnet-general-use“-Methode generiert und invertiert. Anschließend wurde der Hintergrund mit der „Modify Content“-Methode und einem „Inpaint Aditional Prompt“ geändert.

in the forest

Der Übergang der Haare zur Umgebung erscheint unrealistisch, da das Gegenlicht aus dem Sonnenhintergrund der Bildquelle übernommen wurde und nicht in die Waldumgebung passt. Außerdem ist das Gesicht stark deformiert.

Damit die Maskenunschärfe in Richtung der Frau wirkt, wurde für die „Mask Erode or Dilate“-Einstellung ein negativer Wert (-2) gewählt.