Little Lilly: Konsistente Charaktere für Ren’Py (mit Scenario)

Die letzten Tage war es auf diesen Seiten vor allem deshalb ruhiger zugegangen, weil ich Stunden damit verbracht habe, den Bildgenerator der gekünstelten Intelligenzia, Scenario, zu überreden, konsistente Charaktere für interaktive Geschichten mit Twine oder Ren’Py zu basteln. Denn Scenario nimmt ja für sich in Anspruch, der KI-Bildgenerator für Spieleentwickler zu sein, und an diesem Anspruch muß sich die Anwendung messen lassen.

Um es vorwegzunehmen: Ich bin gegenüber meinen ersten, naiven Versuchen ein ganzes Stück weitergekommen. Der Trick war, das Ausgangsbild für die »Image zu Image«-Generierung auch schon mit Scenario zu erstellen. Dadurch (er-) kannte Scenario den Ausgangsprompt – theoretisch mußte ich nur die gewünschten Änderungen im Charakter-Ausdruck (smiling, angry, confused, blushing etc.) im neuen Prompt angeben, um weitestgehend konsistente Variationen des Ausgangsbildes zu bekommen.

Zumindest theoretisch – ein wenig Finetuning war trotz allem noch nötig: Das rot-braune Haar des Ausgangsbildes mußte ich auch im neuen Prompt noch einmal angeben, sonst wurde das Haar mittelbraun gezeichnet. Und auch die grünen Augen wurden ungefragt braun – aber da das konsequent bei (fast) allen Bildern durchgehalten wurde, habe ich dies Scenario nicht übelgenommen.

Jedenfalls waren die Ergebnisse so überzeugend, daß ich daraus (nachdem ich die Bilder mit Rembg freigestellt hatte), mit Ren’Py einen kleinen Prototypen bastelte:

Diesen Prototypen habe ich nicht nur hier in diese Seite eingebunden, sondern zum Testen (und weil ich ein wenig stolz auf das Erreichte bin) auch auf meinen Itch.io-Account hochgeladen.

Doch das Ende der Fahnenstange ist bei Scenario noch lange nicht erreicht. Sie arbeiten dort hart daran, das Problem der konsistenten Charaktere zu lösen (was bei Stable Diffusion basierten Anwendungen – wie Scenario – systembedingt nicht einfach ist). Neben den Ansatz über LoRA-Modelle (LowRankAdaption) (Teil 1, Teil 2 und Teil 3) haben sie vor kurzem das IP-Adapter Add-on vorgestellt (Image-Prompt-Adapter), das ein weiterer Fortschritt bei der Generierung konsistenter Charaktere sein will. Außer der Seite zur Frage des Prompt-Engineerings werde ich wohl noch viele weitere Seiten des Scenario Knowledge Centers durchstöbern müssen. Aber ich freue mich darauf, denn irgendwie macht mir das Spielen mit Scenario einen Heidenspaß. Still digging!