Was KI alles kann

[AmigaMaster]

Ich habe fast den ganzen Tag mit InvokeAI rumgespielt (Da verfliegt die Zeit, das sage ich euch...) und das ganze Geheimnis ist, die berechnete Bildgröße so hoch wie möglich zu konfigurieren. Erst als ich das auf 1280x512 Pixel gesetzt habe, bekam ich das erste gute Ergebnis. Alles andere davor war nicht wirklich zu gebrauchen.

(Berechnungsdauer auf einer RTX2060 SUPER ca. 30 Minuten - 8 GB Video-RAM sind hierfür wohl das Minimum und genau das hat meine Karte)

Nachfolgend die zu diesem Bild gehörigen Metadaten für Invoke AI (Die Werte werden mit in die Extradaten des PNG Bilds geschrieben. Alle Werte sind wichtig, damit man be einer erneuten Berechnung auch dasselbe Bild erhält. Der "Seed" Wert steht Standardmäßig auf Zufall und wird bei jeder Berechnung neu berechnet. Man muss den also fix angeben, damit man dasselbe Ergebnis erhält:

Ergänzung:
Im nachfolgenden Abschnitt "controlnets" fehlt der passende "Processor" Modus mit dem Wert "Canny". Damit werden von der Eingabegrafik die "Outlines" (also die Konturen mit einem harten Kontrast) berechnet und als Eingabe für die AI genutzt, damit diese weiß, worauf sie sich beziehen soll.

Code: [Auswählen]

{
  "generation_mode": "sdxl_txt2img",
  "positive_prompt": "16 bit pixelart, beach bedroom, nerd room, palm tapestry, floyd steinberg, pirates, monkey island style, guybrush, carribean",
  "negative_prompt": "",
  "width": 1280,
  "height": 512,
  "seed": 296104323,
  "rand_device": "cpu",
  "cfg_scale": 7,
  "cfg_rescale_multiplier": 0,
  "steps": 50,
  "scheduler": "euler",
  "model": {
    "model_name": "juggernautXL_v7Rundiffusion",
    "base_model": "sdxl",
    "model_type": "main"
  },
  "controlnets": [
    {
      "image": {
        "image_name": "cb6ecade-d172-4c40-992c-e03e21bd9676.png"
      },
      "control_model": {
        "model_name": "controlnet-canny-sdxl-1.0",
        "base_model": "sdxl"
      },
      "control_weight": 0.75,
      "begin_step_percent": 0,
      "end_step_percent": 1,
      "control_mode": "more_prompt",
      "resize_mode": "just_resize"
    }
  ],
  "positive_style_prompt": "",
  "negative_style_prompt": ""
}
Downloads:
- InvokeAI: https://github.com/invoke-ai/InvokeAI/releases/ - Das Basisprogramm. Setzt Python 3.10.x voraus. Ohne 16 GB Arbeitsspeicher plus mindestens 8 GB Grafikkartenspeicher braucht ihr vermutlich gar nicht erst versuchen zu testen.
- juggernautXL_v7Rundiffusion: https://civitai.com/models/133005/juggernaut-xl - Ein sogenanntes Model für die AI, die simpel ausgedrückt beschreibt, wie ein Bild auszusehen hat.
- controlnet-canny-sdxl-1.0: https://models.invoke.ai/diffusers/controlnet-canny-sdxl-1.0 - Eine Art Erweiterung, die es ermöglicht bestimmte Teile eines vorhandenen Bilds als Eingabe für die AI zu nutzen. Das können Outlines, Farben, Tiefeninformationen usw. sein.

@Kaktus:
Vielen Dank für Deinen Anstoß - ich bin zwar fast verzweifelt und wollte schon schreiben, dass es hier einfach nicht funktionieren will aber dann habe ich als letztes mal die Ausgabeauflösung hochgeschraubt und jetzt bin ich ein wenig gehyped

[AmigaMaster]

Das Webinterface von InvokeAI sieht übrigens so aus und lädt zum Spielen ein, wenn man erst einmal ein wenig vom drumherum der AI und den ganzen Fachbegriffen verstanden hat. Das gezeigt Bild ist 1:1 identisch zu dem aus meinem vorherigen Beitrag, jedoch hatte ich die Ausgabeauflösung noch auf 640x480 Pixel und das reicht der KI wohl nicht und sie erzeugt ein recht detailarmes Bild. Links erkennt man Control Adapter mit seinem berechneten Outline-Bild, was er als Eingabe für die KI generiert.


Mir hat dieses Video noch geholfen:

Und mittlerweile wurde auch dasselbe Bild, ergänzt um ein sogenanntes "LoRA" fertig berechnet. Ein LoRA ist auf einen speziellen Artstil trainiert worden und soll diesen nachempfinden. In diesem Fall der Lucas Arts Stil.

LucasArts Style" (1990s PC Adventure Games) - SDXL LoRA - (Dreambooth Trained)

Metadaten hierzu:

Code: [Auswählen]

{
  "generation_mode": "sdxl_txt2img",
  "positive_prompt": "16 bit pixelart, beach bedroom, nerd room, palm tapestry, floyd steinberg, pirates, monkey island style, guybrush, carribean",
  "negative_prompt": "",
  "width": 1280,
  "height": 512,
  "seed": 296104323,
  "rand_device": "cpu",
  "cfg_scale": 7,
  "cfg_rescale_multiplier": 0,
  "steps": 50,
  "scheduler": "euler",
  "model": {
    "model_name": "juggernautXL_v7Rundiffusion",
    "base_model": "sdxl",
    "model_type": "main"
  },
  "controlnets": [
    {
      "image": {
        "image_name": "31b3c195-76c5-4478-bb9c-eea53988911a.png"
      },
      "control_model": {
        "model_name": "controlnet-canny-sdxl-1.0",
        "base_model": "sdxl"
      },
      "control_weight": 0.75,
      "begin_step_percent": 0,
      "end_step_percent": 1,
      "control_mode": "more_prompt",
      "resize_mode": "just_resize"
    }
  ],
  "loras": [
    {
      "lora": {
        "model_name": "Lucasarts Artstyle - Trigger is lcas artstyle",
        "base_model": "sdxl"
      },
      "weight": 0.75
    }
  ],
  "positive_style_prompt": "",
  "negative_style_prompt": ""
}
Download LucasArts Style" (1990s PC Adventure Games) - SDXL LoRA - (Dreambooth Trained): https://civitai.com/models/151539/lucasarts-style-1990s-pc-adventure-games-sdxl-lora-dreambooth-trained

[Walmaker]

Honestly, I would never use AI art for my work. I understand if you guys want to use AI for a few posts and such but honestly with it's unpredictability (and lack of common human sense), not only the backgrounds will look really freakish and kind of disturbing, it can't even tell what art style to use so each background will look different (and not in a good way either).

I understand if you guys want to use it because the maniac mansion fandom is very little and there aren't as many good artists (despite me, Jan-Hendrik Gebbe, and probably a few others... I'm new here). The rest of the guys sadly don't have the artistic talent... but do you have to? If there's something I learned from the animation industry (mostly the Simpsons), it's that you don't need always need a Disney-level art style to tell a good story, in fact, Story is actually a lot more important than art and animation which is only used to express the story. This goes all the way back to the 50s when TV was taking over the media and cartoons were getting tighter budgets but that never stopped them from creating such classics like The Flintstones, Scooby-Doo (don't question the similarities), and later on SpongeBob SquarePants, The Simpsons, Dexter's Lab, and many others. They don't have the animation budgets the golden age of animation (1930s-1950s) had but they were still very entertaining to watch.

At the end of the day, it's your decision if you want to use AI or not, it's just my opinion.

[AmigaMaster]

Unabhängig von Maniac Mansion Mania habe ich mittlerweile über dreamshaperXL_v21TurboDPMSDE und den beiden Loras  lucasarts style sowie EldritchComicsXL1.2 ziemlich gute Ergebnisse, was Pixelart angeht.

ABER: Man erhält niemals einen einheitlichen Stil über verschiedene Bilder hinweg. Es wird also z. B. schon daran in jedem Fall scheitert, wenn man einmal ein Haus von vorne und dann von der Seite oder den Garten dahinter haben möchte, das ist im Grunde so gut wie nicht möglich. Vieles bleibt dem Zufall überlassen. Man kann maximal der KI einige Vorgaben machen aber sie macht daraus, was sie möchte und nicht unbedingt genau das, was man braucht.

[AmigaMaster]

Noch ein paar Beispiele

[AmigaMaster]

Hier sind zwei dabei, bei denen der Lucas Arts Lora verstärkt wurde. Man erkennt genau, welche beiden Bilder das sind.

[alphawolf300]

Es ist aber schon extrem cool. Man kann dann ja auch die Bilder so zusammenbauen, wie man sie braucht. Welche KI ist das?

[AmigaMaster]

Das ist weiterhin genau die, die hier im Thread erwähnt wurde:

Basis: Stable Diffusion SDXL
Als Checkpoint: dreamshaperXL_v21TurboDPMSDE
LORA 1: lucasarts style
LORA 2: EldritchComicsXL1.2

Gesteuert wird alles über die GUI "InvokeAI" https://github.com/invoke-ai/InvokeAI

Der Trick hierbei ist:
Die KI ein Bild generieren lassen. Das hat mehr oder weniger Fehler und dann wird das einfach zwei mal Resized
1. 25% Bi-Linear Filter
2. 400% Nächster Nachbar

Dadurch fallen die Fehler im eigentlichen Bild gar nicht mehr auf und der Pixel-Look kommt zustande.