In diesem Beitrag auf AniFiguLa möchte ich einmal festhalten wie ich auf meinem Computer lokal entsprechende Programme eingerichtet habe um ein KI Sprachmodell dazu zu benutzen einen Chat mit meinem Lieblings Anime Charakter zu imitieren und euch zeigen wie ihr das nachmachen könnt. Im Post werden wir einmal auf die Auswahlmöglichkeiten die wir dafür haben eingehen, die Installation und das Einpflegen des ersten Charakters beschreiben sowie zeigen wie eine Verbindung zu Automatic1111 SD Web UI hergestellt werden kann.
Auswahlmöglichkeiten und Entscheidung
Für die Textgenerierung gibt es verschiedene grafische Bedienungsoberflächen (GUI):
Ich habe mich mit allen Drei auseindergesetzt und mich letztendlich für SillyTavern entschieden, da es die intuitivste Oberfläche ist und durch die Community sehr regelmäßig mit den neuesten Funktionen versorgt wird.
Als Nächstes müsst ihr euch dann fragen ob ihr die Generierung der Texte lokal laufen lassen wollt oder lieber online über einen Anbieter wie OpenAI oder OpenRouter.
Notwendige Erwägungen:
- Wie gut ist euer Computer zuhause ausgestattet?
- Einigermaßen vernünftige Modelle starten bei 13 Milliarden Parametern (13B). Damit werden aber auch schon 12 GB an VRAM fällig. Die allergrößten Modelle könntet ihr auch nicht mit einer einzigen Consumer Grafikkarte laden (vgl. Nvidia GeForce RTX 4090 mit 24 GB RAM) da auch 24 GB RAM ausgereizt werden können.
- Wie häufig generiert ihr Texte?
- Der Stromverbrauch kommt zur doch sehr teuren Hardware noch hinzu. Die Grafikkarte nutzt bei den Modellen ihren VRAM bis zum Anschlag und falls dieser nicht ausreicht, gibt es noch die Möglichkeit den Systemspeicher (RAM) mitzunutzen. All dies bedeutet aber auch, dass RAM (und somit CPU) und Grafikkarte unter Last stehen und Strom verbrauchen. Das ist nicht unerheblich und könnte dem Verbrauch beim Gaming nahe kommen oder ihn sogar übersteigen. Dazu habe ich leider keine genauen Messwerte.
- Wie hoch muss der Grad an “gesundem Menschenverstand” sein den die KI hat?
- 13B Modelle oder Modelle mit noch weniger Parametern werden meistens sehr plumpe und wenig geistreiche Antworten formulieren. Mit Ihnen sollte man vermutlich nicht über die Existenz des Universums diskutieren oder sie nach hilfreichen Tipps fragen.
- Da GPT3.5 und GPT4 exklusiv bei OpenAI laufen und somit nicht als lokales Modell zu erhalten sind und man vermutlich einen ganzen Serverrschrank mit Hardware bräuchte um diese Modelle lokal funktionsfähig zu betreiben, bleibt einem für GPT4 nur der Gang zu einem Anbieter. GPT4 ist derzeit aber auch das Modell das die besten Antworten generieren kann.
- Wie viel Geld wollt ihr ausgeben?
- Wenn ihr bereits eine entsprechend potente Hardware habt, könnt ihr natürlich versuchen die lokalen Modelle auf eurer Hardware zu betreiben. Habt dabei aber den Stromverbrauch im Hinterkopf wenn ihr über längere Zeiträume Texte generieren solltet.
- Die Nutzung von GPT4 liegt bei ca. 40 Nachrichten schon bei 2,50$. Das ist natürlich ein variabler Wert, da es dabei darauf ankommt wie viele Token ihr pro Nachricht berechnen lasst. Aber in etwa die Größenordnung kann man sich vorstellen. Für GPT3.5 wird es günstiger, da das Modell nicht ganz so viel Qualität bieten kann.
Persönlich bin ich nach ein paar Versuchen mit lokalen Modellen auf meiner Nvidia GeForce RTX 3080* mit 10 GB VRAM dazu übergegangen den API-Zugang von OpenAI zu benutzen. Der VRAM mit 10 GB RAM erlaubt es nur wenige Modelle funktionsfähig auszuführen und dann leider größtenteils nur 6B oder 7B Modelle. Im Vergleich sind die Antworten von GPT3.5 und GPT4 auch durch die Bank weg besser als die von lokalen Modellen.
Bei der Nutzung von OpenRouter waren Beschränkungen vorhanden und manche Anfragen konnten aufgrund von Policies nicht verarbeitet werden. Bei der direkten Nutzung der OpenAI API gab es diese nicht.
Installation von SillyTavern
Als erstes werft ihr für die aktuellen Installationsanweisungen einen Blick in die offizielle Doku.
Zusammengefasst müsst ihr aber nur NodeJS installieren, das Github Repository klonen und Start.bat ausführen. Alternativ könnt ihr SillyTavern natürlich im Docker Container laufen lassen.
Danach öffnet ihr in eurem Browser die URL http://127.0.0.1:8000/ und solltet nun schon von der SillyTavern Oberfläche begrüßt werden:
KI Lieblings Anime Charakter besorgen
Die Definition eines Charakters könnt ihr natürlich auch selbst übernehmen. Da das aber nicht ganz trivial ist und mit Aufwand verbunden ist, empfehle ich euch mal die folgenden Quellen zu durchsuchen:
- chub.ai (Characterhub)
- botprompts.net
Ihr könnt die dortigen Definitionen natürlich auch nach dem Download überarbeiten und nach euren Wünschen anpassen. Die Definitionen geben so aber schonmal einen guten Startpunkt und man muss nicht ganz bei Null anfangen.
Für das JSON Format von botprompts.net könnt ihr den Character Editor von https://zoltanai.github.io/character-editor/ nehmen. Dort könnt ihr das JSON dann importieren, sucht euch noch ein passendes Bild für den Charakter raus und speichert das dann unter “Export” als “Character Card”. Diese könnt ihr dann 1:1 in Silly Tavern übernehmen.
Als Beispiel benutze ich hier einmal Holo meinen Lieblings Charakter aus dem Anime und Light Novel Spice and Wolf, um einen KI Chat zu starten.
Nach erfolgreichem Import tauch euer Charakter automatisch in der Liste der Charakter auf. Wählt von dort euren Character aus.
Wenn ihr einen Anbieter benutzt müsst ihr in der Weboberfläche dieses Anbieters zuerst einen API-Key genieren den ihr dann in SillyTavern eintragen könnt. Ohne diesen API-Key ist es nicht möglich kostenpflichtige Sprachmodelle wie GPT3.5 und GPT4 zu benutzen.
KI Bilder aus dem Chatkontext mit eurem Lieblings Charakter generieren
Ihr könnt SillyTavern mit Automatic1111’s Stable Diffusion Web UI verbinden und aus dem mit dem Charakter erzeugten Kontext Bilder generieren. So kann die KI dann das Gesicht eures Lieblings Anime Charakter generieren und euch im Chat anzeigen.
Dazu benötigt ihr natürlich eine funktionierente Installation vom SD Web UI. Folgt dazu den Installationsanweisungen und startet das SD Web UI dann mit dem zusätzlichen Kommandozeilenargument “–api” damit dieses über Netzwerk erreichbar wird.
Falls ihr noch kein Modell installiert habt, könnt ihr auf CivitAI verschiedenste Modelle für alle möglichen Stile herunterladen.
Dann ist ja nur noch eine abschließende Frage zu klären: Wer ist euer Liebling Anime Charakter? Schreibt es gerne in die Kommentare.
* Bei den verwendeten Links handelt es sich um Affiliate Links. Durch einen Kauf über den Link werde ich am Umsatz beteiligt. Dies hat für Dich keine Auswirkungen auf den Preis.