Wie große Sprachmodelle sprechen lernten

Das erste gute Gespräch mit einer Maschine hat etwas leicht Beunruhigendes.

Du tippst eine Frage. Die Antwort kommt fast sofort. Sie hat Absätze. Sie erinnert sich daran, was du drei Nachrichten zuvor gesagt hast. Sie kann eine Steuerregel erklären, einen Liebesbrief umschreiben, einen Fehler in einem Python-Programm finden und dir auf freundliche Nachfrage eine Gutenachtgeschichte über einen depressiven Drachen erzählen, der in der Buchhaltung arbeitet.

Da liegt die Vorstellung nahe, im Computer sitze ein kleiner elektronischer Gelehrter, der das Internet gelesen hat und nun in seinem Gedächtnis nach der Antwort kramt.

Tut er nicht.

Was wirklich passiert, ist weniger magisch und in mancher Hinsicht viel seltsamer.

Ein modernes großes Sprachmodell (Large Language Model, LLM) ist ein gewaltiges mathematisches System. Es wurde darauf trainiert, Sprachmuster zu erkennen und vorherzusagen, was wahrscheinlich als Nächstes kommt. Ein kleines Textstück nach dem anderen. Aus dieser scheinbar bescheidenen Fähigkeit entsteht eine erstaunliche Sammlung von Fertigkeiten: schreiben, übersetzen, programmieren, zusammenfassen, Fragen beantworten, Dokumente untersuchen und Gespräche führen, die bemerkenswert menschlich wirken.

Um zu verstehen, warum diese Maschinen funktionieren und warum sie manchmal so spektakulär selbstsicher scheitern, beginnen wir lange vor ChatGPT, Grafikprozessoren und sogar der modernen Computerindustrie.

Vor dem Chatbot stand eine Frage

1950 veröffentlichte der britische Mathematiker Alan Turing einen Aufsatz mit dem wunderbar direkten Titel Computing Machinery and Intelligence.

Er begann mit einer Frage:

Können Maschinen denken?

Turing erkannte sofort das Problem. Niemand konnte sich auf eine genaue Bedeutung von Denken einigen. Philosophen stritten seit Jahrhunderten darüber, ganz ohne Stromanschluss.

Also schlug er etwas Praktischeres vor.

Stell dir einen schriftlichen Austausch mit zwei unsichtbaren Gesprächspartnern vor. Einer ist ein Mensch, der andere eine Maschine. Wenn die Maschine so gut mitreden kann, dass du beide nicht zuverlässig unterscheiden kannst, ist es vielleicht nützlicher, ihre Fähigkeiten zu beobachten, als darüber zu streiten, ob sie wirklich „denkt“.

Die Idee wurde als Turing-Test bekannt.

Turing erfand nicht das große Sprachmodell. Er tat etwas Wichtigeres: Er half, das Gespräch von „Was ist Intelligenz?“ zu „Welches Verhalten würde uns von vorhandener Intelligenz überzeugen?“ zu verschieben.

Jahrzehntelang blieb die Antwort überwiegend theoretisch.

Computer konnten hervorragend rechnen. Gespräche waren eine andere Sache.

Computern Sprache beibringen, Regel für Regel

Frühe Sprachprogramme bestanden häufig aus vorgegebenen Regeln.

Wenn du dieses Wort siehst, tu das. Hat ein Satz diese Struktur, ordne ihn so ein. Spricht der Nutzer über seine Mutter, frag vielleicht nach seinen Gefühlen für sie.

Das ergab clevere Vorführungen, hatte aber ein Grundproblem: Menschliche Sprache will sich einfach nicht benehmen.

Wir verwenden Sarkasmus. Lassen Wörter weg. Erfinden Ausdrücke. Ändern Bedeutungen je nach Zusammenhang. Das englische „That’s sick“ kann auf eine Krankheit oder ein hervorragendes Gitarrensolo hinweisen.

Genug Regeln für normale Sprache zu schreiben, erwies sich als ähnlich schwierig wie eine Gebrauchsanweisung für Persönlichkeit.

In den 1980er- und 1990er-Jahren wandten sich Forschende zunehmend der Statistik zu.

Statt dem Computer genau zu erklären, wie Sprache funktioniert, konnten sie ihm riesige Textmengen zeigen und die Mathematik Regelmäßigkeiten finden lassen.

Eine wichtige Familie waren die N-Gramm-Sprachmodelle.

Ein N-Gramm-Modell betrachtet kurze Wortfolgen und fragt sinngemäß:

Welches Wort folgt normalerweise auf die Wörter, die ich gerade gesehen habe?

Bei der englischen Wendung:

peanut butter and … — Erdnussbutter und …

würdest du eher Marmelade als Hubschrauber erwarten.

Die Maschine konnte dasselbe lernen, indem sie Beispiele zählte.

Verglichen mit moderner KI war das primitiv. Trotzdem hatte sich etwas Grundlegendes geändert: Man gab nicht mehr jede Sprachregel vor. Der Computer begann, Muster aus Daten zu lernen.

Wörter werden Zahlen

Ein Computer versteht Katze nicht als das pelzige Wesen, das gerade auf deiner Tastatur sitzt und dich am Arbeiten hindert.

Computer verstehen Zahlen.

Also musste man Sprache in Mathematik verwandeln, ohne dabei ihre gesamte Bedeutung zu verlieren.

Ein wichtiger Schritt war die Worteinbettung, das Word Embedding.

Sie stellt ein Wort als lange Zahlenliste dar: als Punkt in einem mathematischen Raum mit Hunderten oder Tausenden Dimensionen.

Das klingt abstrakt, aber die Idee ist einfach.

Wörter, die unter ähnlichen Umständen auftauchen, erhalten tendenziell ähnliche numerische Darstellungen.

König und Königin werden miteinander verbunden. Ebenso Paris und Frankreich, Tokio und Japan oder Hund und Welpe.

Das Modell besitzt keinen kleinen Wörterbucheintrag „Welpe = junger Hund“. Es lernt Beziehungen, weil diese Wörter immer wieder in verwandten sprachlichen Umgebungen vorkommen.

Erstmals hatten Maschinen etwas wie eine mathematische Landkarte der Bedeutung.

Doch ein weiteres Problem blieb.

Sprache ist nicht bloß ein Sack verwandter Wörter. Reihenfolge und Kontext zählen.

Vergleiche:

The bank approved my mortgage. — Die Bank bewilligte meine Hypothek.

Und:

We sat on the bank of the river. — Wir saßen am Flussufer.

Dasselbe englische Wort bank. Völlig verschiedene Welten.

Ein Modell muss nicht nur einzelne Wörter berücksichtigen, sondern auch die Beziehungen zwischen den Teilen eines Satzes.

Damit kommen wir zu dem Durchbruch, der die moderne KI veränderte.

Der Transformer kommt

2017 veröffentlichten acht Forschende Attention Is All You Need.

Der Titel war ein bisschen frech. Die Folgen waren enorm.

Die Arbeit stellte eine Architektur namens Transformer vor.

Ihre zentrale Idee war ein Mechanismus namens Attention, also Aufmerksamkeit.

Attention lässt ein Modell eine Folge betrachten und bestimmen, welche Informationen füreinander besonders relevant sind.

Nimm den Satz:

Maria stellte das Glas auf den Tisch, weil es nass war.

Im englischen Original steht „it“. Was war nass?

Das Glas? Der Tisch?

Ein nützliches Sprachsystem muss die umgebenden Wörter und Beziehungen untersuchen, um das zu entscheiden.

Attention bietet dafür einen mathematischen Mechanismus.

Statt Sprache nur als starre Kette abzuarbeiten — erstes Wort, zweites, drittes — kann ein Transformer viele Beziehungen im Text untersuchen und ihnen unterschiedliche Bedeutung geben.

Dadurch wurde das Training auf moderner paralleler Hardware viel effizienter. Wesentlich größere Modelle wurden möglich.

Und als die Modelle wuchsen, geschah etwas Überraschendes.

Sie wurden für Aufgaben nützlich, die niemand ausdrücklich programmiert hatte.

Wie groß ist eigentlich „groß“?

Bei 8B, 14B oder 70B steht B für billion, also Milliarde.

Ein 8B-Modell enthält ungefähr acht Milliarden Parameter.

Ein Parameter ist ein verstellbarer Zahlenwert in einem neuronalen Netz.

Stell dir ein riesiges Mischpult mit Milliarden kleiner Regler vor.

Zu Beginn sind sie schlecht eingestellt. Das Modell macht schlechte Vorhersagen.

Das Training zeigt Beispiele, misst Fehler und verstellt die Regler ein kleines bisschen.

Immer wieder, fast unvorstellbar oft.

Am Ende erfasst die Kombination der Einstellungen eine gewaltige Menge an Mustern.

Diese gespeicherten Parameterwerte heißen meist Modellgewichte.

Wenn du eine Datei von fünf, zehn, zwanzig oder fünfzig Gigabyte herunterlädst, besteht ein großer Teil davon aus einer riesigen Sammlung gelernter Zahlen.

Das Wissen liegt nicht in einer ordentlichen Enzyklopädie mit Kapiteln namens „Napoleon“, „Python-Programmierung“ und „Lasagne zubereiten“.

Es ist über die Gewichte verteilt.

Deshalb kann ein Sprachmodell einen Moment brillant und im nächsten merkwürdig sein.

Es ist keine herkömmliche Datenbank.

Es ist eine Mustermaschine.

Die kleinste Gesprächseinheit ist kein Wort

Angenommen, du schreibst:

I absolutely love this computer.

Das Modell muss den Text nicht so zerlegen, wie du seine Wörter zählst.

Vor dem neuronalen Netz zerlegt eine Software, der Tokenizer, den Text in Einheiten namens Tokens.

Ein Token kann ein ganzes Wort sein.

Ein Wortteil.

Ein Satzzeichen.

Ein Teil einer Zahl.

Computer kann bei einem Modell ein Token sein, bei einem anderen mehrere.

Das ist entscheidend, denn moderne KI-Systeme messen ihren Arbeitsraum in Tokens, nicht in Seiten oder Wörtern.

Ein Kontextlimit von 32.000 Tokens bedeutet nicht 32.000 Wörter.

Es bedeutet ungefähr 32.000 Stücke nach den Regeln dieses Tokenizers.

Verschiedene Sprachen können für denselben Gedanken unterschiedlich viele Tokens benötigen. Englisch, Russisch, Spanisch, Chinesisch, Programmcode und mathematische Schreibweisen lassen sich unterschiedlich aufteilen.

Deshalb wirken Tokenzahlen beim Einstieg oft rätselhaft.

Das Modell liest denselben Satz wie du, sieht mathematisch aber möglicherweise ganz andere Einzelstücke.

Die unsichtbare Zeichensetzung von KI-Gesprächen

Es gibt noch eine Tokenart, die du normalerweise nicht siehst.

Sie heißt Spezialtokens.

Stell dir ein Theaterstück ohne Angaben darüber vor, wer gerade spricht. Du wärst schnell verwirrt.

KI-Gespräche haben dasselbe Problem.

Das Modell braucht unsichtbare Markierungen, etwa für:

Hier beginnen die Systemanweisungen.

Jetzt spricht der Nutzer.

Jetzt soll der Assistent antworten.

Diese Nachricht ist beendet.

Ein wichtiges Beispiel ist das Ende-der-Sequenz-Token (End-of-Sequence, EOS).

Eine besondere Zeichensetzung also, die das Modell versteht, nicht der Leser.

Modellfamilien nutzen unterschiedliche Spezialtokens. Anwendungen fügen sie meist automatisch ein.

Vielleicht siehst du sie nie.

Aber sie brauchen trotzdem Platz.

Das führt zu einem der am häufigsten missverstandenen Aspekte lokaler KI.

Das Modell hat einen Schreibtisch. Der ist nicht unendlich groß

Jedes Sprachmodell hat ein Kontextfenster.

Das ist die Informationsmenge, mit der es gleichzeitig aktiv arbeiten kann.

Stell dir einen brillanten Forscher mit einer riesigen Bibliothek vor, aber nur einem Schreibtisch.

Die Bücher stehen für das Wissen aus dem Training.

Der Schreibtisch steht für das Kontextfenster.

Alles, was der Forscher jetzt berücksichtigen soll, muss auf den Tisch passen.

Deine Frage braucht Platz.

Der Gesprächsverlauf braucht Platz.

Ein Dokument braucht Platz.

Programmcode braucht Platz.

Anweisungen brauchen Platz.

Werkzeuge brauchen Platz.

Auch die Antwort braucht Platz.

Ein Modell mit beworbenen 32.000 Tokens gibt dir also keine 32.000 Tokens für dein Dokument.

Vielleicht sind schon mehrere Tausend verbraucht, bevor es überhaupt ankommt.

Bei KI-Agenten ist das besonders wichtig: Systemanweisungen, Werkzeugbeschreibungen, geladene Fähigkeiten, Suchergebnisse, Dateien, frühere Aktionen und der Gesprächsverlauf können vor der eigentlichen Aufgabe eintreffen.

Das theoretische Kontextfenster und der nutzbare Arbeitskontext sind nicht dasselbe.

Dieser Unterschied ist einer der Gründe, warum wir Green Zone entwickelt haben.

Das Modell braucht auch ein Notizbuch

Ein weiterer Speicherverbraucher trägt einen wunderbar kryptischen Namen:

Schlüssel-Wert-Zwischenspeicher (Key-Value Cache, KV cache).

Das klingt nach etwas Verstecktem in einem Datenbankserver. Die Idee ist viel einfacher.

Stell dir ein langes Gespräch vor.

Nach jedem neuen Satz beginnt dein Gegenüber nicht wieder ganz vorne und berechnet gedanklich alle vorherigen Sätze neu.

Es behält Arbeitsinformationen über das bisher Geschehene.

Ein Transformer macht etwas Ähnliches.

Beim Verarbeiten von Tokens berechnet er interne Informationen namens Schlüssel und Werte. Statt sie für jedes neue Token erneut zu berechnen, speichert das System sie vorübergehend im KV cache.

Die Gewichte sind wie langfristig gelerntes Wissen. Der KV cache ist wie ein vorübergehendes Notizbuch für das aktuelle Gespräch.

Je länger das Gespräch, desto dicker das Notizbuch.

Und das Notizbuch braucht Speicher.

Daraus entsteht ein wichtiges praktisches Problem.

Ein Modell kann technisch auf deine Grafikkarte passen und trotzdem für deine Arbeit nahezu unbrauchbar sein.

Angenommen, die Karte hat 32 Gigabyte Grafikspeicher (Video Random Access Memory, VRAM).

VRAM ist der schnelle Speicher der Grafikverarbeitungseinheit (Graphics Processing Unit, GPU).

Wenn die Gewichte 27 Gigabyte belegen, möchtest du vielleicht feiern.

Siebenundzwanzig ist kleiner als zweiunddreißig.

Geschafft!

Nicht unbedingt.

Für KV cache, Programmpuffer, temporären Arbeitsspeicher und alles Weitere während der Inferenz bleiben ungefähr fünf Gigabyte.

Das ist wie ein Sofa, das zwar ins Wohnzimmer passt, aber keinen Platz zum Öffnen der Tür lässt.

Das Sofa passt.

Das Zimmer funktioniert nicht mehr.

Quantisierung: Große Zahlen lernen, leicht zu reisen

Hier kommt Quantisierung ins Spiel.

Modellgewichte sind Zahlen. Computer können Zahlen mit unterschiedlicher numerischer Genauigkeit speichern.

Mehr Genauigkeit bewahrt mehr Information pro Zahl, braucht aber mehr Speicher.

Quantisierung speichert diese Zahlen mit weniger Bits.

Stell dir vor, du notierst Messwerte im Labor.

Du könntest schreiben:

3.14159265358979

Oder:

3.14

Die zweite Fassung braucht weniger Platz, verliert aber Genauigkeit.

Quantisierung überträgt eine viel raffiniertere Variante dieser Idee auf die Gewichte neuronaler Netze.

Häufig begegnen dir Q8, Q6, Q5 und Q4.

Das Q steht für quantisiert.

Die Zahl gibt ungefähr an, wie viele Bits die Gewichte darstellen.

Q8 nutzt etwa acht Bits.

Q4 etwa vier.

Deshalb braucht Q4 normalerweise erheblich weniger Speicher als Q8.

Ein Modell mit acht Milliarden Parametern wird dadurch nicht plötzlich zu einem mit vier Milliarden.

Es hat weiterhin ungefähr acht Milliarden Parameter.

Du hast ihre Zahlendarstellung nur dichter gepackt.

Es gibt einen Kompromiss.

Weniger Genauigkeit spart Speicher, verliert aber Informationen.

Zum Glück können moderne Methoden die Qualität erstaunlich gut erhalten. Eine gute Q4- oder Q5-Version kann sehr nützlich sein und viel weniger Speicher belegen als eine Sechzehn-Bit-Version.

Du wirst auch 16-Bit-Gleitkomma (FP16) und Brain Floating Point 16 (BF16) sehen.

Das sind verbreitete Formate höherer Genauigkeit in der modernen KI.

Die praktische Frage lautet nicht:

Welches Format hat die höchste Genauigkeit?

Sondern:

Welches Format liefert genug Qualität und lässt genug Speicher für meine eigentliche Arbeit übrig?

Das ist die deutlich bessere Frage.

Warum ein Instruct-Modell Manieren hat

Modellnamen enthalten Hinweise.

Zum Beispiel:

Qwen 8B Instruct

Qwen nennt die Familie.

8B nennt ungefähr acht Milliarden Parameter.

Instruct bedeutet etwas ganz anderes.

Nach dem riesigen ersten Training kann ein Modell Sprache recht gut verarbeiten und trotzdem ein unbeholfener Gesprächspartner sein.

Du fragst:

Erkläre einem zwölfjährigen Kind die Schwerkraft.

Ein bloß vortrainiertes Modell wurde nicht unbedingt zum hilfreichen Assistenten erzogen.

Darum trainieren Entwickler es zusätzlich mit Beispielen aus Anweisungen und erwünschten Antworten.

Das heißt Instruction Fine-Tuning, also gezieltes Nachtraining auf Anweisungen.

Es sieht Beispiele wie:

Nutzer: Fasse diesen Absatz zusammen.

Gefolgt von einer hilfreichen Zusammenfassung.

Oder:

Nutzer: Schreibe eine Python-Funktion, die diese Daten sortiert.

Gefolgt vom passenden Code.

Nach genügend Beispielen beherrscht es dieses Gesprächsmuster besser:

Ein Mensch bittet mich um etwas; ich sollte versuchen, es zu tun.

Daher Instruct.

Es beschreibt eher die Erziehung als die Intelligenz.

Das Basismodell war in der Schule.

Das Instruct-Modell hat zusätzlich einen Benimmkurs besucht.

Fine-Tuning: Zurück in die Schule

Allgemein bedeutet Fine-Tuning, ein bereits trainiertes Modell für einen spezielleren Zweck weiterzutrainieren.

Stell dir jemanden mit breiter Hochschulbildung vor, der anschließend Medizin studiert.

Er vergisst nicht, wie man liest und rechnet.

Er erwirbt eine besondere Ausbildung.

Ein allgemeines Modell lässt sich entsprechend für Programmierung, Medizin, Finanzen, Kundendienst, juristische Texte oder bestimmte Umgangsformen nachtrainieren.

Vollständiges Fine-Tuning kann teuer sein, weil es sehr viele Gewichte verändert.

Eine leichtere Technik, Low-Rank Adaptation (LoRA), passt das Modell effizienter an, indem sie relativ kleine zusätzliche Komponenten trainiert.

Stell dir LoRA eher als sorgfältig vorbereitete Anmerkungen zu einer Enzyklopädie vor, nicht als Neufassung des ganzen Buchs.

Das eigentliche Buch bleibt weitgehend unverändert.

Drei Transformer-Familien

Nicht jeder Transformer ist für dieselbe Arbeit gebaut.

Eine Kategorie ist der Encoder.

Er liest Informationen und erzeugt eine numerische Darstellung.

Googles BERT ist ein bekanntes Beispiel.

Encoder helfen etwa, Textthemen zu erkennen, ähnliche Dokumente zu finden, Namen herauszufiltern oder Stimmungen einzuordnen.

Dann gibt es Decoder.

Sie erzeugen neue Tokens.

Die meisten lokal genutzten Gesprächsmodelle — Llama, Qwen, Mistral, Gemma und ähnliche — gehören überwiegend zu dieser Familie.

Sie beantworten Fragen, schreiben, programmieren und setzen Folgen fort.

Schließlich gibt es Encoder-Decoder-Systeme, auch Sequence-to-Sequence-Modelle genannt.

Ein Teil liest die Eingabe. Ein anderer erzeugt die Ausgabe.

T5 und BART sind Beispiele.

Sie wurden besonders für Übersetzungen und Zusammenfassungen nützlich.

Du musst diese Kategorien nicht auswendig lernen, um lokale KI zu nutzen.

Aber sie erklären, warum zwei Modelle namens Transformer sich sehr unterschiedlich verhalten können.

Ein Pick-up und ein Formel-1-Wagen haben beide Motoren.

Du würdest dich nicht allein anhand der Zylinderzahl entscheiden.

Die seltsame Macht der Vorhersage

Hier ist vielleicht die seltsamste Tatsache über große Sprachmodelle.

Viele generative Modelle werden im Kern auf etwas fast peinlich Einfaches trainiert:

vorhersagen, was als Nächstes kommt.

Du schreibst:

Die Hauptstadt Frankreichs ist …

Das Modell verteilt Wahrscheinlichkeiten auf mögliche nächste Tokens.

Paris erhält eine sehr hohe Wahrscheinlichkeit.

Banane, so hoffen wir, eine sehr niedrige.

Das Modell wählt ein Token.

Dann wiederholt es den Vorgang.

Wieder.

Und wieder.

Tausende Male.

Daraus entstehen Absätze, Programme, Erklärungen, Übersetzungen, Gedichte, Argumente, Witze und manchmal kompletter Unsinn, vorgetragen mit der Sicherheit eines Menschen, der den Weg durch eine Stadt erklärt, in der er noch nie war.

Der letzte Punkt ist wichtig.

Ein LLM ist keine Wahrheitsmaschine.

Es ist eine Vorhersagemaschine.

Sein Ziel ist eine plausible Fortsetzung, nicht die eidesstattliche Versicherung, dass jeder Satz stimmt.

Deshalb können Modelle halluzinieren: überzeugend klingende, aber falsche Informationen erzeugen.

Das Wort ist unvollkommen, das Phänomen real.

Das Modell „lügt“ nicht unbedingt.

Es erzeugt eine Fortsetzung nach gelernten Mustern, auch wenn die zugrunde liegende Tatsache falsch ist.

Vom Chatbot zum Agenten

Ein Sprachmodell allein kann nur Informationen erzeugen.

Ein KI-Agent ergänzt Werkzeuge.

Kehren wir zum Forscher am Schreibtisch zurück.

Ohne Werkzeuge antwortet er nur aus dem Gedächtnis und anhand deiner vorgelegten Dokumente.

Nun gib ihm:

einen Taschenrechner,

eine Suchmaschine,

Dateizugriff,

eine Datenbank,

einen Python-Interpreter

und die Erlaubnis für bestimmte Handlungen.

Er wird erheblich nützlicher.

Ein KI-Agent funktioniert ähnlich.

Das LLM liefert die Sprachverarbeitung und die Entscheidungskomponente.

Normale Software führt die Handlungen aus.

Braucht das Modell eine Zahl aus einer Datenbank, fordert es das Datenbankwerkzeug an.

Muss es eine Datei untersuchen, fordert es ein Lesewerkzeug an.

Muss es rechnen, ruft es einen Rechner auf, statt selbst einer sein zu wollen.

Das ist wichtig, denn manchmal klingt es, als hätte das Modell magisch neue Kräfte erworben.

Hat es nicht.

Es hat Werkzeuge bekommen.

Ein Tischler mit Bohrmaschine bleibt derselbe Tischler.

Die Bohrmaschine verändert lediglich, was er schaffen kann.

Lokale KI verändert die Fragen

Bei einem KI-Clouddienst gehört die Hardware jemand anderem.

Du sendest die Anfrage.

Ein entferntes Rechenzentrum kümmert sich um Grafikprozessoren, Speicher, Kühlung, Netzteile und die erschreckende Stromrechnung.

Beim lokalen Betrieb ändert sich das Verhältnis.

Die Hardware gehört jetzt dir.

Plötzlich landen Fragen auf deinem Schreibtisch, die bisher Rechenzentrumsingenieure beschäftigt haben.

Wie viel VRAM habe ich?

Wie groß sind die Gewichte?

Welche Quantisierung sollte ich wählen?

Wie viel Kontext kann ich mir leisten?

Wie viel Speicher verbraucht der KV cache?

Kann ich das Modell laden und trotzdem etwas Nützliches damit tun?

Anfangs wirkt das wie Buchstabensuppe.

GPU. VRAM. KV. Q4. Q8. FP16.

Hinter den Kürzeln steckt aber eine sehr alltägliche Frage:

Du hast begrenzten Platz. Was möchtest du hineinstellen?

Genau dieses Problem soll Green Zone sichtbar machen.

Der Unterschied zwischen Hineinpassen und Arbeiten

Stell dir zwei Menschen vor, die für eine Reise packen.

Der erste füllt den Koffer vollständig mit Kleidung.

Triumphierend bekommt er den Reißverschluss zu.

Geschafft?

Dann fallen ihm Schuhe, Medikamente, Zahnbürste und der Reisepass ein, den er irgendwie ganz unten verstaut hat.

Der zweite lässt bewusst Platz frei.

Technisch enthält der erste Koffer mehr Kleidung.

Praktisch ist der zweite besser auf die Reise vorbereitet.

Lokale KI hat dasselbe Problem.

Du kannst das größtmögliche Modell laden und dich freuen, weil es passt.

Bleibt aber fast kein Speicher für Kontext und Arbeitszustand übrig, hast du möglicherweise ein beeindruckendes System gebaut, das die eigentliche Aufgabe kaum bequem bewältigt.

Die Modellwahl ist deshalb kein Wettbewerb um die größte Zahl vor dem B.

Eine nützliche Konfiguration ist ein Gleichgewicht.

Modellfähigkeiten.

Quantisierung.

Kontext.

KV cache.

Werkzeuge.

Dateien.

Gesprächsverlauf.

Platz für Antworten.

Und der physische Speicher deiner Grafikkarte.

Die beste Konfiguration ist nicht unbedingt das größte Modell, das deine Hardware gerade noch laden kann.

Es ist die Konfiguration, die dem Modell genug Raum zum Arbeiten lässt.

Sobald du diesen Unterschied verstehst, wirkt der einschüchternde Zahlenwald auf Downloadseiten viel weniger rätselhaft.

Du fragst nicht mehr:

Kann ich dieses Modell auf meine Grafikkarte quetschen?

Du stellst die wirklich wichtige Frage:

Wenn ich dieses Modell auf meine Grafikkarte lade, wie viel Platz bleibt dann zum Denken, zum Erinnern an das Gespräch, zum Verwenden meiner Dateien und zum Erledigen der Aufgabe?

Hier wird lokale KI von einer Sammlung geheimnisvoller Daten zu einer technischen Frage, die normale Menschen nachvollziehen können.