Large Language Model

Was ist ein Large Language Model?

Ein Large Language Model (deutsch „großes Sprachmodell", kurz LLM) ist ein KI-System, das darauf trainiert ist, natürliche Sprache zu verstehen und zu erzeugen. Bekannte Beispiele sind die GPT-Modelle hinter ChatGPT, Google Gemini oder Anthropics Claude. Der Zusatz „large" verweist auf die enorme Menge an Trainingstext und die sehr große Zahl an Modellparametern – oft viele Milliarden.

Wie funktioniert ein LLM?

Ein LLM zerlegt Text zunächst in Tokens – kleine Einheiten wie Wörter, Wortteile oder Zeichenfolgen. Diese werden in Zahlenvektoren (Embeddings) übersetzt und von einem neuronalen Netz verarbeitet. Fast alle heutigen LLMs beruhen auf der Transformer-Architektur, die 2017 im Aufsatz „Attention Is All You Need" vorgestellt wurde. Ihr Kern ist der Selbstaufmerksamkeits-Mechanismus (Self-Attention), mit dem das Modell gewichtet, welche anderen Tokens für die Bedeutung eines Tokens wichtig sind.

Bei der Antwort erzeugt ein LLM Text Token für Token: Für den nächsten Schritt berechnet es Wahrscheinlichkeiten über alle möglichen Tokens und wählt daraus aus. Dieser Vorgang wiederholt sich, bis die Antwort vollständig ist.

Wie lernt ein LLM?

Das Training verläuft meist zweistufig. Im Pre-Training verarbeitet das Modell riesige, weitgehend unbeschriftete Textmengen und lernt selbstüberwacht statistische Muster der Sprache – Grammatik, Fakten, Formulierungen. Anschließend folgt oft ein Fine-Tuning auf spezielleren Daten oder mit menschlichem Feedback, um Antworten hilfreicher und sicherer zu machen. Ein LLM verarbeitet dabei nur einen begrenzten Textausschnitt auf einmal – das sogenannte Kontextfenster. Sehr lange Eingaben oder Wissen jenseits des Trainingsstands liegen außerhalb dieser Grenze.

Wichtig für das Lernen mit LLMs: Das Modell „weiß" nichts im menschlichen Sinn, sondern sagt plausiblen Text voraus. Es kann daher überzeugend klingende, aber falsche Aussagen erzeugen (sogenannte Halluzinationen). Als Werkzeuge zum Zusammenfassen, Erklären und Abfragen sind LLMs stark – ihre Ausgaben sollten aber bei wichtigen Fakten geprüft werden. Praktische Beispiele zeigt der Beitrag mit ChatGPT lernen.