Lokale LLMs
Grosse Sprachmodelle laufen nicht nur bei Online-Diensten – sie können vollständig auf dem eigenen Computer ausgeführt werden. Das hat entscheidende Vorteile:
- Datenschutz: Es werden keine Anfragen an fremde Server übermittelt; keine Profile, keine zielgerichtete Werbung.
- Kosten: Nach dem Download fallen keine laufenden Kosten pro Anfrage an.
- Offline-Betrieb: Die Modelle laufen auch ohne Internetverbindung.
- Freie Modellwahl: Es können beliebige offene Modelle genutzt werden – nicht nur diejenigen eines Anbieters.
Dem gegenüber steht, dass lokale Modelle kleiner und damit leistungsschwächer sind als die grössten Cloud-Modelle – für die meisten Alltagsaufgaben wie Texte zusammenfassen, übersetzen oder programmieren genügen sie jedoch.
Hugging Face
Die wichtigste Quelle für lokale Modelle ist Hugging Face, eine Website mit über zwei Millionen offenen Sprachmodellen.
Formate
Modelle gibt es in verschiedenen Formaten:
- GGUF (GPT-Generated Unified Format) ist das am weitesten verbreitete Format des llama.cpp-Ökosystems und läuft auf fast allen Computern.
- MLX ist das KI-Format von Apple, optimiert für Apple-Silicon-Prozessoren. Auf MacBooks und Macs laufen Modelle im MLX-Format normalerweise schneller.
- Safetensors enthält das unkomprimierte Originalmodell – relevant für Forscherinnen und Forscher, nicht für den Alltag.
Modellgrösse und Parameter
Die Bezeichnungen «1B», «9B» oder «27B» in Modellnamen geben die Anzahl Parameter an – also die im Training feinabgestimmten Gewichte des neuronalen Netzes (engl. «billion» für Milliarde). Grundsätzlich gilt: Mehr Parameter bedeuten mehr «Wissen», benötigen aber proportional mehr Arbeitsspeicher. Wie viele Bytes ein Parameter konkret belegt, bestimmt die Quantisierung.
Quantisierung
Trainierte Modelle speichern ihre Gewichte normalerweise mit halber Genauigkeit (FP16/BF16, 2 Bytes pro Parameter). Ein 9-Milliarden-Modell belegt damit 18 GB – auf vielen Computern zu viel. Die Quantisierung komprimiert die Gewichte auf weniger Bits pro Parameter, typischerweise auf 8, 4 oder gar 2 Bit:
Die Komprimierung funktioniert, weil die Gewichtsverteilung eines trainierten Modells sehr regelmässig ist: Die Werte werden in kleinen Gruppen zusammengefasst und pro Gruppe mit einem gemeinsamen Skalierungsfaktor gespeichert. Verfeinerte Verfahren wie Q4_K_M (Gruppen von 32 Gewichten, mehrere Bitbreiten gemischt) oder neuere Ansätze wie AWQ verlieren selbst bei 4 Bit kaum Qualität.
Empfehlung
Q4_K_M (bei GGUF-Modellen) bzw. 4bit (bei MLX) ist der bewährte Kompromiss aus Speicherbedarf und Qualität. Q8-Modelle sind praktisch verlustfrei, lohnen sich aber selten, weil Q4-Modelle dafür grösser gewählt werden können: Ein 27B-Modell in Q4 schlägt ein 9B-Modell in Q8 meist deutlich.
Aktive Parameter
Seit wenigen Jahren verbreitet sich eine Architektur, welche die Gesamtzahl der Parameter von der Rechenarbeit pro Token entkoppelt: Mixture-of-Experts-Modelle (MoE). Statt eines einzigen «Denkteils» besitzt das Modell viele spezialisierte Untermodelle, die Experten. Ein kleiner Router entscheidet für jedes Token, welche ein bis zwei Experten aufgerufen werden:
Die Folge für den lokalen Betrieb:
- Der Arbeitsspeicher muss weiterhin alle Parameter aufnehmen – MoE-Modelle sind also nicht kleiner.
- Die Geschwindigkeit hängt aber nur von den aktiven Parametern ab – MoE-Modelle generieren Text daher so schnell wie kleine dichte Modelle.
So läuft etwa Qwen3-30B-A3B (30 Milliarden Parameter total, ~3 Milliarden aktiv) auf einem 32-GB-Computer flüssig – ein herkömmliches 30B-Modell wäre auf derselben Hardware deutlich langsamer. GPT-OSS-120B aktiviert pro Token gar nur ~5 von 117 Milliarden Parametern. MoE-Modelle sind derzeit der beste Weg zu «grossem Wissen» auf kleiner Hardware.
Base- und Instruct-Modelle
Viele Modelle werden in zwei Varianten veröffentlicht:
- Base-Modelle sind im nächsten Wort trainiert – sie vervollständigen Texte, folgen aber keinen Anweisungen.
- Instruct-Modelle (oft mit dem Suffix
-Instruct,-Chatoder-Inst) wurden zusätzlich auf das Befolgen von Anweisungen trainiert. Sie antworten auf Eingaben wie «Fasse zusammen» oder «Schreibe einen Aufsatz» direkt und korrekt.
Für den Alltag sind Instruct-Modelle die richtige Wahl. Base-Modelle sollten nur verwendet werden, wenn man selbst Modelle weitertrainieren möchte (Fine-Tuning).
Modelle vergleichen
Aktuelle Modelle und ihr Verhalten auf bestimmter Hardware lassen sich hier vergleichen:
- Artificial Analysis – Ranglisten für Qualität, Tempo und Kosten (englisch)
- onyx Self-Hosted LLM Leaderboard – Fokus auf lokal ausführbare Modelle
- arena.ai – Votings von echten Nutzenden
Die folgende Tabelle gibt einen Überblick über die wichtigsten Modellfamilien und ihre Herkunft:
| Familie | Hersteller | Herkunft |
|---|---|---|
| Apertus | Swiss AI | Schweiz |
| DeepSeek | DeepSeek | China |
| Gemma | Vereinigte Staaten | |
| GLM | Z AI | China |
| GPT-OSS | OpenAI | Vereinigte Staaten |
| Muse | Meta | Vereinigte Staaten |
| Mistral | Mistral AI | Frankreich |
| Nemotron | Nvidia | Vereinigte Staaten |
| Phi | Microsoft | Vereinigte Staaten |
| Qwen | Alibaba | China |
Ausprobiert
Experiment mit folgenden Geräten
ThinkPad A: Lenovo Thinkpad L13, Intel Graphics 128 MB, 16 GB RAM, Intel Core Ultra 7 155U
MacBook Air: MacBook Air M2, 8 GB RAM
| Gerät | Bonsai 27b |
|---|---|
| ThinkPad A | |