Die wichtigsten Open-Weight-Modelle im September 2026. Welches Modell zu welchem Einsatzzweck passt, welche Hardware dahintersteht und welche Lizenz gilt. Die Angaben sind gegen die Modellkarten der Anbieter und die Ollama-Bibliothek geprüft.
Modelle via Ollama pullen
# Allzweck mit Bildverstaendnis, Apache-2.0 - laeuft mit rund 18 GB im Q4
ollama pull qwen3.8:27b
# Kleines Modell fuer schwache Hardware, Apache-2.0
ollama pull gemma4:12b
# Europaeische Alternative aus Paris, Apache-2.0
ollama pull mistral-small:24b
# Reasoning und Mathematik, MIT-Lizenz
ollama pull deepseek-r1:32b
# OpenAIs Open-Weight-Modell, Apache-2.0
ollama pull gpt-oss:20bJedes Modell hat eigene Stärken — Größe, Lizenz, Kontextlänge, Einsatzzweck. Hier die kompakte Übersicht, klickbar auf die offizielle Modellseite des Anbieters. Neuere Familien wie GLM 5.3, DeepSeek V4.1 oder MiniCPM5 gibt es auf Hugging Face bereits, in der Ollama-Bibliothek am 11.09.2026 aber noch nicht — deshalb stehen sie hier nicht.
Meta
Meta-Flaggschiff
Llama 4 kommt als Mixture-of-Experts: Scout mit 16 Experten, Maverick mit 128, jeweils 17 Milliarden aktive Parameter. Meta hat seit April 2025 keine neue Generation veröffentlicht. Die Llama-Lizenz erlaubt kommerzielle Nutzung mit Auflagen.
ollama pull llama4:scout
Mistral AI
Französisches Powerhouse
Mistral Small 3 mit 24 Milliarden Parametern ist die praktikable Größe für eine einzelne Grafikkarte. Darüber stehen Mistral Small 4 und Mistral Large 3 für Serverhardware. Alles Apache-2.0, Anbieter sitzt in Paris.
ollama pull mistral-small:24b
Alibaba
Der meistgeladene Open-Weight-Kandidat
Qwen 3.8 mit 27,3 Milliarden Parametern versteht auch Bilder und fasst rund 262.000 Bausteine Kontext. Apache-2.0 und damit für den unproblematisch. Ausgezeichnete Deutsch-Qualität — dieses Modell läuft auch bei uns im Alltag.
ollama pull qwen3.8:27b
Google, jetzt unter Apache-2.0
4 reicht von den winzigen E2B- und E4B-Varianten bis 31 Milliarden Parameter, dazu eine Mixture-of-Experts-Fassung mit 26 Milliarden. Wichtigste Änderung gegenüber 3: Die eigene Gemma-Lizenz ist weg, 4 steht unter Apache-2.0.
ollama pull gemma4:12b
DeepSeek
Reasoning-Spezialist
DeepSeek R1 setzt weiterhin Maßstäbe bei logischem Schließen und Mathematik. Die volle Fassung mit 671 Milliarden Parametern braucht Serverhardware, die Distill-Varianten mit 32 und 70 Milliarden laufen auf Mittelstands-Hardware. MIT-Lizenz.
ollama pull deepseek-r1:32b
Microsoft
Microsoft-Klein-Champion
Phi 4 mit nur 14B Parametern zeigt: gut kuratierte Trainingsdaten schlagen schiere Größe. Sehr gute Performance auf einer RTX 4090. MIT-Lizenz, kommerziell uneingeschränkt nutzbar.
ollama pull phi4:14b
OpenAI
OpenAIs Open-Weight-Modell
Im August 2025 veröffentlichte OpenAI gpt-oss in zwei Größen (20B und 120B) unter Apache-2.0. Aus Sicht der Modell-Qualität deutlich besser als ältere OSS-Modelle, mit voller kommerzieller Freigabe.
ollama pull gpt-oss:20b
Ein Open-Weight-Modell ist ein , dessen trainierte Gewichte (die Parameter-Datei) öffentlich verfügbar sind — typisch als Download auf HuggingFace, auf der Anbieter-Webseite oder über . Das unterscheidet sie von ChatGPT, Claude oder Gemini Pro, deren Gewichte nicht herausgegeben werden und die ausschließlich über APIs zugreifbar sind.
Wichtig: „Open Weight" ist nicht dasselbe wie „Open Source". Die Lizenzen schwanken stark — von echtem MIT oder Apache-2.0 (Qwen, 4, Mistral, Phi, DeepSeek, gpt-oss) bis zu eigenen Anbieterlizenzen mit Auflagen (Llama). Wer kommerziell einsetzt, liest die Lizenz vor dem Download, nicht danach.
Empfehlungen aus eigener Praxis bei Mandanten, Stand September 2026. Nicht „das beste Modell" — es gibt kein bestes. Sondern: Für diesen Zweck passt dieses Modell am pragmatischsten.
Sechs Eigenschaften, die diese sieben Modelle zu einer eigenen Klasse machen — und sie von Cloud-Frontier-Modellen unterscheiden.
OpenAI-kompatibler API-Call gegen ein lokales Modell
# Modell auswählen (variable)
MODEL="qwen3.8:27b"
# Alternative: gemma4:12b · mistral-small:24b · deepseek-r1:32b · gpt-oss:20b
# OpenAI-kompatibler Chat-Completion-Call
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "'$MODEL'",
"messages": [
{"role": "system", "content": "Du bist eine pragmatische KI-Beraterin für KMU."},
{"role": "user", "content": "Welches Modell empfiehlst du für eine 8-Personen-Anwaltskanzlei mit RTX 4090?"}
],
"temperature": 0.2
}'
# Die gleiche Anfrage funktioniert auch mit dem OpenAI Python-SDK,
# einfach OPENAI_API_BASE auf http://localhost:11434/v1 setzen.Cloud-Alternativen ehrlich verglichen
Drei Cloud-Frontier-Modelle, die in absoluter Qualität oft noch vorne sind. Trade-off: Datenfluss und Per-Token-Kosten gegen Top-Qualität.
Frontier Cloud (USA)
OpenAI
Frontier Cloud (USA/EU)
Anthropic
Frontier Cloud (USA)
Faustregel: Wer DSGVO-Pflichten hat oder IP schützt — Open-Weight lokal. Wer maximale Qualität bei unkritischen Inhalten will — Cloud-Frontier. Wer beides braucht — Multi-Routing in (sensible Inhalte lokal, allgemeine Recherche Cloud).
Pricing
Lizenz
Mix aus Apache-2.0 (Mistral, Qwen, Phi, GPT-oss), MIT (DeepSeek), Custom Community Licenses (Llama, Gemma). Für KMU-Eigenbetrieb in fast allen Konstellationen unproblematisch — pro Modell auf Modell-Karte verifizieren.
Hardware-Kosten
Mid-Range (für Modelle bis 32B): RTX 4090 24GB + 32GB RAM Workstation, ca. 3.000 €. Premium (für 70B+): Apple Mac Studio M4 Ultra 192 GB ab 8.000 € oder NVIDIA-Server mit RTX 5090. Strom: 150–300 W bei Inferenz, idle <50 W.
vs. Cloud-API
Cloud-Kosten skalieren linear mit Volumen. Bei 1.000 Token/Tag pro 10 Mitarbeitenden: GPT-5 ca. 60 €/Monat, Claude Sonnet ähnlich. Self-Hosted: Hardware-Amortisation in 12–18 Monaten. Ab 50+ Mitarbeitenden klar günstiger.
Wichtig: Quantisierungs-Qualität ist nicht linear. Q4_K_M ist Standard und 'gut genug' für 95 % der . Q5/Q6 für höhere Ansprüche. Volle FP16 nur bei Forschung. Wer mit weniger VRAM auskommt, sollte zuerst Quantisierung prüfen, bevor ein kleineres Modell gewählt wird.
Verwandte Themen
Modelle alleine sind nutzlos. lädt sie, bietet die Bedien-Oberfläche, ki-server-eigene-infra ist die Lösung dahinter:
Kostenloses Erstgespräch. Unverbindlich. In 30 Minuten wissen Sie, ob und wie KI Ihrem Unternehmen helfen kann.