Monatliches Ranking · Stand: September 2026

Top 5: Lokale LLM-Runtimes (Self-Hosted KI)

Unsere Marktbeobachtungen im September 2026

Die Server-Runtimes setzten im September 2026 die Anpassung an neue offene Modelle fort. vLLM machte mit Version 0.29.0 vom 9. September den Model Runner V2 zum Standard und ergänzte bis Version 0.30.0 vom 22. September Unterstützung für Qwen3.8-Flash-Next, DeepSeek-V4.1-Flash und GLM-5.3-Flash. SGLang ergänzte mit Version 0.5.19 vom 5. September Beam-Search und einen W4A8-MoE-Pfad auf Hopper, mit Version 0.5.20 vom 18. September GLM-5.3-Flash und Qwen3.8-Flash-Next. Betroffen sind die Kriterien Modell-Unterstützung und Inference-Geschwindigkeit, ohne die lokale Datenhoheit aufzugeben.

Ollama baute im September 2026 seine Integrations- und Betriebsfunktionen aus. Version 0.34.0 vom 5. September ermöglichte die Nutzung lokaler Ollama-Modelle in ChatGPT Desktop; Version 0.35.0 vom 28. September führte Entscheidungsmodelle über einen neuen /v1/systemone-Endpunkt für Klassifikationsaufgaben ein. Das betrifft die Kriterien Integrationsfähigkeit und Erweiterbarkeit; der eigentliche Modellbetrieb bleibt vollständig lokal.

Die Desktop- und Engine-Ebene pflegte im September 2026 Hardware- und Modellabdeckung. LM Studio ergänzte mit Version 0.4.24 vom 9. September erweiterte llama.cpp-Argument-Überschreibungen beim Laden von GGUF-Modellen und mit Version 0.4.25 vom 19. September die Splash-Engine als experimentelles Backend auf Apple Silicon M3 oder neuer. llama.cpp pflegte in fortlaufenden Builds die Modellabdeckung, darunter Unterstützung für das offene MoE-Modell GLM-5.3-Flash. Betroffen sind die Kriterien Hardware-Anforderungen und -Auslastung sowie Bedienbarkeit und Administration.

Rangverlauf

April–September 2026

Rangverlauf der aktuellen Top-Tools über die letzten Monate Ollama 0.35.0 aktuell Rang 1; vLLM 0.30.0 aktuell Rang 2; llama.cpp aktuell Rang 3; LM Studio 0.4.25 aktuell Rang 4; SGLang 0.5.20 aktuell Rang 5. Ollama 0.35.0 · April 2026 · Rang 1 – Bleibt auf Rang 1 wie in der Vorausgabe; die April-Recherche ergab keine datierte Verschiebung an der Spitze der Kategorie. Ollama 0.35.0 · Mai 2026 · Rang 1 – Bleibt auf Rang 1 wie in der Vorausgabe; die Mai-Recherche ergab trotz dichter Release-Kadenz keine datierte Verschiebung an der Spitze der Kategorie. Ollama 0.35.0 · Juni 2026 · Rang 1 – Bleibt auf Rang 1 wie in der Vorausgabe; die Juni-Recherche ergab trotz dichter Release-Kadenz keine datierte Verschiebung an der Spitze der Kategorie. Ollama 0.35.0 · Juli 2026 · Rang 1 – Bleibt auf Rang 1 wie in der Vorausgabe; die Juli-Recherche ergab trotz dichter Release-Kadenz keine datierte Verschiebung an der Spitze der Kategorie. Ollama 0.35.0 · August 2026 · Rang 1 – Bleibt auf Rang 1 wie in der Vorausgabe; die August-Recherche ergab trotz der neuen Version 0.33 keine datierte Verschiebung an der Spitze der Kategorie. Ollama 0.35.0 · September 2026 · Rang 1 – Bleibt auf Rang 1 wie in der Vorausgabe; die neuen Versionen bis 0.35.0 erweitern Integration und Schnittstellen, verschieben die Spitze der Kategorie aber nicht. O 1Ollama0.35.0 vLLM 0.30.0 · April 2026 · Rang 2 – Rang 2 unverändert gegenüber der Vorausgabe; die April-Releases verstärken das Werkzeug, verschieben die relative Ordnung an der Spitze aber nicht. vLLM 0.30.0 · Mai 2026 · Rang 2 – Rang 2 unverändert gegenüber der Vorausgabe; die beiden Mai-Releases verstärken das Werkzeug, verschieben die relative Ordnung an der Spitze aber nicht. vLLM 0.30.0 · Juni 2026 · Rang 2 – Rang 2 unverändert gegenüber der Vorausgabe; die beiden Juni-Releases verstärken das Werkzeug, verschieben die relative Ordnung an der Spitze aber nicht. vLLM 0.30.0 · Juli 2026 · Rang 2 – Rang 2 unverändert gegenüber der Vorausgabe; die Juli-Releases verstärken das Werkzeug, verschieben die relative Ordnung an der Spitze aber nicht. vLLM 0.30.0 · August 2026 · Rang 2 – Rang 2 unverändert gegenüber der Vorausgabe; die August-Versionen 0.27.0, 0.27.1 und 0.28.0 verstärken das Werkzeug, verschieben die relative Ordnung an der Spitze aber nicht. vLLM 0.30.0 · September 2026 · Rang 2 – Rang 2 unverändert gegenüber der Vorausgabe; die September-Versionen 0.29.0 und 0.30.0 verstärken das Werkzeug, verschieben die relative Ordnung an der Spitze aber nicht. V 2vLLM0.30.0 llama.cpp · April 2026 · Rang 3 – Rang 3 unverändert gegenüber der Vorausgabe; an der relativen Position hat sich im April nichts geändert. llama.cpp · Mai 2026 · Rang 3 – Rang 3 unverändert gegenüber der Vorausgabe; die Mai-Neuerungen erweitern die Modellunterstützung, ändern die relative Position in der Kategorie jedoch nicht. llama.cpp · Juni 2026 · Rang 3 – Rang 3 unverändert gegenüber der Vorausgabe; die fortlaufenden Juni-Builds erweitern die Modell- und Plattformabdeckung, ändern die relative Position in der Kategorie jedoch nicht. llama.cpp · Juli 2026 · Rang 3 – Rang 3 unverändert gegenüber der Vorausgabe; die fortlaufenden Juli-Builds erweitern die Modell- und Plattformabdeckung, ändern die relative Position in der Kategorie jedoch nicht. llama.cpp · August 2026 · Rang 3 – Rang 3 unverändert gegenüber der Vorausgabe; die fortlaufenden August-Builds erweitern die Hardware- und Modellabdeckung, ändern die relative Position in der Kategorie jedoch nicht. llama.cpp · September 2026 · Rang 3 – Rang 3 unverändert gegenüber der Vorausgabe; die fortlaufenden September-Builds erweitern die Hardware- und Modellabdeckung, ändern die relative Position in der Kategorie jedoch nicht. L 3llama.cpp LM Studio 0.4.25 · April 2026 · Rang 4 – Rang 4 unverändert gegenüber der Vorausgabe; die April-Versionen ändern die relative Ordnung gegenüber den Server-Engines nicht. LM Studio 0.4.25 · Mai 2026 · Rang 4 – Rang 4 unverändert gegenüber der Vorausgabe; die Mai-Versionen 0.4.13 und 0.4.14 ändern die relative Ordnung gegenüber den Server-Engines nicht. LM Studio 0.4.25 · Juni 2026 · Rang 4 – Rang 4 unverändert gegenüber der Vorausgabe; die Juni-Versionen von 0.4.15 bis 0.4.18 stärken den Mehr-GPU-Betrieb, ändern die relative Ordnung gegenüber den Server-Engines aber nicht. LM Studio 0.4.25 · Juli 2026 · Rang 4 – Rang 4 unverändert gegenüber der Vorausgabe; die Juli-Versionen bis 0.4.20 ergänzen einen integrierten Agenten und Unternehmens-Endpunkte, ändern die relative Ordnung gegenüber den Server-Engines aber nicht. LM Studio 0.4.25 · August 2026 · Rang 4 – Rang 4 unverändert gegenüber der Vorausgabe; die August-Versionen bis 0.4.23 ergänzen Unternehmens-Endpunkte und spekulative Dekodierung, ändern die relative Ordnung gegenüber den Server-Engines aber nicht. LM Studio 0.4.25 · September 2026 · Rang 4 – Rang 4 unverändert gegenüber der Vorausgabe; die September-Versionen bis 0.4.25 ergänzen Engine- und Ladeoptionen, ändern die relative Ordnung gegenüber den Server-Engines aber nicht. L 4LM Studio0.4.25 SGLang 0.5.20 · April 2026 · Rang 5 – Rang 5 unverändert gegenüber der Vorausgabe; im April ergab sich keine kriterienrelevante Verschiebung der Position. SGLang 0.5.20 · Mai 2026 · Rang 5 – Rang 5 unverändert gegenüber der Vorausgabe; im Berichtsmonat ergab sich keine datierte, kriterienrelevante Verschiebung der Position. SGLang 0.5.20 · Juni 2026 · Rang 5 – Rang 5 unverändert gegenüber der Vorausgabe; im Berichtsmonat ergab sich keine datierte, kriterienrelevante Verschiebung der Position. SGLang 0.5.20 · Juli 2026 · Rang 5 – Rang 5 unverändert gegenüber der Vorausgabe; die Juli-Version 0.5.16 vom 25. Juli ergänzt das DSpark-Verfahren zur spekulativen Dekodierung und die Unterstützung des Inkling-Modells, ergibt aber keine datierte Verschiebung der relativen Position. SGLang 0.5.20 · August 2026 · Rang 5 – Rang 5 unverändert gegenüber der Vorausgabe; die August-Versionen 0.5.17 und 0.5.18 ergänzen DeepSeek-V4-Beschleunigungen und einen schnelleren Modellstart, ergeben aber keine datierte Verschiebung der relativen Position. SGLang 0.5.20 · September 2026 · Rang 5 – Rang 5 unverändert gegenüber der Vorausgabe; die September-Versionen 0.5.19 und 0.5.20 ergänzen Beam-Search, Durchsatz-Optimierungen und neue Modelle, verschieben die relative Position aber nicht. S 5SGLang0.5.20
Watchlist
  • Menlo ResearchJan
  • LocalAI
Rangverlauf je Tool über die letzten Monate
ToolApril 2026Mai 2026Juni 2026Juli 2026August 2026September 2026
Ollama 0.35.0111111
vLLM 0.30.0222222
llama.cpp333333
LM Studio 0.4.25444444
SGLang 0.5.20555555

Aktuelles Ranking

  1. Ollama 0.35.0

    Tendenz: unverändert

    • Breite Modell-Unterstützung über das GGUF-Format mit integrierter Verwaltung zum Herunterladen und Versionieren lokaler Modelle.
    • Lokale, OpenAI-kompatible Programmierschnittstelle bindet bestehende Anwendungen vollständig offline an.
    • Geringer Einrichtungs- und Pflegeaufwand, dadurch auch ohne tiefes Technikwissen auf eigener Hardware betreibbar.
    • Version 0.34.0 vom 5. September 2026 ermöglichte die Nutzung lokaler Ollama-Modelle in ChatGPT Desktop; Version 0.35.0 vom 28. September 2026 führte Entscheidungsmodelle über einen neuen /v1/systemone-Endpunkt für Klassifikationsaufgaben ein.
    Zum Anbieter

  2. vLLM 0.30.0

    Tendenz: unverändert

    • Auf hohen Durchsatz im Mehr-Nutzer-Betrieb ausgelegt durch kontinuierliches Batching und die PagedAttention-Speicherverwaltung.
    • Verteilte Inference über Tensor- und Pipeline-Parallelismus auf mehreren GPUs, geeignet vom Einzelserver bis zum Cluster.
    • Version 0.29.0 vom 9. September 2026 macht den Model Runner V2 zum Standard für alle Modelle und ergänzt Unterstützung für Qwen3.8-Flash-Next, Tencent Hy4-preview und NemotronH-Omni sowie Optimierungen für Kimi K3 und DeepSeek V4. Version 0.30.0 vom 22. September 2026 ergänzt Unterstützung für DeepSeek-V4.1-Flash und GLM-5.3-Flash sowie einen optionalen Schnellstart, bei dem ein dauerhafter Cache die Modellgewichte im Grafikspeicher hält, sodass Neustarts ohne erneutes Laden von der Festplatte auskommen.
    • Stellt einen OpenAI-kompatiblen Server bereit und bleibt vollständig self-hosted und offline betreibbar.
    Zum Anbieter

  3. llama.cpp

    ggml.ai Tendenz: unverändert

    • Sehr breite Hardware-Unterstützung von reiner CPU über NVIDIA-, AMD- und Intel-GPUs bis Apple-Metal, dadurch auf nahezu jeder Maschine lauffähig.
    • Effiziente Ausführung quantisierter Modelle im GGUF-Format mit geringem Arbeitsspeicherbedarf.
    • Fortlaufende Build-Releases im September 2026 pflegten die Hardware- und Modellabdeckung weiter; Build b11279 vom 30. September 2026 ergänzte Unterstützung für das offene MoE-Modell GLM-5.3-Flash.
    • Bildet als Inference-Engine die Grundlage mehrerer Desktop-Runtimes und ist vollständig offline betreibbar.
    Zum Anbieter

  4. LM Studio 0.4.25

    Tendenz: unverändert

    • Grafische Oberfläche für Auswahl, Download und Verwaltung lokaler Modelle, dadurch besonders einsteigerfreundlich.
    • Stellt einen lokalen, OpenAI-kompatiblen Server bereit und ist vollständig offline betreibbar.
    • Version 0.4.24 vom 9. September 2026 ergänzte erweiterte llama.cpp-Argument-Überschreibungen beim Laden von GGUF-Modellen und verbesserte die Heuristik der DSpark- und DFlash-Drafter.
    • Version 0.4.25 vom 19. September 2026 ergänzte die Splash-Engine von Inco AI als experimentelles Backend für Apple Silicon M3 oder neuer unter macOS 26.4 oder neuer; sie unterstützt bislang zwei Qwen-Modelle.
    Zum Anbieter

  5. SGLang 0.5.20

    sgl-project Tendenz: unverändert

    • Auf hohen Durchsatz ausgelegte Server-Inference-Engine mit RadixAttention zur automatischen Wiederverwendung des KV-Caches.
    • Besonders effizient bei mehrstufigen Dialogen und RAG-Abläufen mit gemeinsamen Prompt-Präfixen.
    • Unterstützt Tensor-Parallelismus über mehrere GPUs und einen OpenAI-kompatiblen Endpunkt für die Anbindung.
    • Version 0.5.19 vom 5. September 2026 ergänzte Beam-Search im Inference-Server, einen W4A8-MoE-Pfad auf Hopper (DeepSeek-V4-Flash laut Projektangabe rund 12 Prozent mehr Ausgabedurchsatz) sowie einen persistenten Lean-Kernel für AMD-Beschleuniger. Version 0.5.20 vom 18. September 2026 ergänzte Unterstützung für GLM-5.3-Flash, Tencent Hy4-preview und Qwen3.8-Flash-Next; seit dieser Version erscheinen keine Pakete und Container-Images für CUDA 12 mehr.
    Zum Anbieter

Methodik & Transparenz

Diese Rankings dienen der Marktorientierung. Sie sind ein redaktioneller, kostenloser Überblick auf Basis öffentlich verfügbarer Quellen, keine abschließende oder absolute Bewertung. Jede Ausgabe ist eine Momentaufnahme; der Markt verändert sich schnell, und die Auswahl erhebt keinen Anspruch auf Vollständigkeit. Bewertet wird ausschließlich anhand der je Kategorie veröffentlichten Kriterien; ein eigener Labortest findet nicht statt. Die vergleichende Einordnung ist unsere redaktionelle Meinung, keine Tatsachenbehauptung über die Eignung einzelner Produkte, und sie wertet keinen Anbieter pauschal ab. Sie ersetzt keine eigene Prüfung. Stand: 01.10.2026.

Bei Recherche und Zusammenfassung kommen KI-Technologien zum Einsatz. Auswahl, Einordnung und Veröffentlichung werden von einer Person geprüft, freigegeben und redaktionell verantwortet. Genannte Produkt-, Marken- und Unternehmensnamen sind Eigentum der jeweiligen Inhaber; ihre Nennung dient allein der Information und Identifikation und bedeutet weder eine Empfehlung noch eine geschäftliche Verbindung zu diesen Anbietern. FORGEINITY hostet oder vervielfältigt keine fremden Inhalte, sondern verweist auf die Originalquellen.

Soweit wir auf externe Seiten verlinken, sind für deren Inhalte ausschließlich die jeweiligen Betreiber verantwortlich. Wir machen uns verlinkte Inhalte nicht zu eigen und übernehmen für sie keine Haftung; zum Zeitpunkt der Verlinkung waren keine Rechtsverstöße erkennbar, und bei Kenntnis einer Rechtsverletzung entfernen wir den betreffenden Link unverzüglich. Unabhängigkeit: Kein Anbieter hat für Platzierung oder Bewertung bezahlt; es bestehen keine Provisions-, Affiliate- oder Werbevereinbarungen. FORGEINITY arbeitet technologie-offen und bewertet ausschließlich anhand der veröffentlichten Kriterien. Alle Angaben erfolgen ohne Gewähr; eine Haftung für Richtigkeit, Vollständigkeit oder für Entscheidungen, die auf Grundlage dieser Rankings getroffen werden, ist ausgeschlossen.

Rechteinhaber, Betroffene und Dritte können eine Korrektur oder Entfernung einzelner Angaben unter legal@forgeinity.com anfragen oder einen rechtswidrigen verlinkten Inhalt melden. Wir prüfen berechtigte Hinweise und reagieren zeitnah.

Bewertet wird anhand dieser Kriterien:

  1. Datensouveränität und Offline-Betrieb (bewertet, ob die Verarbeitung vollständig auf eigener Hardware ohne Cloud-Verbindung läuft und keine Unternehmensdaten das Haus verlassen)
  2. Modell-Unterstützung (bewertet, wie breit das Spektrum lauffähiger Sprachmodelle, offener Modell-Formate und Quantisierungs-Varianten ist)
  3. Inference-Geschwindigkeit (bewertet das Antwort-Tempo in Tokens pro Sekunde und die Effizienz quantisierter Modelle auf gegebener Hardware)
  4. Hardware-Anforderungen und -Auslastung (bewertet, welche Hardware-Klasse für den Betrieb nötig ist und wie gut CPU, GPU und Arbeitsspeicher genutzt werden)
  5. Stabilität und Betriebsreife (bewertet die Zuverlässigkeit im Dauerbetrieb und die Eignung für den produktiven Einsatz im Unternehmen)
  6. Bedienbarkeit und Administration (bewertet Einrichtung, Bedienoberfläche und den laufenden Pflegeaufwand für Modelle und Updates)
  7. Integrationsfähigkeit (bewertet die lokale API-Bereitstellung, die Kompatibilität zu verbreiteten API-Standards und die Anbindung an bestehende Systeme)
  8. Erweiterbarkeit und Agenten-Unterstützung (bewertet, wie gut Werkzeug-Anbindung über offene Standards wie das Model Context Protocol (MCP), Plugins und mehrstufige KI-Abläufe unterstützt werden)