Lokale KI im Betrieb: Was auf eigener Hardware realistisch ist
06. November 2026
KI-generiert, redaktionell von 8thsense ausgewählt, geprüft und freigegeben. EU AI Act, Art. 50
Sprachmodelle, die komplett auf dem eigenen Rechner laufen, waren lange eher Bastelprojekt als Werkzeug. Ein ausführlicher Praxistest von c’t 3003 zeigt jetzt, dass sich das verschoben hat: Offene Modelle wie Qwen 3.8-27B liefern auf bezahlbarer Hardware brauchbare Geschwindigkeit und kommen in einzelnen Disziplinen an Cloud-Modelle heran. Für Unternehmen, die mit Gesundheits-, Personal- oder Kundendaten arbeiten, ist lokale KI damit eine ernsthafte Alternative. Billig und wartungsfrei ist sie allerdings nicht.
Was c’t getestet hat
Redakteur Jan-Keno Janssen hat dasselbe Modell auf sehr unterschiedlicher Hardware laufen lassen, von der gängigen Gaming-Grafikkarte bis zum Apple-Spitzenmodell (Quelle: heise.de). Als Basis diente llama.cpp, auf dem auch die bekannten Oberflächen Ollama und LM Studio aufbauen. Die wichtigsten Messwerte für die Textausgabe laut c’t:
Nvidia RTX 4090: 51,1 Token pro Sekunde, schnellster Wert im Test. Gebraucht kostet die Karte laut c’t aktuell rund 4000 Euro.
Mac Studio mit M5 Ultra: bei der Ausgabe etwa gleichauf mit der 4090, beim Einlesen langer Texte aber deutlich langsamer. Dafür im Leerlauf unter 5 Watt und nahezu lautlos.
AMD Radeon RX 9070 XT (16 GB): 34,4 Token pro Sekunde, laut c’t rund 920 Euro. Das Modell passt nur knapp in den Speicher, der Kontext ist auf etwa 8000 Token begrenzt.
AMD Strix Halo (Ryzen AI Max+ 395, 128 GB): 13,3 Token pro Sekunde, mit Tricks wie spekulativem Dekodieren beim Programmieren über 40. Preis laut c’t unter 4000 Euro.
Nur Prozessor und Arbeitsspeicher: so langsam, dass es laut Test eigentlich nur für Aufgaben über Nacht taugt.
Wie nah ist das an der Cloud?
Hier lohnt der Blick in die Modellkarte von Qwen 3.8-27B (Quelle: huggingface.co). Der Hersteller vergleicht sein Modell direkt mit Claude Opus 4.6, im Frühjahr 2026 das führende Cloud-Modell. Das Bild ist gemischt: Bei Programmieraufgaben (SWE-bench Pro, LiveCodeBench) und der Bedienung von Computern (OSWorld) liegt Qwen vorn, bei anspruchsvollem Fachwissen und logischem Schließen (GPQA, HLE) sowie bei Terminal-Aufgaben liegt Opus vorn. Wichtig: Das sind Herstellerangaben, eine unabhängige Bestätigung steht laut Yotta Labs noch aus (Quelle: yottalabs.ai). Und die aktuellen Cloud-Spitzenmodelle sind seitdem weitergezogen. Lokale KI erreicht also ungefähr das Niveau, das die Cloud vor einigen Monaten hatte. Für viele Büroaufgaben reicht das, für die schwierigsten Analysen nicht immer.
Der Datenschutz-Vorteil und seine Grenzen
Das stärkste Argument für lokale Modelle ist, dass Eingaben das Haus nicht verlassen. Die Datenschutzkonferenz hat in ihrer Orientierungshilfe vom Mai 2024 laut Zusammenfassung der IT-Recht Kanzlei geschlossene KI-Systeme gegenüber offenen bevorzugt, weil bei offenen Systemen Anbieter und Dritte Daten in einer Weise verarbeiten können, die das Unternehmen nicht mehr kontrolliert (Quelle: it-recht-kanzlei.de). Ein lokales Modell ist aber nicht automatisch DSGVO-konform. Zugriffsrechte, Protokollierung, technische und organisatorische Maßnahmen und der Eintrag ins Verarbeitungsverzeichnis bleiben Pflicht. Ein Vorteil auf der Lizenzseite: Qwen 3.8-27B steht unter der Apache-2.0-Lizenz und darf kommerziell genutzt werden.
Wo es in der Praxis hakt
Der c’t-Test benennt die Stolpersteine offen. Wer KI-Agenten einsetzen will, die selbstständig Dateien bearbeiten oder Programme bedienen, braucht laut Test mindestens 60.000 Token Kontext, empfohlen sind 128.000. Das schließt kleine Grafikkarten bei Standardeinstellungen praktisch aus. Für Systeme mit gemeinsamem Speicher empfiehlt c’t mindestens 48 GB, ein Mac mini mit M5 Pro in dieser Ausstattung kostet laut Test 2879 Euro. Dazu kommen Feinheiten wie die richtige Quantisierung (die komprimierte Fassung des Modells), die Wahl des Betriebssystems (unter Linux war die Verarbeitung teils mehr als doppelt so schnell) und Sicherheitsfragen: Agenten können Fehler machen, Dateien löschen oder auf versteckte Anweisungen in Dokumenten hereinfallen. Janssen rät, jeden Schritt zu prüfen. Sein Fazit: Gute Hardware bleibt teuer, perfekte KI auf dem 200-Euro-PC gibt es nicht.
Was das für Unternehmen bedeutet
Für einen Pflegedienst, eine Therapiepraxis oder einen Wohlfahrtsverband, die Gesundheits- und Sozialdaten nicht in fremde Rechenzentren geben wollen, ist ein lokaler KI-Rechner inzwischen eine realistische Option. Rechnen Sie mit 3000 bis 4000 Euro Hardware für ein System, das ein Team bei Zusammenfassungen, Dokumentation oder Texten unterstützt. Zum Vergleich: Ein Cloud-Abo wie Claude Pro kostet laut c’t etwa 18 Euro im Monat pro Person. Wo keine sensiblen Daten im Spiel sind, bleibt die Cloud oft die günstigere und stärkere Wahl. Sinnvoll ist deshalb ein gemischter Ansatz: Sensibles lokal, Unkritisches in der Cloud.
Der eigentliche Aufwand liegt weniger im Kauf als in der Einrichtung. Welches Modell, welche Quantisierung, wie viel Kontext, und vor allem: Wie wird das Modell an Praxissoftware, Dokumentenablage oder CRM angebunden, damit es im Alltag wirklich genutzt wird? Ein isolierter Rechner in der Ecke, den nur eine Person bedienen kann, bringt wenig. Wer klein starten will, wählt einen klar umrissenen Prozess, etwa Arztbriefe oder Gesprächsnotizen zusammenfassen, testet ihn einige Wochen auf einem Gerät und lässt sich bei Bedarf zu KI-Automation und Prozessanbindung beraten, bevor mehr Hardware angeschafft wird.