KI lokal oder aus der Cloud: Wir haben Kosten und Qualität nachgemessen

Stell dir einen Meisterbetrieb vor. Der Meister übernimmt die Arbeiten, die Erfahrung brauchen. Der Azubi erledigt die Routine. So spart der Betrieb Geld, ohne dass die Qualität leidet. In unserem Ratgeber zum Meister-Prinzip haben wir dir diese Idee für KI-Modelle vorgestellt: das teure Spitzenmodell nur für die schweren Fälle, ein kleines günstiges Modell für den Alltag.

Die Idee klingt vernünftig. Aber eine Idee ist noch kein Beleg. Deshalb haben wir nicht recherchiert, sondern gemessen: ein kleines lokales Modell auf eigener Hardware gegen ein aktuelles Cloud-Spitzenmodell, mit echten Alltagsaufgaben, echten Tokenzahlen und einer verblindeten Qualitätsbewertung. Das Ergebnis hat uns an zwei Stellen selbst überrascht.

So haben wir gemessen

Auf der einen Seite: ein Jetson Orin Nano, ein kleiner Rechner mit 8 GB Speicher, wie er bei uns ohnehin läuft. Darauf das offene Modell Qwen 2.5 mit 3 Milliarden Parametern in komprimierter Form. Das ist die Klasse von Modell, die auf solcher Hardware realistisch neben anderen Diensten Platz findet. Unser Azubi.

Auf der anderen Seite: GPT-5.6 über die offizielle Schnittstelle, abgerechnet pro Token. Unser Meister.

Beide bekamen dieselben drei Aufgaben, jede dreimal, mit den Standardeinstellungen beider Systeme. Also so, wie ein kleiner Betrieb sie ohne Feintuning nutzen würde. Die Antworten haben wir anonymisiert und erst bewertet, dann aufgedeckt. Bewertet hat eine Person aus der Redaktion nach drei festen Kriterien: Sprachqualität, Aufgabenerfüllung und die Frage, ob der Text ohne Nacharbeit verwendbar ist. Das ist eine Stichprobe mit klaren Grenzen, kein Labor-Benchmark. Die Details stehen im Methodik-Kasten am Ende.

Die drei Aufgaben

Wir haben Aufgaben gewählt, die in fast jedem kleinen Betrieb vorkommen: eine freundliche Antwort auf eine Kundenreklamation, ein Begleittext zu einem Angebot an einen neuen Geschäftskunden und die Zusammenfassung eines längeren Fachtexts in fünf Sätzen.

Ergebnis 1: Bei der Qualität ist der Abstand deutlich

Das Cloud-Modell hat alle drei Aufgaben mit voller Punktzahl bestanden. Jede Antwort war sprachlich sauber, traf den Ton und wäre ohne Änderung verschickbar gewesen. Bei allen drei Aufgaben lautete das Urteil: verwendbar.

Das lokale Modell hat keine der drei Aufgaben fehlerfrei gelöst.

Die Reklamations-E-Mail war die schwächste Leistung. Der Text erfand Wörter wie „Vertrauensschatz", verlor mitten im Satz den Faden und unterschrieb die E-Mail eines deutschen Handwerksbetriebs ausgerechnet mit „Alibaba Cloud". Das ist kein Zufall: Qwen stammt von Alibaba, und kleine Modelle rutschen manchmal in Muster aus ihrem Training zurück. Urteil: nicht verwendbar.

Der Angebotstext las sich auf den ersten Blick ordentlich, kippte aber in Formulierungen wie „Geschäftspartnerchaft" und „Meine Ziel ist es". Ein Kunde würde solche Fehler bemerken. Urteil: nicht verwendbar.

Die Zusammenfassung war die beste lokale Leistung. Der Inhalt stimmte in weiten Teilen, die Sprache blieb holprig. Als interne Gedankenstütze brauchbar, für die Weitergabe nicht. Urteil: teilweise verwendbar.

Das Muster dahinter ist wichtiger als die Einzelnoten. Sobald ein Text den Betrieb verlässt und ein Kunde ihn liest, fällt jeder Fehler auf dich zurück. Genau dort hat unser Azubi die Prüfung nicht bestanden.

Ergebnis 2: Die Cloud kostet weniger, als viele denken

Hier kommt die erste Überraschung. Wir haben die Tokenzahlen jeder Aufgabe mitgeschrieben und mit der aktuellen Preisliste von OpenAI gerechnet, bewusst mit der teuersten Preisstufe der GPT-5.6-Familie (Anbieterangabe, Stand Juli 2026).

Die Reklamations-E-Mail kostete rund 1,2 US-Cent. Der Angebotstext rund 0,9 US-Cent. Die Zusammenfassung rund 0,8 US-Cent. Alle drei Aufgaben zusammen: keine 3 US-Cent.

Rechnen wir das hoch, und zwar als Modellrechnung, nicht als Messung: Ein Betrieb, der an jedem Arbeitstag 20 solcher Texte erzeugen lässt, kommt auf rund 4.400 Aufgaben im Jahr. Selbst konservativ mit der höchsten Preisstufe gerechnet sind das etwa 40 US-Dollar im Jahr. Das ist weniger, als viele Betriebe im Monat für Kaffee ausgeben.

Damit kippt ein Argument, das oft für lokale KI ins Feld geführt wird: die Kostenersparnis. Unser kleiner Rechner müsste viele Jahre durchlaufen, bis sich allein über eingesparte API-Gebühren auch nur seine Anschaffung rechnet. Bei diesen Aufgabenmengen ist die Cloud schlicht zu billig, als dass Sparen der Grund für lokal sein könnte.

Ergebnis 3: Lokal ist auch nicht schneller

Die zweite Überraschung, zumindest für alle, die bei „lokal" an „direkt und flott" denken. Bei der kurzen E-Mail lagen beide gleichauf, rund 12 Sekunden. Beim Angebotstext brauchte das lokale Modell 22 Sekunden, die Cloud 12. Bei der Zusammenfassung: lokal 19 Sekunden, Cloud 7. Der Weg übers Internet kostet weniger Zeit, als die kleine Hardware beim Rechnen verliert.

Dazu gehört auch eine unbequeme Beobachtung vom Messtag: Auf 8 GB Speicher kämpfte selbst unser kleines Modell um Platz, sobald andere Dienste liefen. Wer lokal ernsthaft arbeiten will, braucht mehr Hardware, als es die Werbebilder vermuten lassen.

Was von der Meister-und-Azubi-Idee übrig bleibt

Heißt das, die Meister-und-Azubi-Idee war falsch? Nein. Aber sie bekommt durch die Messung schärfere Konturen.

Die Arbeitsteilung lohnt sich dort, wo der Azubi seine Aufgaben tatsächlich beherrscht. Unsere Messung zeigt: Ein 3-Milliarden-Modell auf kleiner Hardware beherrscht Kundentexte auf Deutsch nicht. Für interne Zwecke, etwa eine schnelle Zusammenfassung als Gedankenstütze, kann es reichen. Für alles, was ein Kunde liest, reicht es nicht.

Und die Kostenfrage stellt sich bei kleinen Textmengen gar nicht erst. Wenn drei Aufgaben zusammen 3 Cent kosten, gibt es nichts wegzuoptimieren. Die Arbeitsteilung nach Kosten lohnt sich erst bei sehr großen Mengen, etwa wenn eine Software täglich tausende Anfragen verarbeitet. Das ist die Welt, aus der die Idee ursprünglich stammt, und dort gehört sie auch hin.

Warum dann überhaupt lokal? Aus dem Grund, den wir in unserem Ratgeber zu KI ohne US-Cloud ausführlich beschrieben haben: Datenhoheit. Wenn Kundendaten, Personalunterlagen oder Kalkulationen das Haus nicht verlassen sollen, ist lokal der Weg. Das bleibt richtig. Nur bezahlt man dafür nach unserer Messung mit Qualität oder mit deutlich stärkerer Hardware, nicht mit gesparten Cloud-Gebühren.

Unsere Einordnung

Für einen kleinen Betrieb, der gelegentlich Texte erzeugen lässt und keine besonderen Vertraulichkeitsanforderungen hat, ist die Cloud nach dieser Messung die naheliegende Wahl: bessere Qualität, höheres Tempo, Kosten im Bereich von Cents.

Für Betriebe mit strengen Datenschutzanforderungen bleibt lokal attraktiv, aber die Messlatte liegt höher als oft dargestellt. Ein kleines Modell auf kleiner Hardware liefert keine kundentaugliche Qualität. Die spannende Frage ist, ab welcher Modellgröße und Hardwareklasse sich das ändert. Genau das wollen wir in einem Folgebeitrag messen.

Am Ende hängt die richtige Aufteilung von deinem Betrieb ab: davon, welche Texte du erzeugst, wer sie liest und welche Daten dabei im Spiel sind. Aber du entscheidest jetzt mit Zahlen statt mit Bauchgefühl. Dafür haben wir gemessen.

Methodik im Detail

Gemessen am: 13. Juli 2026. Lokales System: Jetson Orin Nano (8 GB), Ollama, Modell qwen2.5:3b-instruct-q4_K_M, Standardeinstellungen, Kontextfenster auf 4.096 Token begrenzt. Cloud-System: GPT-5.6 über die OpenAI-API, Standardeinstellungen, Antwortlimit 4.096 Token. Aufgaben: drei feste deutsche Prompts (Reklamationsantwort, Angebotsbegleittext, Zusammenfassung eines Fachtexts von rund 400 Wörtern), identisch auf beiden Systemen. Wiederholungen: jede Aufgabe dreimal pro System, insgesamt 18 Läufe. Bewertung: Pro Aufgabe und System wurde nach fester Regel der zweite Lauf bewertet. Die sechs Texte wurden anonymisiert, in zufälliger Reihenfolge gelesen und erst nach der Bewertung zugeordnet. Eine Bewertungsperson aus der Redaktion. Einschränkung: Formatierungsmerkmale können das System verraten, eine vollständige Verblindung ist so nicht möglich. Tokenzahlen: direkt aus den Schnittstellen beider Systeme übernommen, nicht geschätzt. Zeiten: lokal als reine Antwortzeit ohne Modell-Ladezeit, Cloud als komplette Antwortzeit inklusive Übertragung. Kosten: berechnet aus den gemessenen Tokenzahlen und der OpenAI-Preisliste (Anbieterangabe, Stand Juli 2026), konservativ mit der höchsten Preisstufe der GPT-5.6-Familie. Lokale Kosten (Anschaffung, Strom) sind bewusst nicht eingerechnet; sie hätten das Ergebnis zugunsten der Cloud weiter verschoben. Grenzen: Eine Stichprobe mit drei Aufgaben, einem lokalen Modell, einer Hardwareklasse und einer Bewertungsperson. Die Ergebnisse zeigen ein deutliches Muster, ersetzen aber keinen breiten Benchmark. Größere lokale Modelle auf stärkerer Hardware können deutlich besser abschneiden. Das ist Gegenstand eines geplanten Folgebeitrags.