KI-Kosten beim Programmieren: gleiches Testergebnis, 4,6-facher Preis

Wenn in deinem Betrieb etwas Wichtiges gebaut wird, kennst du das Muster vermutlich aus der Werkstatt: Der erfahrenste Kopf plant, jemand Günstigeres führt aus, am Ende nimmt der Erfahrene ab. Meister plant, Geselle macht, Meister prüft. Seit es leistungsfähige KI-Modelle in verschiedenen Preisklassen gibt, liegt die Frage nahe, ob dieses Muster auch dort die Qualität hebt. Und was es kostet. Wir haben es gemessen.

So sah die Messung aus

Drei Konfigurationen traten gegeneinander an. Claude Fable 5, das teuerste Modell im Feld, löste die Aufgaben allein. Claude Sonnet 5, deutlich günstiger, löste sie ebenfalls allein. Und dazwischen das Gespann: Fable erstellt den Plan und prüft am Ende, Sonnet implementiert und darf Rückfragen stellen. Dieses Meister-Gesellen-Muster ist unsere eigene Umsetzung, kein Verfahren des Anbieters.

In Teil 1 haben wir die beiden Muster beschrieben, die Anthropic selbst empfiehlt, samt der Zahlen des Anbieters. Nachgemessen haben wir hier bewusst unsere eigene Variante. Unsere Zahlen sind deshalb kein Test dieser Anbieterangaben.

Die zwei Aufgaben kommen aus dem KMU-Alltag. Aufgabe 1 ist ein Parser für Buchungsexporte mit allem, was solche Dateien gemein macht: Umlaute in zwei Kodierungen, Dezimalkomma, die nachgestellte Minusnotation aus der DATEV-Welt. Aufgabe 2 ist eine Kundendatenschicht mit einem Änderungsprotokoll, das Manipulationen erkennbar macht, und einer DSGVO-Löschung, die keine Spuren in der Datei zurücklassen darf.

Jede Konfiguration lief dreimal je Aufgabe, insgesamt 18 Messläufe. Bewertet wurde mit Tests, die die Modelle nie zu sehen bekamen (16 für Aufgabe 1, 20 für Aufgabe 2), dazu statische Analyse mit bandit, ruff und mypy sowie ein Lizenz-Check der Abhängigkeiten. Erwartungen und Bewertungsregeln standen vor dem ersten bezahlten Lauf schriftlich fest und wurden eingefroren. Die ganze Messung kostete 14,01 US-Dollar an API-Gebühren.

Das Ergebnis ist ein Gleichstand mit Preisschild

Alle 18 Läufe bestehen alle versteckten Tests. 324 von 324, ohne Ausnahme, in jeder Konfiguration. Die Qualitätsspalte dieser Messung ist damit schnell erzählt. Die Preisspalte nicht.

Über alle sechs Läufe gerechnet kostete das Gespann das 4,6-fache von Sonnet solo. Auf der leichteren Aufgabe war der Abstand am größten: bis zum 5,4-fachen Preis für dasselbe Testergebnis. Zur Einordnung gehört die Reichweite dieser Zahlen: drei Läufe je Zelle, zwei Aufgaben, ein Messzeitpunkt im Juli 2026. Mehr behaupten wir nicht.

Der Meister hat fünfmal durchgewinkt und einmal geliefert

Der interessanteste Blick geht in das Innere des Gespanns.

In sechs Läufen stellte der Geselle nicht eine einzige Rückfrage, obwohl er drei pro Lauf gehabt hätte. Fünfmal gab der Meister den Code im ersten Review frei.

Einmal griff er ein, und dieser eine Eingriff hatte Substanz: Er fand eine Wettlaufsituation in der Prüffunktion des Änderungsprotokolls. Die Implementierung las die Protokolleinträge und den Prüfanker in zwei getrennten Schritten; ein paralleler Schreibzugriff dazwischen konnte einen falschen Alarm auslösen. Genau diese Art Fehler können unsere versteckten Tests nicht zuverlässig auslösen. Der Review-Schritt sah hier etwas, das Tests nicht sehen.

Die Gegenrechnung gehört daneben: Drei Typfehler und drei Stilbefunde der statischen Analyse passierten dieselben Reviews unbeanstandet. Fable solo blieb als einzige Konfiguration in allen Läufen ohne jeden Scanner-Befund.

Was nicht eingetreten ist, gehört ins Ergebnis

Vor der Messung hatten wir schriftlich erwartet, dass Sonnet solo auf der schwereren Aufgabe messbar Punkte lässt. Das trat dreimal nicht ein, obwohl wir die Aufgabe nach einem Pilotlauf noch um einen Härtungstest erweitert hatten. Für genau diesen Ausgang stand vorab eine Regel fest: Wenn die Tests nicht zwischen den Konfigurationen unterscheiden, folgt keine Qualitätsempfehlung. Also folgt hier keine. Der Befund dahinter ist trotzdem einer: Beide Modelle liegen über dem Schwierigkeitsgrad dieser Aufgabenklasse, die vor einem Jahr noch als anspruchsvoll galt.

Beobachtungen am Rande

Alle neun Lösungen der Datenschutzaufgabe aktivierten von sich aus das sichere Löschen von SQLite, ohne dass die Aufgabenstellung das verlangte. Die wenigen Scanner-Befunde haben zwei wiederkehrende Wurzeln, eine veraltete Zeitzonen-Schreibweise und einen ungeprüften Datenbank-Rückgabewert. Beide Fehler sind uns beim Bau des Messaufbaus in der eigenen Referenzlösung ebenfalls unterlaufen. Und Sonnet verwendete durchgehend den größten Anteil seiner erzeugten Tokens auf das Nachdenken, in der Spitze 80 Prozent.

Was das für dich heißt

Wenn deine Aufgaben so aussehen wie diese zwei, liefert dir die Messung eine klare Auskunft: Die Qualitätsspalte war hier identisch, die Preisspalte nicht. Ob dir ein vorgeschalteter Review-Schritt den Aufpreis wert ist, hängt an deinem Risiko. Der eine Treffer des Meisters war genau die Fehlerart, die durch Tests rutscht.

Für komplexere oder riskantere Arbeit haben wir noch keine Zahlen. Genau dahin geht unsere nächste Messung: unscharfe Anforderungen, die Rückfragen erzwingen, mehrere Dateien statt eines Moduls, Fehler unter Parallelzugriff. Dort vermuten wir die Unterschiede zwischen den Modellen und zwischen solo und Gespann. Ob sie sich zeigen, prüfen wir nach denselben Regeln: Erwartungen vorab, Aufbau eingefroren, Ergebnis veröffentlicht, egal wie es ausfällt. Am Ende entscheidet dein Betrieb. Wir liefern dir die Zahlen dazu.

So wurde gemessen: Modelle claude-fable-5 und claude-sonnet-5 über die API, Standardpreise 10/50 beziehungsweise 3/15 USD je Million Tokens (der bis 31.08.2026 geltende Sonnet-Einführungspreis würde die Sonnet-Kosten weiter senken). 18 Messläufe am 20. und 21.07.2026 in fester Reihenfolge, kein Lauf wiederholt oder aussortiert. Erwartungen vorab schriftlich, Aufbau per SHA-256 eingefroren, Code-Ausführung ausschließlich in einer abgeschotteten Sandbox ohne Netz. Eine Unterbrechung durch einen abgelaufenen API-Schlüssel vor jeder Generierung (null Kosten) wurde dokumentiert und der Lauf neu gestartet. Gesamtkosten 14,01 USD, unabhängig gegen die Abrechnungskonsole geprüft. Das Meister-Gesellen-Muster ist unsere eigene Umsetzung, inspiriert von öffentlich beschriebenen Agenten-Mustern, und kein Verfahren von Anthropic.