KI ohne US-Cloud: Was kleine Unternehmen 2026 selbst betreiben können

Stell dir vor, du gibst die Unterlagen deiner Firma einem sehr fähigen Assistenten zum Bearbeiten. Nur sitzt der in einem anderen Land, und solange er arbeitet, gelten dort seine Regeln, nicht deine. So ungefähr ist es, wenn du ChatGPT, Claude oder Gemini im Arbeitsalltag nutzt: Die Werkzeuge sind stark, aber deine Daten verlassen das Haus.

Wie verletzlich einen das macht, hat Mitte Juni jeder gesehen. Auf Anweisung der US-Regierung sperrte Anthropic den Zugang zu seinen stärksten Modellen für alle außerhalb der USA. Zwei Tage vorher hatte das chinesische Labor Zhipu sein eigenes Spitzenmodell GLM-5.2 einfach zum freien Download gestellt. Wer in einem kleinen oder mittleren Betrieb über KI entscheidet, steht damit vor einer Frage: Was machen wir, wenn ein Anbieter den Zugang von heute auf morgen abdreht?

Die naheliegende Antwort heißt: KI selbst betreiben, auf eigener Hardware, ohne dass Daten das Haus verlassen. In diesem Artikel schauen wir uns an, was davon für einen Mittelständler 2026 funktioniert – und wo der Aufwand am Ende größer ist als der Nutzen.

Warum das Thema gerade jetzt hochkommt

GLM-5.2 ist ein großes Modell: rund 744 Milliarden Parameter, davon etwa 40 Milliarden je Anfrage aktiv, und ein Gedächtnis von einer Million Token. In unabhängigen Tests gehört es zu den stärksten frei verfügbaren Modellen, nur knapp hinter den geschlossenen US-Spitzenmodellen.

Klingt nach der perfekten eigenen Lösung – bis du auf die Hardware schaust. Um GLM-5.2 selbst laufen zu lassen, brauchst du eine Handvoll Rechenzentrums-GPUs der Klasse H200. Das steht in keinem Serverraum eines 30-Personen-Betriebs. GLM-5.2 ist deshalb vor allem ein Zeichen dafür, wohin die Reise geht – nicht die Lösung für deinen Betrieb. Die Frage, die dich wirklich weiterbringt, ist eine andere: Welche offenen Modelle laufen auf Hardware, die du tatsächlich besitzt?

Was heißt überhaupt „DSGVO-konform"?

Halten wir eine Sache fest, die viel Verwirrung wegnimmt: „DSGVO-konform" ist nichts, was ein Modell von sich aus ist. Kein Modell ist konform oder unkonform. Entscheidend ist, wo deine Daten verarbeitet werden, unter wessen Recht und mit welchem Vertrag. Daraus ergeben sich grob drei Wege:

• US-Cloud (ChatGPT, Claude, Gemini): Deine Daten gehen in die USA. Mit Auftragsverarbeitungsvertrag und Standardvertragsklauseln machbar, aber mit Restrisiko durch den US CLOUD Act.
• In der EU gehostet: dieselben oder offene Modelle, betrieben in einer EU-Region – etwa AWS Frankfurt, Azure EU oder europäische Anbieter wie IONOS, OVHcloud oder Aleph Alpha. Wenig Aufwand, gute Datenlage.
• Selbst gehostet (lokal): offene Modelle auf deiner eigenen Hardware. Die Daten verlassen dein Haus nie. Das ist die stärkste Position, die es gibt.

Und ein Begriff, der auf einem Prüfstand dazugehört: „Open Weight" ist nicht dasselbe wie „Open Source". Veröffentlicht werden meist nur die fertigen Gewichte des Modells (oft unter Apache-2.0- oder MIT-Lizenz), nicht die Trainingsdaten und nicht das ganze Rezept. Du darfst das Modell frei nutzen, anpassen und kommerziell einsetzen – aber nicht nachvollziehen, wie es trainiert wurde.

Welche Modelle passen auf welche Hardware?

Eine Faustregel vorweg: Bei den großen Modellen wird gern mit den „aktiven" Parametern geworben, aber in den Speicher müssen alle passen, nicht nur die aktiven. Eine 4-Bit-Quantisierung drückt den Bedarf grob auf ein Viertel, kostet aber etwas Genauigkeit. Damit ergeben sich vier ehrliche Stufen:

Stufe 0 – der Laptop, den du schon hast (nur CPU). Modelle bis etwa 4 Milliarden Parameter, zum Beispiel die kleinen Gemma-4- oder Qwen-Varianten. Läuft, aber langsam. Gut zum Ausprobieren, nicht für den produktiven Einsatz.

Stufe 1 – eine Consumer-Grafikkarte (16–24 GB), ein Mac oder ein Jetson. Modelle bis etwa 12 Milliarden Parameter in 4-Bit, zum Beispiel Gemma 4 12B oder Qwen 3.5 9B. Reicht für einzelne interne Werkzeuge.

Stufe 2 – eine Workstation, ein Mac Studio oder eine 48–80-GB-Karte. Modelle im Bereich 26 bis 35 Milliarden Parameter, etwa Gemma 4 26B/31B oder Qwen 3.6-35B-A3B. Hier wird ernsthafter Abteilungseinsatz möglich. Das ist für die meisten KMU die sinnvolle Obergrenze.

Stufe 3 – Server, mehrere GPUs, Rechenzentrum. Modelle von 200 bis 750 Milliarden Parametern, etwa Llama 4 Maverick, GLM-5.2 oder das große Ornith. Das ist Sache von IT-Dienstleistern, selten etwas, das ein KMU selbst aufbaut.

Der gute Bereich für dich liegt auf Stufe 1 und 2: ein quantisiertes Modell zwischen 7 und 35 Milliarden Parametern auf einer einzelnen guten Grafikkarte. Alles jenseits der 100 Milliarden ist Rechenzentrum – egal, wie frei die Lizenz ist.

Welches Modell für wen?

Gemma 4 (Google, seit 2. April 2026) ist für den Mittelstand der sauberste Einstieg. Es steht erstmals in der Gemma-Reihe unter der vollständig freien Apache-2.0-Lizenz, ohne Nutzer-Obergrenzen und ohne Sonderbedingungen. Es gibt es in Größen von 2 bis 31 Milliarden Parametern, es spricht über 140 Sprachen inklusive solidem Deutsch, und ein 4-Bit-Modell läuft auf einer Karte der RTX-4090-Klasse. Google selbst bewirbt Gemma 4 ausdrücklich mit „digitaler Souveränität" und Datenkontrolle.

Qwen 3.6 (Alibaba, seit April 2026) ist die Wahl, wenn Leistung pro Euro zählt. Das Modell Qwen 3.6-35B-A3B (35 Milliarden gesamt, nur rund 3 davon aktiv, Apache 2.0) läuft auf einer einzelnen Consumer-GPU und schlägt Gemma 4 in einzelnen Tests. Eine deutsche KI-Beratung empfiehlt genau dieses Modell für DSGVO-konformes Selbst-Hosting im DACH-Raum.

Bleibt die unbequeme Frage: Sind Modelle aus China ein Problem? Als Cloud-Dienst ja – dann gilt chinesisches Recht, und genau deshalb empfehlen wir chinesische Cloud-Angebote nicht. Wenn du die offenen Gewichte aber selbst hostest, verlassen deine Daten dein Haus nicht; die Frage nach dem Recht eines anderen Landes fällt weitgehend weg. Übrig bleibt, ob du den Gewichten selbst vertraust. Wer jede Berührung mit China ausschließen will, fährt mit Gemma 4 von Google gut.

Llama 4 (Meta) war lange der Standardeinstieg, ist 2026 aber das schwächere Pferd. Meta hat sich mit dem geschlossenen Muse Spark (April 2026) Richtung proprietär bewegt; die aktuelle offene Generation ist immer noch Llama 4 aus April 2025. Die Lizenz ist enger als Apache 2.0 (keine echte Open-Source-Lizenz, Pflichthinweis „Built with Llama", Sonderregeln ab 700 Millionen Nutzern). Und für Firmen mit Sitz in der EU sind die Bildfunktionen von Llama 4 ausgeschlossen. Für ein EU-KMU ist das ein konkreter Nachteil gegenüber Gemma und Qwen.

Noch ein Hinweis, aber keine Empfehlung: Ornith-1.0 vom Forschungslabor DeepReinforce (veröffentlicht am 25. Juni 2026, MIT-Lizenz, 9 bis 397 Milliarden Parameter) ist technisch spannend – das Modell lernt sein eigenes Lösungs-Gerüst, und die kleinen Varianten kannst du selbst hosten. Aber es ist ein Feintuning von Gemma 4 und Qwen 3.5, erst wenige Tage alt, und bisher gibt es nur Zahlen vom Hersteller selbst. Auf einem Prüfstand ordnen wir das als Entwicklung ein, empfehlen es aber noch nicht.

Was lokale KI nicht löst

Selbst hosten ist kein Selbstläufer. Das übernimmst du dabei gleich mit:

• Den Betrieb. Du wirst dein eigenes Technik-Team: Updates, Quantisierung, Überwachung, Ausfallsicherheit.
• Den Qualitätsabstand. Ein Modell mit 9 bis 35 Milliarden Parametern ist nicht GPT-5.5 oder Claude Opus 4.8. Für interne Standardaufgaben reicht es, für die schwersten nicht.
• Strom und Gesamtkosten. Statt eines Token-Preises zahlst du Hardware und Strom. Das rechnet sich erst ab einer gewissen Menge.
• Die Verantwortung. Selbst zu betreiben befreit dich nicht von den Pflichten aus dem EU AI Act. Für das, was das Modell ausgibt, stehst du gerade.
• Die Sicherheit. Patches und Zugriffsrechte liegen bei dir. Eine schlecht abgesicherte Box im eigenen Haus kann schlechter sein als eine sauber vertraglich geregelte EU-Cloud.

Was du jetzt tun kannst

Für die meisten KMU ist der ehrliche Rat: Fang mit einem in der EU gehosteten Angebot an. Wenig Aufwand bei guter Datenlage. Vollständig selbst hosten lohnt sich erst, wenn drei Dinge zusammenkommen – du hast eine echte Geheimhaltungs- oder Datenpflicht, du hast genug Menge, um die Hardware zu rechtfertigen, und du hast jemanden im Haus, der den Betrieb stemmt.

Wenn du es ohne Risiko ausprobieren willst: Installier dir ein 4-Bit-Modell wie Gemma 4 12B oder Qwen 3.5 9B über Ollama auf einer Maschine mit 16 GB RAM. Kostet nichts, die Daten bleiben bei dir, und für erste interne Tests ist es gut genug. Was du nicht tun solltest, ist mit dem Flaggschiff GLM-5.2 anzufangen. Das ist Rechenzentrum und geht am echten Bedarf eines KMU vorbei.

Am Ende hängt die richtige Antwort von deinem Betrieb ab. Aber du musst nicht zwischen „alles in die US-Cloud" und „eigenes Rechenzentrum" wählen. Der Mittelweg – ein offenes Modell, in der EU gehostet oder auf einer einzelnen Karte im eigenen Haus – ist 2026 zum ersten Mal eine ernsthafte Option für ganz normale Mittelständler.

Häufige Fragen

Welche KI ist DSGVO-konform? Keine pauschal. Ob etwas konform ist, hängt vom Verarbeitungsort und vom Vertrag ab, nicht vom Modell. Selbst gehostete offene Modelle bieten dabei die beste Datenlage.

Welche Hardware brauche ich für ein lokales LLM? Für ein quantisiertes Modell mit 7 bis 12 Milliarden Parametern reicht eine Maschine mit rund 16 GB. Für 26 bis 35 Milliarden brauchst du eine Workstation-Karte mit 24 GB oder mehr. Alles über 100 Milliarden ist Rechenzentrums-Sache.

Sind Gemma und Qwen wirklich kostenlos kommerziell nutzbar? Die meisten Varianten ja, unter Apache 2.0. Einzelne Qwen-Modelle stehen unter der eigenen Qwen-Lizenz (Sonderregel ab 100 Millionen Nutzern), die kleinsten Forschungsvarianten sind teils nicht für den kommerziellen Einsatz.

Kann ich ChatGPT DSGVO-konform nutzen? Mit Auftragsverarbeitungsvertrag und EU-Einstellungen ist das möglich, die Verarbeitung bleibt aber in US-Recht. Eigenes Hosting vermeidet diesen Punkt grundsätzlich.

Sind chinesische Modelle ein Risiko? Als Cloud-Dienst ja, wegen des Rechts. Selbst gehostet bleibt nur die Frage, ob du den Gewichten vertraust – deine Daten selbst verlassen dein Haus nicht.

Quellen

• Google: Gemma 4 – Ankündigung & Modellkarte (blog.google, ai.google.dev), April/Juni 2026
• Alibaba/Qwen: GitHub QwenLM/Qwen3, Qwen-Lizenzhinweise; innFactory (Rosenheim) zur DACH-Empfehlung, 2026
• Meta: Llama-4-Lizenz und EU-Ausschluss der Bildfunktionen; Berichterstattung zu Muse Spark (April 2026)
• Zhipu/Z.ai: GLM-5.2-Veröffentlichung (13. Juni 2026), Berichterstattung Pandaily / The Decoder / Artificial Analysis
• DeepReinforce: Ornith-1.0 auf Hugging Face (deepreinforce-ai), MarkTechPost (25. Juni 2026)

Einordnung der Risikoklasse und rechtliche Hinweise sind unsere redaktionelle Einschätzung, keine Rechtsberatung.