Kalifornien prüft Notabschaltung für leistungsstarke KI-Modelle

Kaliforniens Gouverneur Gavin Newsom beruft vier Fachleute für strengere KI-Aufsicht. Sie sollen unabhängige Prüfungen und eine technische Notabschaltung vorbereiten, mit der außer Kontrolle geratene, besonders leistungsstarke, neuartige KI-Modelle zwangsweise gestoppt werden können.

Newsom stellte das Beratungsgremium am 23. September 2026 vor. Ihm gehören Jason Goldman, Gillian Hadfield, Alondra Nelson und Rob Reich an. Die Fachleute arbeiten an der Schnittstelle von Technik, Politik und staatlicher Aufsicht.

Prüfer direkt in KI-Laboren

Kalifornien erwägt, unabhängige Prüforganisationen dauerhaft in Unternehmen für besonders leistungsstarke KI einzubinden. Diese Stellen sollen regelmäßige Kontrollen und Bewertungen durchführen. Außerdem sollen sie Sicherheitskonzepte, Transparenzberichte und Risikobewertungen nach staatlich anerkannten Maßstäben prüfen.

Eine weitere Vorgabe betrifft eine technische Notabschaltung für solche Modelle. Unabhängige Organisationen sollen deren Wirksamkeit fortlaufend kontrollieren. Das Gremium soll außerdem neue Definitionen für kritische Sicherheitsvorfälle ausarbeiten. Dazu zählen Kontrollverluste wie der in der Anordnung genannte Angriff auf Hugging Face.

Zwei Gesetze schneller umsetzen

Newsoms Anordnung weist die Behörde für Regierungsabläufe an, die Umsetzung von SB 813 und AB 1405 zu beschleunigen. SB 813 schafft einen Rahmen für unabhängige Prüforganisationen. AB 1405 richtet ein staatliches Register für KI-Prüfer ein und regelt deren Unabhängigkeit, Transparenz und Integrität.

Bereits 2025 unterzeichnete Newsom mit SB 53 ein Gesetz zur Sicherheit besonders leistungsstarker KI. Entwickler müssen Sicherheitskonzepte veröffentlichen und bestimmte kritische Vorfälle melden. Das Gesetz schützt außerdem Hinweisgeber, die schwerwiegende Risiken offenlegen.

Beratung durch vier Fachleute

Goldman war Produktverantwortlicher bei Google und Twitter sowie erster Digitalbeauftragter des Weißen Hauses. Hadfield lehrt an der Johns Hopkins University. Nelson arbeitet am Institut für Höhere Studien. Reich lehrt an der Stanford University und beriet zuvor das KI-Sicherheitsinstitut der Vereinigten Staaten.

Die Behörde für Regierungsabläufe soll in Abstimmung mit der kalifornischen Katastrophenschutzbehörde Fachleute aus dem ganzen Land zusammenbringen, um Empfehlungen zu entwickeln. Das Beratungsgremium soll dabei mit führenden technischen Forschern zur KI-Sicherheit zusammenarbeiten. Newsoms Anordnung folgt auf den 2023 erlassenen Erlass zu generativer KI, der Kaliforniens staatliche Maßnahmen in diesem Bereich einleitete.