Kalifornien treibt unabhängige KI-Kontrollen und Notabschaltung voran

Kaliforniens Gouverneur Gavin Newsom beschleunigt per Erlass die unabhängige Kontrolle besonders leistungsfähiger KI-Modelle. Einberufene Fachleute sollen innerhalb von zwei Monaten Empfehlungen für strengere Sicherheitsvorgaben und eine regelmäßig geprüfte Notabschaltung erarbeiten, mit der sich KI-Systeme im Notfall stoppen lassen.

Newsom erließ die Anordnung am 18. September 2026. Sie weist die Government Operations Agency an, gemeinsam mit dem kalifornischen Amt für Notfalldienste weltweit führende Fachleute einzuberufen. Anlass sind jüngere Sicherheitsvorfälle, darunter der Angriff auf Hugging Face, eine bekannte Plattform für den Austausch von KI-Modellen.

Unabhängige Prüfer in KI-Laboren

Der Erlass soll die Umsetzung von Senate Bill 813 und Assembly Bill 1405 beschleunigen. SB 813 schafft einen Rahmen für die Zertifizierung unabhängiger Prüfstellen, die über ausreichende Fachkenntnisse verfügen, nachweislich unabhängig von KI-Unternehmen sind und KI-Systeme und Modelle objektiv auf Sicherheit und Risiken untersuchen. AB 1405 richtet ein staatliches Register für KI-Prüfer ein und legt Anforderungen an deren Unabhängigkeit, Transparenz und Integrität fest.

Zu den zu prüfenden Vorschlägen gehört, besonders leistungsfähige KI-Unternehmen zur Einbindung einer unabhängigen Prüfstelle direkt in ihren Laboren zu verpflichten. Diese Stellen sollen regelmäßige Prüfungen und Bewertungen durchführen. Darüber hinaus könnten sie kontrollieren, ob vorgeschriebene Sicherheitskonzepte, Transparenzberichte und Risikobewertungen angemessenen Standards entsprechen.

Notabschaltung für besonders leistungsfähige Modelle

Die Fachleute sollen Empfehlungen für eine Notabschaltung entwickeln, mit der sich besonders leistungsfähige KI-Modelle im Ernstfall außer Betrieb setzen lassen. Eine unabhängige Prüfstelle soll die Wirksamkeit dieser Funktion fortlaufend kontrollieren.

Kalifornien erwägt außerdem, die gesetzliche Definition kritischer Sicherheitsvorfälle auszuweiten. Künftig könnten darunter auch Ereignisse fallen, bei denen die Kontrolle über ein KI-System verloren geht, wie beim genannten Angriff auf Hugging Face. Die Einzelheiten dieser Vorhaben sind in der Veröffentlichung der kalifornischen Regierung zusammengefasst.

Bestehende Meldepflichten als Grundlage

Newsom hatte 2025 bereits SB 53 unterzeichnet. Das Gesetz verpflichtet Entwickler besonders leistungsfähiger KI-Modelle, ihre Sicherheitskonzepte öffentlich zugänglich zu machen und bestimmte kritische Sicherheitsvorfälle dem Bundesstaat zu melden. Es schützt zudem Hinweisgeber, die schwerwiegende Risiken offenlegen.

Der Gouverneur fordert den Kongress und Präsident Donald Trump auf, Kaliforniens Regelwerk landesweit zu übernehmen oder als Mindeststandard zu verwenden.