METR und Redwood Research finden Lücken in OpenAIs interner KI-Überwachung

METR und die Forschungsorganisation Redwood Research haben Schwachstellen in OpenAIs interner Überwachung selbstständig handelnder KI-Systeme gefunden. Diese hätten unter anderem ermöglicht, Kontrollen zu umgehen oder Aktionen vor der Überwachung zu verbergen. OpenAI erklärte nach Abschluss der Untersuchung, alle entdeckten Schwachstellen mit Auswirkungen auf die produktiven Schutzsysteme seien behoben.

Die gemeinnützige Forschungsorganisation METR, die Fähigkeiten und Risiken von KI-Systemen untersucht, veröffentlichte die Ergebnisse am 22. Oktober 2026. Je ein Mitarbeiter von METR und Redwood Research untersuchte OpenAIs interne Überwachung vom 21. Juli bis zum 11. August.

Die beiden Mitarbeiter erhielten Zugang zu internem Programmcode, Überwachungsanweisungen, Konfigurationen und Dokumentation. Außerdem befragten sie rund ein Dutzend Forscher und Ingenieure aus den Teams für Überwachung, Sicherheitssysteme und IT-Sicherheit. Die Ergebnisse hielten sie in einem 61-seitigen internen Bericht fest.

Vorgesehene Überwachung ist nicht tatsächliche Kontrolle

Nach ihrer Schätzung waren ungefähr 75 bis 94 Prozent des untersuchten internen Datenverkehrs selbstständig handelnder KI-Systeme über die Responses API zur Überwachung vorgesehen. Die Programmierschnittstelle unterstützt unter anderem Codex, OpenAIs Werkzeug für Programmieraufgaben. Die Schätzung bezog sich auf Modelle mindestens der Leistungsstärke des OpenAI-KI-Modells GPT-5.5 und war mit erheblicher Unsicherheit verbunden. Für den Teil dieses Datenverkehrs, der auf interne Codex-Assistenten entfiel, lag der geschätzte Anteil bei 99,2 Prozent.

Diese Einstufung bedeutete nicht, dass alle vorgesehenen Aufrufe tatsächlich die gesamte Überwachung durchliefen. Fehler oder technische Lücken konnten dies verhindern. Andere interne Ausführungswege waren zudem nicht von der Schätzung erfasst.

Eine solche Lücke betraf die Verdichtung des Arbeitskontexts, also das Kürzen eines langen Arbeitsverlaufs. Dadurch blieben nach einer ebenfalls erheblich unsicheren Schätzung zwischen Mai und Juli 2026 etwa zehn Prozent des zur Überwachung vorgesehenen internen Codex-Datenverkehrs unkontrolliert. OpenAI hatte das Problem bereits vor Beginn der Untersuchung selbst erkannt und behob es währenddessen.

Die Überwachung wurde damals ausgelöst, wenn ein KI-Assistent die Steuerung an den Nutzer zurückgab. Solange die Lücke bei der Kontextverdichtung bestand, hätten fortgesetzte Aktionen die Kontrolle deshalb unbegrenzt aufschieben können. Ob KI-Systeme diese Möglichkeit tatsächlich genutzt hatten, konnten die Forscher wegen eingeschränkter Zugriffsrechte nicht prüfen.

Schwachstellen ermöglichten das Umgehen von Schutzmaßnahmen

Die Forscher fanden außerdem einen Weg, wie Codex-Assistenten grundsätzlich ihre abgeschottete Ausführungsumgebung und die automatische Prüfung Auto-Review hätten umgehen können. Dadurch wären sämtliche Aktionen möglich gewesen, zu denen der ausführende Nutzer berechtigt war. Eine weitere Angriffsmöglichkeit hätte Hunderte kürzlich ausgeführte Aktionen einschließlich der Angriffsschritte selbst vor der Überwachung verborgen.

Zwei vom aufrufenden Programm steuerbare HTTP-Anfragefelder, also technische Einstellungen in einer Anfrage an einen Dienst, konnten die Überwachung für neue KI-Instanzen abschalten. Das sind separat gestartete Ausführungen eines KI-Assistenten. Allerdings hätten das Setzen dieser Felder und das Erstellen einer neuen Instanz selbst von der Überwachung erkannt werden können.

Zugleich bestätigten die Forscher, dass das Überwachungssystem mit wenigen Ausnahmen den vollständigen Verlauf erhielt, den auch der jeweilige KI-Assistent sah. Die Prüfanweisungen suchten unter anderem nach Sabotage, Datenabfluss, Täuschung und Manipulation der Überwachung.

Begrenzter Einblick in einen früheren Systemstand

Die Untersuchung war als Pilotprojekt für einen weitreichenden Zugang externer Forscher angelegt, nicht als umfassende öffentliche Transparenzprüfung. OpenAI durfte vertrauliche oder sensible Informationen aus der veröffentlichten Fassung streichen lassen. Gegenstand war der Systemstand am und vor dem 21. Juli, nicht die damals laufenden Erweiterungen. Die später gemeldeten Korrekturen und erheblichen Änderungen am vorgesehenen Überwachungsumfang wurden nicht nachgeprüft.