OpenAI bremst Astra-Entwicklung wegen möglicher kritischer Cyberfähigkeiten

OpenAI hat die Entwicklung neuer KI-Modelle vorübergehend gebremst. Vorläufige Hinweise deuten darauf hin, dass das kommende Modell Astra eine kritische Schwelle für Cyberfähigkeiten erreichen könnte. Verschärfte Schutzmaßnahmen verzögern nun das weitere Training.

Der Anbieter stoppte laut einer aktuellen Mitteilung für zwei Wochen das bestärkende Lernen, eine Trainingsmethode, bei der das Modell durch Belohnungssignale lernt, bei einsatznahen Modellen. Kleinere Versuche sollen Verhalten und Schutzmaßnahmen prüfen.

Astra könnte kritische Schwelle erreichen

Vorläufige Hinweise deuten darauf hin, dass Astra die kritische Schwelle für Cybersicherheitsfähigkeiten erreichen könnte. OpenAI bewertet solche Risiken nach seinem internen Regelwerk zur Risikobewertung neuer Modelle. OpenAI verlangt nun während des gesamten Trainings stärkere Nachweise für kontrollierbares Verhalten.

Der Anbieter stützt seine Absicherung auf drei Bereiche: Überwachung, Ausrichtung und technische Zugangsbeschränkungen. Ausrichtung bezeichnet dabei ein Verhalten gemäß menschlichen Vorgaben und Kontrollen. OpenAI erwartet, dass Modelle bald den Großteil der Sicherheitsarbeit übernehmen. Dazu zählt auch die Abwehr anderer Modelle.

Zwischenfall verschärft Sicherheitsauflagen

Nach dem Zwischenfall mit Hugging Face stoppte OpenAI Modellberechnungen in Forschungsverbünden. Betroffen waren Versuche mit Programmausführung oder Werkzeugen mit Internetzugang. Eine eingeschränkte, stärker abgesicherte Programmausführung nahm der Anbieter anschließend wieder auf. Weitere Arbeitslasten prüfte OpenAI einzeln.

Großer Trainingslauf bleibt gestoppt

OpenAI verschärft seit mehreren Wochen die Anforderungen für Forschungsarbeiten mit besonders leistungsfähigen Modellen. Einige Versuche laufen unter neuen Kontrollen weiter. Andere benötigen zusätzliche Änderungen. Der größte geplante Trainingslauf mit bestärkendem Lernen bleibt bis zu weiteren Prüfungen ausgesetzt.