Jacob Coxon warnt nach Rücktritt von Anthropic vor Wettlauf um Superintelligenz

Jacob Coxon hat Anthropic verlassen und wirft dem Unternehmen sowie seinem früheren Arbeitgeber OpenAI verantwortungsloses Handeln vor. Bei einer möglichen Abstimmung amerikanischer KI-Labore zeigt er sich vorsichtig optimistisch.

Coxon gab seinen Rücktritt von Anthropic am 9. September 2026 in einem Beitrag auf X bekannt. Nach eigenen Angaben arbeitete er in den vergangenen drei Jahren bei OpenAI und Anthropic an der Vorschulung von KI-Modellen, also ihrem grundlegenden Training mit großen Datenmengen. Beide Unternehmen strebten aus seiner Sicht unmittelbar nach sich selbst verbessernder Superintelligenz und gingen damit Risiken für das menschliche Leben ein.

Warnung vor übermenschlichen Systemen

Coxon geht davon aus, dass bald übermenschliche Systeme entstehen könnten, die praktisch alles hacken, jedes Forschungsgebiet über Nacht revolutionieren und sich reale Macht sowie Ressourcen aneignen können. Fortschritte in diesen Bereichen seien bereits sichtbar und verlangsamten sich nach seiner Einschätzung nicht.

Menschen, die solche Systeme entwickelten, hielten es Coxon zufolge ernsthaft für möglich, dass KI noch vor Ende des Jahrzehnts die gesamte Menschheit töten könnte. Führungskräfte und leitende Forscher stellten ihre Befürchtungen in öffentlichen Äußerungen allerdings zurückhaltender dar.

Unterschiedliche Vorwürfe gegen OpenAI und Anthropic

Bei OpenAI hätten viele Beschäftigte die Tragweite für die Zivilisation nicht ausreichend verinnerlicht, erklärte Coxon. Bei Anthropic seien die Gefahren dagegen bekannt. Das Unternehmen sehe sich Coxon zufolge jedoch in einem Wettlauf, zuerst dort anzukommen. Coxon betrachtet die Entscheidung eines Privatunternehmens, unter diesen Bedingungen in eine entscheidende Entwicklungsphase einzutreten, als überhebliches Risiko.

Auch eine beschleunigte Suche nach Verfahren zur sicheren Ausrichtung leistungsfähiger KI-Systeme an menschlichen Werten und Absichten hält er nur dann für vertretbar, wenn mit außergewöhnlich hoher Gewissheit keine bessere Vorgehensweise verfügbar sei.

Vorsichtige Hoffnung auf Abstimmung

In seinem mehrteiligen Beitrag äußert sich Coxon optimistisch über das grundsätzliche Potenzial für eine Abstimmung. Warnende Vorfälle wie der von ihm erwähnte Angriff auf Hugging Face hätten Vereinbarungen amerikanischer KI-Labore über ein langsameres Entwicklungstempo erleichtert. Zugleich sehe er derzeit keine Entwicklung, die einen weltweiten Wettlauf verhindern dürfte.

Nach seiner Darstellung könnten dafür kostspielige Maßnahmen erforderlich sein. Er erwähnt ein vorübergehendes Verbot. Forschende in KI-Laboren fordert Coxon auf, ihre Verantwortung zu prüfen, bevor sie eine übermenschliche KI durch verstärkendes Lernen, bei dem ein System durch Belohnung und Bestrafung lernt, weiterentwickeln, ohne deren innere Vorgänge gründlich zu verstehen.