OpenAI führt Textwasserzeichen ein – mit deutlichen Grenzen bei der Erkennung

OpenAI führt unsichtbare Wasserzeichen für ausgewählte KI-Texte ein. Kunden der Programmierschnittstelle, über die Entwickler auf OpenAI-Modelle zugreifen, können die Funktion weltweit freiwillig aktivieren. In der Europäischen Union sollen geeignete Textausgaben von ChatGPT und Codex, OpenAIs KI-Werkzeug zum Programmieren, schrittweise gekennzeichnet werden. Die Erkennung hat allerdings erhebliche Grenzen.

Mit dem Verfahren zur Textkennzeichnung reagiert OpenAI auf den EU AI Act, das europäische KI-Gesetz. Nach Darstellung des Unternehmens verlangt dieses von Anbietern generativer KI, erzeugte Texte maschinenlesbar erkennbar zu machen. In der Programmierschnittstelle bleibt die Funktion standardmäßig ausgeschaltet und auf ausgewählte Modelle beschränkt. Die Einführung in der EU ist für die kommenden Wochen angekündigt.

Ein statistisches Signal statt einer sichtbaren Markierung

Die Technik namens textGrain fügt der Wortwahl eines Modells ein unsichtbares statistisches Signal hinzu. Ein Prüfwerkzeug sucht nach diesem Muster und bewertet, ob eine Textpassage ein OpenAI-Wasserzeichen enthält. Einzelheiten erläutert das Unternehmen in einem technischen Bericht, den es in den kommenden Wochen ergänzen will. Außerdem plant OpenAI, die Technik mit offenem Quellcode bereitzustellen.

In den eigenen Untersuchungen erreichte textGrain laut OpenAI mindestens die Leistung anderer getesteter Verfahren, darunter SynthID für Text, ein weiteres getestetes Wasserzeichenverfahren. Gute Ergebnisse unter idealen Bedingungen bedeuten jedoch nicht, dass Wasserzeichen im Alltag zuverlässig erkannt werden.

Textlänge und Wortwahl beeinflussen die Erkennung

Das Prüfwerkzeug kann Wasserzeichen übersehen oder fälschlich eines melden, obwohl keines vorhanden ist. Bei einer angestrebten Fehlalarmrate von einem Prozent erkannte es in OpenAIs Untersuchungen etwa 80 Prozent der Wasserzeichen in Passagen mit 200 Token. Bei 400 Token waren es rund 95 Prozent. Token sind die Texteinheiten, mit denen Sprachmodelle arbeiten.

Diese Ergebnisse beziehen sich auf Inhalte etwa aus der Psychologie. Bei mathematischen Inhalten lagen die Erkennungsraten deutlich niedriger. Dort besteht weniger Spielraum bei der Wortwahl, über die das statistische Signal eingebracht wird.

Auch nachträgliche Bearbeitungen können die Kennzeichnung erheblich schwächen. In einer Untersuchung mit 400-Token-Passagen sank die Erkennungsrate von rund 92 auf 66 Prozent, nachdem zehn Prozent der Wörter durch bedeutungsgleiche Ausdrücke ersetzt worden waren. Beim Austausch von 25 Prozent der Wörter fiel sie auf 17 Prozent.

Zugang zum Textprüfwerkzeug zunächst beschränkt

OpenAI nimmt Bewerbungen für den Zugang zum Textprüfwerkzeug entgegen. Zunächst sollen nur zugelassene Forscher und Fachorganisationen Zugriff erhalten. Sie sollen helfen, die Zuverlässigkeit der Technik und verantwortbare Einsatzmöglichkeiten zu untersuchen. Das Unternehmen begründet die Beschränkung mit den Grenzen der Erkennung.

Diese Einschränkung betrifft ausschließlich Textkennzeichnungen. Das öffentliche Prüfwerkzeug für Bilder und Audio sowie die zugehörige Programmierschnittstelle bleiben für Organisationen zugänglich, die prüfen möchten, ob eine Bild- oder Audiodatei von einem OpenAI-System erzeugt wurde.