NTI und Concordia AI starten internationale Arbeitsgruppe für Bio-Evaluierungen von KI

NTI | bio und Concordia AI haben eine internationale Arbeitsgruppe für biologische Fähigkeitsprüfungen von KI-Systemen gestartet. Die Initiative soll Bewertungsmethoden zwischen China, der EU, dem Vereinigten Königreich und den USA technisch vergleichbarer machen.

Die Organisationen NTI | bio und Concordia AI kündigten den Start der AIxBio Technical Working Group on Evaluation Practice an. Technischen Input liefert SecureBio. Die Gruppe wird über das AIxBio Global Forum einberufen und soll Fachleute aus China, der Europäischen Union, dem Vereinigten Königreich und den Vereinigten Staaten zusammenbringen.

Gemeinsame Basis für Evaluierungen

Nach Angaben von NTI | bio informieren biologische Fähigkeitsprüfungen zunehmend das Risikomanagement bei Frontier-KI. Solche Prüfungen bewerten Fähigkeiten, die Hürden für biologischen Missbrauch senken könnten. Modellanbieter nutzen die Ergebnisse demnach, um Schutzmaßnahmen zu verschärfen, Zugriffe zu beschränken, Monitoring auszuweiten oder Einsatzpläne zu ändern.

Die neue Arbeitsgruppe soll veröffentlichte Evaluierungsansätze über verschiedene Rechtsräume und Institutionen hinweg vergleichen. Ziel ist eine gemeinsame technische Grundlage für die Entwicklung solcher Tests und für die Interpretation ihrer Ergebnisse. NTI | bio erklärte, ohne konsistente Berichterstattung könnten Unterschiede aus Systemkonfiguration oder Testdesign fälschlich dem zugrunde liegenden Modell zugeschrieben werden.

Mindeststandard für Berichte

Auf Basis dieser Analyse will die Gruppe gemeinsame Terminologie und eine Mindestbasis für die Berichterstattung von Evaluationsergebnissen entwickeln. Laut NTI | bio soll die Arbeit klären, was biologische Fähigkeitsprüfungen tatsächlich messen und wie ihr Design zu den jeweiligen Bedrohungsmodellen passt. Zudem will die Gruppe Bedingungen identifizieren, unter denen Ergebnisse zwischen Systemen und Umgebungen vergleichbar sind.

Veröffentlichung geplanter Ergebnisse

Methodische Ergebnisse, freiwillige Berichtsstandards und Forschungsprioritäten sollen veröffentlicht werden. Sie sollen laut NTI | bio eine konsistentere Nutzung von Evaluierungsergebnissen durch KI-Entwickler, Regierungen und externe Prüfer unterstützen. Die neue Gruppe ergänzt die bestehende Arbeitsgruppe des AIxBio Global Forum zu Horizon Scanning, Risikobewertung und Evaluierungen.