Bundesdruckerei stellt MÖVE-Benchmark für mehr als 50 KI-Sprachmodelle online

Die Bundesdruckerei hat mit MÖVE einen neuen Bewertungsrahmen für KI-Sprachmodelle veröffentlicht. Die Plattform soll Behörden mehr als 50 LLMs nach Leistung, Sicherheit, Nachhaltigkeit, Transparenz und demokratischen Werten vergleichbar machen.

Die Bundesdruckerei veröffentlichte MÖVE am 14. Juli 2026. Das seit Januar 2025 laufende Forschungs- und Innovationsprojekt stammt aus dem KI-Kompetenzcenter des Unternehmens. Laut Mitteilung richtet sich der Benchmark an Behörden und öffentliche Einrichtungen. Bewertet werden mehr als 50 Sprachmodelle. Die Bundesdruckerei nennt MÖVE den „ersten ganzheitlichen KI-Modellvergleich“, der speziell für die Anforderungen der öffentlichen Verwaltung entwickelt wurde.

Neun Datensätze aus Behördenpraxis

MÖVE verbindet nach Angaben der Bundesdruckerei technische Leistungsmessung und Governance-Anforderungen in einem einheitlichen Framework. Grundlage sind neun eigens entwickelte deutschsprachige Testdatensätze aus realem Verwaltungskontext. Dazu zählen juristische Texte, Verwaltungsdokumente und Publikationen von Bundesministerien. Auf dieser Basis entstanden sieben Bewertungskriterien. Genannt werden unter anderem Zusammenfassungen, Fragebeantwortung und die Analyse von Themen in verschiedenen Dokumenten.

Hinzu kommen Kriterien jenseits klassischer Benchmarks. MÖVE analysiert die Anzahl von Halluzinationen in KI-generierten Texten, die Vereinbarkeit von Antworten mit demokratischen Grundwerten, eine effiziente und ressourcenschonende Arbeitsweise sowie die Informations-Transparenz von GPAI-Modellanbietern. „Internationale Rankings allein reichen für die Modellauswahl nicht“, sagte Frederik Blachetta, CTO und Geschäftsführer der Bundesdruckerei-Gruppe, laut Mitteilung.

Kooperation mit BSI und AISEC

Für Sicherheitsevaluierungen arbeitet die Bundesdruckerei mit dem BSI und dem Fraunhofer-Institut AISEC zusammen. Die Kooperation soll Sicherheitsevaluierungen für KI-Sprachmodelle im öffentlichen Sektor erarbeiten. Die Vergleichsplattform steht laut Bundesdruckerei im Einklang mit europäischen Vorgaben. Genannt wird zudem die Einbeziehung von Zielen und Werten der Europäischen Union in die Bewertung.

Die Bundesdruckerei verweist darauf, dass gängige Modellvergleiche vor allem englisches Textverständnis, mathematische Fähigkeiten oder allgemeines Weltwissen messen. Kriterien aus dem Behördenalltag wie nachvollziehbare Modellinformationen sowie Sicherheits- und Nachhaltigkeitsaspekte würden dort oft fehlen. MÖVE setzt stattdessen auf deutschsprachige Tests und Verwaltungsszenarien.