K2 Horizon umfasst sechs vollständig offene KI-Modelle

Das Institute of Foundation Models der Mohamed bin Zayed University of Artificial Intelligence hat mit K2 Horizon sechs vollständig offene KI-Basismodelle vorgestellt. Sie reichen von 0,9 Milliarden bis 375 Milliarden Parametern und sind für Geräte vom tragbaren Rechner bis zum Unternehmensserver vorgesehen.

Bei der Veröffentlichung von K2 Horizon stellt das Institut nicht nur die Modellgewichte bereit, sondern auch Programmcode, Trainingsdaten, Methodik und Trainingsanleitungen. Forschungseinrichtungen, Entwickler und andere Institutionen können die Modelle dadurch untersuchen, reproduzieren und an eigene Anforderungen anpassen. Parameter sind dabei die während des Trainings erlernten Werte eines Modells.

Sechs Größen für unterschiedliche Geräte

Das Modell mit 0,9 Milliarden Parametern ist für stark beschränkte Geräte wie Uhren und Brillen ausgelegt. Die Varianten mit 3,7 Milliarden und 7 Milliarden Parametern sollen fortgeschrittene Funktionen auf Mobiltelefonen und anderen Geräten ermöglichen. Für den lokalen Betrieb und Server in eigenen Einrichtungen bietet die Modellfamilie ein dichtes 32B-Modell sowie das dünn besetzte 36B-A4B-Modell. Die größte Variante 375B-A23B ist für anspruchsvolle Unternehmenseinsätze vorgesehen.

Nach Angaben des Instituts erreichen die drei kleinsten Modelle Spitzenleistungen in ihren jeweiligen Größenklassen. Bewertet wurden unter anderem Mathematik, Schlussfolgern, Softwareentwicklung und die selbstständige Bearbeitung mehrstufiger Aufgaben. Das 0,9B-Modell soll klein genug für eine Uhr sein, während das 7B-Modell auf einem Mobiltelefon betrieben werden kann.

Gemeinsame technische Grundlage

Alle sechs Modelle teilen eine Kernarchitektur, Trainingsmethodik, Schnittstellen und Werkzeuge für die Bereitstellung. Auch das Vokabular ist grundsätzlich gemeinsam, fällt beim kleinsten Modell jedoch geringer aus. Eine dynamische Modellzuweisung leitet Aufgaben an die jeweils kostengünstigste geeignete Variante weiter. Dies soll Entwicklern den Übergang vom Prototyp zum Produktivbetrieb erleichtern.

K2 Horizon führt eine Entwicklung fort, die mit K2 begann und über K2-Think sowie K2 Think V2 verlief. Dabei handelt es sich um frühere Modellversionen derselben Reihe. Mit jeder Veröffentlichung wurde der Umfang der offengelegten Bestandteile erweitert. Die vollständige Offenlegung von K2 Horizon soll nun Gewichte, Programmcode, Trainingsdaten und Methodik gemeinsam zugänglich machen.

Parallele Ausgabe soll Verarbeitung beschleunigen

Zu den technischen Neuerungen zählt eine Diffusionsdestillation. Das Verfahren erzeugt mehrere Blöcke von Textelementen parallel und soll die Verarbeitung ungefähr um den Faktor drei beschleunigen, ohne die Qualität der Antworten zu mindern.

Eine weitere Neuerung trägt die technische Bezeichnung Mixture of Value Attention. Diese Architektur beeinflusst, wie das Modell Informationen gewichtet und verarbeitet. Nach Angaben des Instituts verbessert sie das Schlussfolgern, ohne zusätzlichen Rechenaufwand zu verursachen.

Professor Eric Xing, Gründer des Institute of Foundation Models sowie Präsident und Universitätsprofessor der MBZUAI, begründete den offenen Ansatz mit dem Ziel, KI-Technik überprüfbar und weiterentwickelbar zu machen. Der Zugang solle sich demnach nicht auf die Nutzung über eine Programmierschnittstelle beschränken.