Recursive veröffentlicht Flint für lokale KI-Programmierung

Recursive hat Flint vorgestellt, ein KI-Modell für Programmieraufgaben auf eigener Hardware. Der Anbieter setzt auf automatisierte Forschung und verspricht hohe Geschwindigkeit. Der lokale Betrieb ermöglicht die Arbeit ohne Datenübertragung an entfernte Server.

Die Modellgewichte, also die erlernten Parameter, stehen laut Recursive auf Hugging Face, einer Plattform zum Teilen von KI-Modellen, unter der Apache-2.0-Lizenz bereit, die freie Nutzung und Anpassung erlaubt. Flint verwendet eine Mischung spezialisierter Modellteile. Von insgesamt 40 Milliarden Parametern aktiviert es pro verarbeitetem Textbaustein lediglich 2,5 Milliarden. Solche Textbausteine heißen Token. Beim lokalen Betrieb fallen keine Gebühren für eine Programmierschnittstelle an.

Geschwindigkeit hängt von Hardware ab

Mit seiner optimierten Ausführungssoftware, die die Berechnungen des Modells auf der Hardware ausführt, erreicht Flint laut Recursive auf einem MacBook Pro mit Apples M4-Pro-Chip mehr als 125 Token pro Sekunde. Auf einem NVIDIA RTX Spark, einer Hardwareplattform für den lokalen Betrieb von KI-Modellen, mit 64 Gigabyte nennt der Anbieter mehr als 150 Token pro Sekunde. Beide Angaben gelten für kurze Eingaben. Gegenüber vergleichbaren Modellen verspricht Recursive bis zu doppelte Geschwindigkeit.

Flint verarbeitet bis zu 512.000 Token als gemeinsamen Arbeitskontext. Recursive empfiehlt für beste Ergebnisse höchstens 256.000 Token. Bei komplexen Aufgaben benötigt das Modell laut Anbieter gegebenenfalls mehr Anleitung als größere, nicht offen verfügbare Programmiermodelle. Unterstützt werden unter anderem Ollama und LM Studio, Werkzeuge für den Betrieb von KI-Modellen.

Automatisierte Forschung entwickelt Modell mit

Recursives Forschungssystem Eureka Machine unterstützte nahezu alle Entwicklungsbereiche, von Daten und Modelltraining bis zur Ausführung auf der Zielhardware. Das System schlägt Ideen vor, setzt diese um und prüft Ergebnisse. Ein kleines Team aus Menschen und automatisierten Systemen entwickelte Flint nach Anbieterangaben in weniger als vier Monaten vollständig neu. Zusätzlich veröffentlicht Recursive die schlanke Ausführungssoftware rec, optimiert für Apples Chips M4 Pro, M5 Pro und M5 Max.