Cursor veröffentlicht MoE-Megakernel Mixture-of-Kittens als Open Source

Cursor hat mit Mixture-of-Kittens am 4. August 2026 einen Open-Source-Megakernel für MoE-Training auf NVL72-Systemen vorgestellt. Der Anbieter will damit einen Engpass in der Modellschulung beseitigen, der laut eigener Darstellung mehr als die Hälfte der Trainingszeit beanspruchen kann.

Laut dem Blogbeitrag von Cursor bündelt Mixture-of-Kittens die gesamte MoE-Kommunikation und -Berechnung in einem einzigen, deterministischen Kernel. Das System laufe bereits im produktiven Training von Composer über „tens of thousands of GPUs“. Cursor schreibt, die Mixture-of-Experts-Schicht sei bei Training und Inferenz des Coding-Modells Composer „the major bottleneck“ geblieben und könne je nach Lastprofil „more than half of end-to-end training time“ verbrauchen.

Kommunikation im Kernel

Cursor begründet den Ansatz mit zwei Eigenschaften der GB300-NVL72-Plattform. Ein NVL72 sei ein Multi-Node-Rack in einer einzelnen NVLink-Domäne mit 72 GPUs. Das ermögliche eine feingranulare Überlappung von Kommunikation und Berechnung über alle 72 GPUs. Zugleich seien die integrierten Grace-CPUs relativ zu den GPUs langsam. Laut Cursor holten GPU-Streams CPU-seitige Arbeit leicht ein, wodurch GPUs in dieser Zeit vollständig untätig würden.

Der Anbieter nennt deshalb die Minimierung von CPU-Arbeit und CPU-GPU-Synchronisation als zentrales Ziel. Mixture-of-Kittens sei dafür „built from first principles for NVL72s“ und eliminiere diese Trennung zwischen Rechen- und Kommunikationspfad innerhalb der MoE-Schicht.

Bis zu 2,37-facher Durchsatz

Bei der Leistung nennt Cursor zwei konkrete Werte. Mixture-of-Kittens erreiche auf GB300 NVL72s „up to 2.37x higher MXFP8 forward throughput than the fastest public baseline“. In der eigenen Produktionsumgebung über mehrere NVL72-Racks habe der Kernel die End-to-End-Leistung bei Tokens pro Sekunde um den Faktor 1,41 erhöht, wie Cursor im Beitrag zur Veröffentlichung schreibt.

Code auf GitHub verfügbar

Cursor kündigte an, Mixture-of-Kittens als Open Source bereitzustellen und verwies im Beitrag auf GitHub zum Ausprobieren und für Beiträge aus der Community. Verfasst wurde der Beitrag von Stuart Sul, Nash Brown, Henry Wildermuth, William Lin und Federico Cassano. Er erschien am 4. August 2026.