NVIDIA beschreibt Metas Muse Glimmer als lokales 30B-Modell für agentische KI auf einer einzelnen GPU

NVIDIA beschreibt Metas Muse Glimmer als offenes 30B-Dense-Modell für lokale agentische KI-Workflows. Laut dem Unternehmen soll das Modell ein Kontextfenster von mehr als 120.000 Tokens bieten, auf einer einzelnen GPU mit bis zu 20.000 Tokens pro Sekunde laufen und ohne Model Sharding oder CPU-Offloading in den Speicher einer einzelnen GPU passen.

In einem Technical Blog von NVIDIA vom 10. August 2026 wird Muse Glimmer als „30B open-weight dense model“ mit „120K+ context window“ vorgestellt. NVIDIA ordnet das Modell dem Einsatz für „local AI agentic work“ zu und nennt eine Leistung von „20K tokens/sec on a single GPU“.

Dichte Architektur statt Mixture of Experts

Im Beitrag hebt NVIDIA hervor, dass Muse Glimmer als dichtes Modell aufgebaut ist und sich damit von Mixture-of-Experts-Architekturen unterscheidet. Demnach werde bei jedem Token jeder Parameter aktiviert, statt über Routing oder Expert Selection nur Teilbereiche des Modells zu nutzen. NVIDIA verbindet diesen Aufbau mit vorhersehbarer Latenz, kohärenter Verarbeitung langer Kontexte und einer verlässlichen Befolgung von Anweisungen in agentischen Abläufen.

Als Beispiele für solche Workflows nennt der Beitrag Software-Automatisierung, Dokumentationsarbeit und die Pflege von Wissensdatenbanken.

Lokale Inferenz auf einer einzelnen GPU

NVIDIA verknüpft Muse Glimmer mit lokalen Szenarien, in denen Daten das System nicht verlassen sollen. Genannt werden dabei persönliche Dateien, Kommunikation, Zugangsdaten und proprietäre Dokumente. Laut Beitrag passt das Modell in den Speicher einer einzelnen GPU, „with no need for model sharding, CPU offloading, or using external endpoints“.

Als konkrete Hardware führt NVIDIA unter anderem die GeForce RTX 5090 an. Für diese nennt der Beitrag 32 GB VRAM sowie Tensor Cores der fünften Generation.

Genannte Zielplattformen

NVIDIA nennt im Blog neben der GeForce RTX 5090 auch DGX Spark, DGX Station und Jetson als Zielplattformen für Muse Glimmer. Weitere Details zu diesen Plattformen werden im bereitgestellten Quelltext jedoch nicht ausgeführt.