NVIDIA koppelt NeMo AutoModel enger an Hugging Face Transformers

NVIDIA und Hugging Face stellen eine engere Verzahnung für das Feintuning großer Transformer-Modelle vor. Im Mittelpunkt steht NeMo AutoModel, das laut NVIDIA mehr Trainingsdurchsatz bei unveränderter Hugging-Face-API liefern soll.

Ausgangspunkt ist ein am 24. Juni 2026 auf Hugging Face veröffentlichter Beitrag. Darin beschreibt NVIDIA NeMo AutoModel als offene Bibliothek im NeMo-Framework für generative KI-Modelle. Die Bibliothek baut laut dem Beitrag auf Transformers v5 auf und ergänzt dort unter anderem Expert Parallelism, DeepEP und TransformerEngine-Kernels. Für Anwender soll das Feintuning weiter mit derselben from_pretrained()-API funktionieren, also laut Beitrag mit „a single import line, with no other code changes“.

Benchmarks für MoE-Modelle

Als Leistungswerte nennt NVIDIA „3.4-3.7x higher training throughput“ und „29-32% less GPU memory“ beim Feintuning von MoE-Modellen im Vergleich zu nativen Transformers v5. MoE steht für Mixture-of-Experts. Im Beitrag wird diese Architektur als wichtige Grundlage aktueller großer Modelle beschrieben. Genannt werden mehrere Testfälle, darunter ein Full Fine-Tune von Nemotron 3 Ultra 550B A55B in einer Multi-Node-Konfiguration sowie Single-Node-Benchmarks für Qwen3-30B-A3B und Nemotron 3 Nano 30B A3B.

Hugging Face bezeichnet Transformers in dem Beitrag als „foundation of the open-source AI ecosystem“. Mit Version 5 habe die Bibliothek eine weitergehende Unterstützung für MoE-Modelle erhalten. Dazu zählen laut Text Expert Backends, Dynamic Weight Loading und verteilte Ausführung. Zudem sei verteiltes Training enger mit PyTorch DeviceMesh in from_pretrained() integriert worden.

Unterklasse für bestehende Modell-APIs

Technisch setzt NeMo AutoModel laut NVIDIA auf eine Unterklasse von AutoModelForCausalLM. Dadurch soll bestehender Code für Hugging-Face-Modelle weiter nutzbar bleiben. Den Geschwindigkeitsvorteil führt der Beitrag vor allem auf drei Bausteine zurück: Expert Parallelism, DeepEP für „fused all-to-all dispatch“ und TransformerEngine-Kernels. DeepEP hebt NVIDIA dabei besonders hervor, weil dieser Teil Kommunikation und Expert-Compute überlappen soll. Im Beitrag heißt es dazu, eine solche Funktion gebe es in Transformers v5 „doesn't have yet“.

Hinzu kommt die Einbindung in bestehende Werkzeugketten. Laut Beitrag nutzt NeMo AutoModel die reversible Gewichtskonvertierung von Transformers v5 und kann Modelle darüber laden. Beim Speichern erzeuge save_pretrained() weiterhin Standard-HF-Checkpoints, die sich mit Werkzeugen wie vLLM und SGLang verwenden lassen.

Komplexeres Training offener Modelle

Als Hintergrund nennt der Beitrag die steigende Komplexität beim Training von MoE-Modellen. Erwähnt werden das Routing von Tokens über „hundreds of experts“, das Sharding von Gewichten über mehrere GPUs sowie die Überlappung von Kommunikation und Berechnung. NVIDIA positioniert NeMo AutoModel dabei für Szenarien vom Multi-Node-Training bis zu kleineren Single-Node-Setups. Als Beispiele nennt der Text Nemotron 3 Ultra 550B A55B, Qwen3-30B-A3B und Nemotron 3 Nano 30B A3B.