Nvidia veröffentlicht vier Cosmos-3-Modelle für interaktive Simulationen

Nvidia erweitert seine Plattform für simulierte Umgebungen um Modelle mit offen verfügbaren Gewichten, also frei herunterladbaren trainierten Modellwerten. Die neuen Varianten erzeugen Fahrtszenen und Robotikbeobachtungen aus Steuervorgaben. Entwickler erhalten außerdem Verfahren, um die Modelle an eigene Daten und Umgebungen anzupassen.

Nvidia hat die Erweiterung am 5. November 2026 auf Hugging Face, einer Onlineplattform zum Teilen von KI-Modellen, vorgestellt. Die vier Varianten basieren auf Cosmos 3 Nano, einem Modell der Cosmos-3-Familie, und besitzen jeweils 16 Milliarden trainierbare Parameter. Diese Parameter bestimmen das erlernte Verhalten der Modelle. Die Modelllizenz OpenMDW1.1 erlaubt kommerzielle und nicht kommerzielle Nutzung unter ihren Bedingungen. Die Veröffentlichung umfasst auch Anleitungen für das nachträgliche Modelltraining.

Fahrtszenen mit Kameras und Lasersensoren

Cosmos3-Nano-Transfer-Auto erzeugt synthetische Fahrdaten mit bis zu elf synchronisierten Kameraansichten, darunter Fischaugenperspektiven mit besonders weitem Blickwinkel. Auch gemeinsame Kamera- und LiDAR-Daten sind möglich; LiDAR erfasst die Umgebung mit Lasersensoren räumlich. Steuervorgaben bestimmen Szenenstruktur und Verkehrsbewegungen, Texteingaben das Erscheinungsbild. Wetter, Beleuchtung und Tageszeit lassen sich variieren. Cosmos3-Nano-Sim-Auto erzeugt darauf aufbauend fortlaufend kurze Abschnitte synchronisierter Sensordaten. Für eine Rückkopplung zwischen Fahrentscheidungen und Beobachtungen benötigt es zusätzlich eine Simulationsumgebung samt Aufbereitung aktualisierter Szenenvorgaben.

Roboteraktionen werden zu Bildfolgen

Cosmos3-Nano-Sim-Transfer wandelt räumliche Vorgaben eines Physiksimulators und Texteingaben in Farbbilder um. Bewegungen, Kontakte und physikalischer Zustand bleiben dabei Aufgabe des Simulators. Cosmos3-Nano-Sim-Bimanual erzeugt dagegen Folgebeobachtungen unmittelbar aus einer Ausgangsszene und Roboteraktionen. Es unterstützt die Roboterplattformen YAM und AgiBot mit jeweils zwei Armen, gesteuert durch eine Steuerungslogik oder manuell bediente Steuerknüppel. Eine Steuersequenz kann zwischen Perspektivwechseln und Manipulationsaufgaben wechseln.

Nvidia betont, dass die Eignung für das Lernen und Bewerten von Steuerungsstrategien noch untersucht werden muss. Für Sim-Bimanual nennt der Anbieter Linux, einen Nvidia-Grafikprozessor, Docker als Software für abgeschlossene Programmumgebungen und das NVIDIA Container Toolkit zur Nutzung von Nvidia-Grafikprozessoren in diesen Umgebungen als Voraussetzungen. Die veröffentlichte Einrichtung mit der Software vLLM-Omni zum Ausführen der Modelle erprobte Nvidia auf einem GB200, einem Nvidia-Serverchip.