Nvidia gibt Robotikentwicklern neue Tools, um seltene Trainingsszenarien zu generieren
Nvidia hat Cosmos um Tools zur Generierung von Trainingsbeispielen erweitert, die in der realen Welt nur schwer oder nicht sicher zu erfassen wären. Zu den Ergänzungen gehören synthetische Videos seltener Ereignisse, von Fertigungsfehlern sowie von Wetter- oder Lichtveränderungen.

Cosmos Framework verbindet die Phasen der Modellerstellung von der Datenaufbereitung bis zur Inferenz. Bild: Nvidia
Die Ankündigung vom 22. Oktober behandelt Datenaufbereitung, Modelltraining und Simulation. Sie richtet sich an Entwickler, die Systeme wie Industrieroboter und autonome Fahrzeuge bauen, und nicht an eine Verbraucher-App zur Videogenerierung.
Fünf neue Blueprints decken Fahraufnahmen, Defekte und veränderte Bedingungen ab
Cosmos Data Factory bietet jetzt fünf Workflows: die Generierung von Datensätzen für autonomes Fahren, die Variation des Erscheinungsbilds von Objekten in Bildern, die Umwandlung von Standbildern in Ereignisvideos, die Erstellung von Defektbildern sowie die Änderung von Wetter oder Licht in vorhandenen Aufnahmen unter Beibehaltung der Szenenstruktur.

Nvidia veranschaulicht auf seiner Cosmos-Produktseite synthetische Fahrdaten. Bild: Nvidia
Nach Angaben von Nvidia hat das Unternehmen für Inspektionsroboter ANYbotics mehr als 1.500 synthetische Clips generiert, um Systeme dabei zu unterstützen, Flüssigkeitsverschüttungen und andere Veränderungen zwischen Standortbesuchen zu erkennen. Dabei handelt es sich um ein von den Unternehmen berichtetes Beispiel und nicht um eine unabhängig gemessene Verbesserung der Robotersicherheit.
Die Plattform ist über GitHub und Cloud-Dienste wie Microsoft Azure, Nebius und CoreWeave verfügbar. Entwickler können einzelne Komponenten nutzen, statt jeden Teil des Cosmos-Stacks zu übernehmen.

Cosmos kann das Training von Roboter-Policies in simulierten Umgebungen unterstützen. Bild: Nvidia
Neue Simulationsmodelle sollen Policies vor dem Einsatz testen
Neue Varianten von Cosmos 3 Nano unterstützen Szenarien mit mehreren Kameraansichten und Sensoreingaben. Begleitender Code ermöglicht es Entwicklern, sie für die Evaluierung autonomer Fahrzeuge und Robotern mit zwei Armen in interaktiven Simulationen anzupassen.
Das breitere Cosmos Framework erweitert außerdem Trainings- und Optimierungswerkzeuge auf kompatible offene Modelle, einschließlich Fine-Tuning, Reinforcement Learning, Destillation und Quantisierung.
Nvidia meldet in validierten Konfigurationen eine bis zu doppelt so hohe Inferenzleistung durch aktualisierte Cosmos-3-NIM-Dienste. Diese Einschränkung begrenzt die Aussage: Es handelt sich nicht um eine universelle Beschleunigung über alle Modelle und Hardware hinweg.
Die Arbeit ergänzt Nvidias lokale KI-Hardware, einschließlich der DGX-Spark-Reihe. Hier besteht die wichtigste Ergänzung in der Software, die benötigt wird, um KI für die physische Welt zu erstellen und zu testen, bevor ein Roboter oder Fahrzeug denselben Bedingungen außerhalb der Simulation ausgesetzt wird.