Speaker: Thomas Endres & Jonas Mayer
In diesem Vortrag zeigen Thomas Endres und Jonas Mayer, wie sich Game Engines nutzen lassen, um Robot Foundation Models effizient für neue Steuerungsaufgaben zu trainieren und zu evaluieren. Am Beispiel von Counter-Strike als reproduzierbarer Testumgebung erläutern sie, wie sich zentrale Herausforderungen der Robotik - darunter kontinuierliche Aktionssteuerung, Echtzeit-Inferenz und Imitation Learning - unter realitätsnahen Bedingungen untersuchen lassen.
Die Referenten stellen vor, wie sie NVIDIAs GR00T-1.5-Modell für diese Aufgabe adaptiert und technische Herausforderungen wie Inferenzlatenzen, diskrete Eingabesignale und ruckartige Bewegungen gelöst haben. Dabei zeigen sie, welchen Einfluss hochwertige Demonstrationsdaten, analoge Eingabemodalitäten und Verfahren wie Real-Time Action Chunking auf eine stabile Steuerung haben. Die vorgestellten Ansätze lassen sich auf industrielle Robotikanwendungen übertragen, in denen lernbasierte Bewegungssteuerung in Echtzeit gefragt ist, beispielsweise beim Training autonomer Systeme in Simulationsumgebungen.