Skild AIs einzige Belohnung war die Punktzahl, und es sagt, Dribbling und Tackling seien von selbst entstanden

Skild AIs einzige Belohnung war die Punktzahl, und es sagt, Dribbling und Tackling seien von selbst entstanden

Skild AI gab einer Fußball spielenden Roboter-Policy genau ein Ziel – „score“ – und sagt, das Dribbling an einem Verteidiger vorbei, das Abschirmen des Balls und das Tackling gegen einen Gegner seien alle aufgetreten, ohne dass jemand eine Belohnung für sie geschrieben hätte. „Statt Belohnungen für diese Verhaltensweisen manuell zu gestalten, entstanden sie schlicht, weil sie dem Modell halfen, zu scoren“, schreibt das Unternehmen in einem am 23. September veröffentlichten Forschungsbeitrag.

Simulierte humanoide Figuren, die in einem Physiksimulator Fußball spielen

Skild gibt an, dass die Policy in NVIDIAs Isaac Sim gegen neuere Versionen ihrer selbst trainiert wurde. Bild: Skild AI

Skild nennt eine Zahl für das Training, und Sie sollten sie sorgfältig lesen: „Nach 140 Jahren simuliertem Spiel haben wir die Policy auf einen Roboter übertragen und ihn zu einem Spiel herausgefordert.“ Das sind 140 Jahre in einem Simulator, nicht 140 Jahre, in denen eine Maschine gegen einen echten Ball tritt, und Skild nennt weder die tatsächliche Trainingszeit noch das Compute-Budget noch die Zahl der parallel gelaufenen Spiele.

Self-Play ist der AlphaGo-Zero-Trick, angewandt auf einen Körper

Die Methode baut auf Skilds S1 auf, das das Unternehmen als sein Flaggschiff-Robotik-Foundation-Model bezeichnet. Skild sagt, die Policy habe „gelernt zu scoren, indem sie gegen neuere Versionen ihrer selbst spielte“, sodass jede Verbesserung einen stärkeren Gegner hervorbrachte.

Der Präzedenzfall, auf den sich Skild stützt, ist der von Brett- und Videospielen. Das Unternehmen verweist auf AlphaGo, das 2016 Lee Sedol schlug, auf AlphaGo Zero, das das ursprüngliche AlphaGo drei Tage nach Beginn des Spielens gegen sich selbst mit 100 zu 0 besiegte, sowie auf AlphaStar in StarCraft II und OpenAI Five in Dota 2.

Skilds Argument dafür, dies auf einem Roboter zu tun, ist ein Obergrenzen-Argument. Modelle wie S1 werden mit menschlichen Daten vortrainiert und sind deshalb „auf menschliche Fähigkeiten gedeckelt“, so das Unternehmen, und es „glaub[t], dass physisches Self-Play Roboter befähigen wird, die menschlichen Fähigkeiten weit zu übertreffen“. Die zweite Hälfte ist eine geäußerte Überzeugung, kein Ergebnis in dem Beitrag.

Fortschritt wird in simulierten Jahren gemessen

Skild beschreibt die Lernkurve in der Zeitskala des Simulators. „In seinen ersten simulierten Monaten in NVIDIAs Isaac Sim konnte es kaum laufen“, heißt es in dem Beitrag, und „als es im College-Alter war, konnte es nach einem Sturz wieder aufstehen“.

Dann folgte der Transfer auf echte Hardware, den Skild als „eine leuchtend grüne Flagge für Self-Play auf dem Weg zu physischer AGI“ bezeichnet. Die Videos des Beitrags zeigen sogar das, was Skild als erfolgreichen Transfer von der Simulation auf einen Humanoiden bezeichnet.

Es gibt kein Paper und keinen namentlich genannten Roboter

Skild sagt nie, um welchen Roboter es sich handelt. Der Beitrag geht nur so weit wie „auf einen Roboter“ und „von der Simulation auf einen Humanoiden“, ohne Hersteller, ohne Modellnummer und ohne Angabe dazu, wie die Policy für den Körper abgestimmt wurde, in dem sie gelandet ist.

Auch einen Spielstand gibt es nicht. Veröffentlicht werden keine Gewinnrate, keine Torzahl, kein Baseline-Vergleich und keine Benchmark-Tabelle, und Skild sagt lediglich, man habe es „zu einem Spiel herausgefordert“, ohne darüber zu berichten, wie das Spiel ausging. Dies ist eine Unternehmens-Blog-Vorschau ohne Paper, ohne Peer-Review, ohne Code und ohne veröffentlichten Checkpoint, womit sie weit von der AlphaGo-Zero-Arbeit entfernt ist, an der sie sich misst. Andere Robotik-Behauptungen in diesem Monat kamen mit einer konkreten Zahl daher, etwa Robocurves Zählung von 60 abgeschlossenen schädlichen Roboterarm-Versuchen von 100; auch über den Roboter des MIT, der Daten durch 3,6 Fuß arktisches Eis zurücksendete, wurde auf dieselbe Weise berichtet.

Skild kündigt an, dass sich der nächste Beitrag mit sozialen Verhaltensweisen in größeren Teams befassen wird und dass das Unternehmen den Ansatz vom Fußball auf kollaborative Manipulation und Navigation im Stadtmaßstab ausweitet. Bis eines dieser Vorhaben mit konkreten Zahlen daherkommt, bleiben die 140 Jahre simuliert und das Spiel ein Video.

Kommentar schreiben

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert