Elf KI-Modelle bewerteten AR-Szenen, und das beste erreichte eine Übereinstimmung mit menschlichen Bewertern von 0,87
Sechs Forschende der Duke University gaben elf kommerziellen Vision-Language-Modellen die Aufgabe, zu bewerten, wie korrekt Augmented-Reality-Inhalte aussehen, und das beste von ihnen ordnete Szenen fast so an, wie Menschen es taten – mit einer Spearman-Rangkorrelation von 0,8695. Die Version auf arXiv wurde am 30. September hochgeladen und ist ein Preprint, obwohl der arXiv-Eintrag besagt, dass die Arbeit auf der VRST 2026 veröffentlicht werden soll, dem ACM-Symposium für Virtual-Reality-Software und -Technologie, das vom 16. bis 18. November in Sendai stattfindet.

Eine Archivillustration zeigt leuchtende Buchstaben, die auf einen runden Spiegel fallen. Das Paper nennt weder die elf getesteten Modelle noch die Hardware, auf der die AR-Szenen aufgenommen wurden.
Dieser Wert betrifft die Übereinstimmung bei der Reihenfolge, nicht die Genauigkeit. Eine Spearman-Rangkorrelation prüft, ob zwei Bewertende dieselbe Menge in derselben Reihenfolge vom schlechtesten zum besten sortieren, und 0,8695 bedeutet, dass die Rangfolge des Modells eng an der der Menschen lag. Sie sagt nichts darüber aus, ob das Modell jemals die tatsächliche Punktzahl einer Person erreichte.
Platzierung, Skalierung und Schatten, zuerst von Menschen bewertet
Das Paper von Elias Rotondo, Lin Duan, Yanming Xiu, Sangjun Eom, Conrad Li und Maria Gorlatova stellt einen Benchmark namens RateAR vor: AR-Bilder und -Videos, die „in unterschiedlichen Szenen und Umgebungsbedingungen aufgenommen wurden", bewertet nach Objektplatzierung, Skalierung und Schattenkonsistenz. Die Übereinstimmung menschlicher Bewertender wird mit einem ICC(2,5) von 0,90 oder besser angegeben, was die Autoren als gute bis ausgezeichnete Reliabilität beschreiben.
Der Grund, warum man das einer Maschine überlassen möchte, sind die Kosten. AR-Head-Mounted-Displays haben „mit eingeschränkter Szenengeometrie, räumlichem Jitter und zeitlicher Instabilität zu kämpfen", heißt es im Abstract; Nutzerstudien, der übliche Weg, um herauszufinden, ob eine Szene falsch aussieht, bringen „Kosten, abnehmende Skalierbarkeit und Inflexibilität" mit sich, die „Engpässe beim iterativen Anwendungsdesign darstellen". Ein Modell, das Szenen so einstuft wie ein Testpanel, könnte bereits in der Schleife mitlaufen, während Entwickler noch Objekte verschieben.
AR wird den Autoren zufolge in Bildungssystemen, der Gesundheitsversorgung und in Risikominderungsprotokollen eingesetzt. Das sind die Umgebungen, in denen ein schlecht verankertes Objekt kein Demo-Problem mehr ist und in denen niemand für jede Iteration ein Testpanel bezahlen möchte.
Dann probierten 21 Personen die automatische Korrektur aus
Der zweite Teil der Arbeit baut auf den Bewertungen ein automatisiertes System zur Anpassung von AR-Inhalten auf und stellt es in einer Nutzerstudie mit 21 Teilnehmenden auf den Prüfstand. „Mehr als 90 Prozent der Teilnehmenden fanden, dass das System die Platzierungs- und Größenkohärenz virtueller Inhalte verbesserte", heißt es im Abstract. Das ist eine geäußerte Präferenz von 21 Personen, was nicht dasselbe ist wie eine Messung, und die Autoren geben es entsprechend wieder.
RateAR ist der eigene Benchmark der Autoren, der für diese Arbeit entwickelt wurde, und er enthält Videos ebenso wie Standbilder. Die menschlichen Bewertungen dahinter sind der Maßstab: Jeder hier berichtete Modellwert misst, wie genau die Maschine dem folgte, was die Menschen sagten, und das ist zugleich die Obergrenze dessen, was der Benchmark überhaupt aussagen kann.
Eine Ablationsstudie ergab, dass das kontextbezogene Prompting des Teams besser mit den menschlichen Bewertungen übereinstimmte als die anderen getesteten Prompting-Strategien, „wobei die eingeführten Komplexitätshinweise ausbalanciert wurden". Welche elf Modelle getestet wurden und welches 0,8695 erreichte, sagt der Abstract nicht. Ebenso wenig nennt er das Headset oder die Brille, mit der die AR-Szenen aufgenommen wurden.
Vision-Language-Modelle werden zunehmend auf das gerichtet, was eine Kamera sieht – für Menschen statt für Entwickler: Google hat Guided Vision in Gemini Live eingeführt und sagt, es ersetze keinen Blindenstock. Die Bewertung einer Entwicklerszene ist eine Aufgabe mit geringerem Risiko, und der aktuelle Stand ist ein Preprint, dessen Nutzerstudie auf 21 Teilnehmenden beruht.