Spot Glass bringt die Wärmebildkamera eines Roboters auf Ray-Ban Display und warnt davor, dass die URL öffentlich ist

Spot Glass bringt die Wärmebildkamera eines Roboters auf Ray-Ban Display und warnt davor, dass die URL öffentlich ist

Ein Projekt namens Spot Glass streamt die Rumpfkameras eines Boston-Dynamics-Spot-Roboters und eine darauf montierte FLIR-Wärmebildkamera in den Web-App-Slot auf dem Meta Ray-Ban Display. Es enthält außerdem eine Warnung des Entwicklers zu seinem eigenen Code: „Ein Tunnel-Hostname ist öffentlich: Jeder, der die URL kennt, kann den Feed ansehen. Stellen Sie ihn hinter Cloudflare Access, bevor Sie ihn wirklich bereitstellen.“

Ein gelber Boston-Dynamics-Spot-Roboter, der eine Sensor-Nutzlast an einem Umspannwerk trägt

Ein Spot-Roboter, der eine Sensor-Nutzlast an einem Umspannwerk trägt. Spot Glass streamt die eigenen Kamerafeeds des Roboters, einschließlich einer Wärmebildansicht, an die Brille. Bild: Boston Dynamics

Das Projekt wurde am 8. Oktober um 05:00 UTC erstellt, und der letzte Commit erfolgte am selben Tag um 05:39 UTC. Es ist MIT-lizenziert und hatte am 8. Oktober um 21:24 UTC einen Stern, als es gelesen wurde.

Zwei Kameraquellen, ein ausgehender Tunnel

Die README beschreibt zwei Feeds. Der erste liest Spots Rumpfkameras „über den authentifizierten Bilddienst des Roboters“, wobei die beiden Frontkameras „entzerrt und zu einem einzigen Panorama zusammengefügt“ werden und eine Einstellung die schwarzen Ecken abschneidet, die die Entzerrung hinterlässt; die wählbaren Ansichten sind vorne, vorne links, vorne rechts, hinten, links und rechts. Der zweite ist eine RTSP-Nutzlastkamera, bei der es sich auf dem Projektfoto um eine FLIR A700 handelt.

Jedes Relay „hält eine Verbindung zu seiner Kamera in einem Hintergrund-Thread, behält nur den neuesten Frame und liefert ihn als MJPEG aus“. Nichts lauscht auf eingehenden Datenverkehr: cloudflared „stellt eine Verbindung nach außen zu Cloudflare her, sodass keine eingehenden Ports geöffnet werden“, und die Relays selbst binden an 127.0.0.1 auf den Ports 21001 und 5000. Am anderen Ende kommen vier Routen heraus: eine Viewer-Seite, ein MJPEG-Stream, das neueste einzelne JPEG und ein Health-Check, der 200 zurückgibt, „wenn in den letzten 10 Sekunden ein Frame eingetroffen ist, andernfalls 503“. Beide Relays können sich einen öffentlichen Hostnamen teilen, wobei die Spot-Routen vor der Catch-all-Route abgeglichen werden.

Die veröffentlichten Standardwerte sind bescheiden, und es handelt sich um Standardwerte, nicht um Messungen: 10 Bilder pro Sekunde ein und aus, JPEG-Qualität 60, und alles, was breiter als 480 Pixel ist, wird herunterskaliert. Die Viewer-Seite zielt auf das 600x600-Panel der Brille ab und „fällt von MJPEG auf Snapshot-Polling zurück, wenn der Stream nicht gerendert wird“, was ein nützlicher Hinweis darauf ist, wie der Browser von Ray-Ban Display mit einer langlebigen Antwort umgeht.

Was ein Cloudflare-Tunnel tut und was nicht

Ein Cloudflare-Tunnel funktioniert, indem cloudflared eine Verbindung nach außen zu Cloudflare aufbaut, weshalb das Projekt sagen kann, dass keine eingehenden Ports geöffnet werden. Der Hostname, unter dem der Tunnel dann antwortet, ist ein gewöhnlicher öffentlicher DNS-Name. Cloudflare Access, das das Projekt als dasjenige nennt, das davor platziert werden soll, ist Cloudflares eigene Authentifizierungsschicht für einen getunnelten Dienst.

Boston Dynamics und Meta sind daran nicht beteiligt

Die Entzerrung und das Zusammenfügen werden in der README beschrieben, aber nicht demonstriert. Es werden keine Angaben zu Bildrate, Latenz oder Reichweite veröffentlicht. Metas einzige Beteiligung besteht darin, die Brille überhaupt für Web-Apps geöffnet zu haben. Das Wärme-Relay ist außerdem als Spot CORE I/O Extension verpackt, was das eigene Add-on-Format des Roboters ist.

Um eine beliebige Web-App auf die Brille zu bekommen, läuft der Weg über den Entwicklermodus und Metas eigenen Eintrag „Add a Web App“ unter den App-Verbindungen – der einzige Weg, den Meta anbietet, und derselbe, den jedes andere Ray-Ban-Display-Projekt nutzen musste. Meta veröffentlicht keinen Store für diese Apps, daher zirkuliert jede einzelne als URL.

Es ist nicht das einzige Projekt, das auf diesen 600x600-Slot abzielt. Ein anderer Entwickler hat ein ganzes Android-Telefon auf das Display gebracht, indem er es zu einem Quadrat zusammengedrückt hat. Während jenes Ihre Messaging-Apps in Ihrem Gesicht haben möchte, möchte dieses ein Wärmebild von dem, was der Roboter gerade betrachtet.

Kommentar schreiben

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert