Glasscast bringt Ihr gesamtes Android-Smartphone auf Ray-Ban Display, in ein Quadrat gequetscht

Glasscast bringt Ihr gesamtes Android-Smartphone auf Ray-Ban Display, in ein Quadrat gequetscht

Ein Open-Source-Projekt namens Glasscast streamt ein komplettes Android-Smartphone auf die Meta Ray-Ban Display und lässt das Neural Band wie ein Touchpad fungieren. Seine Lösung für die Form des Brillenpanels besteht darin, das Telefon quadratisch zu machen. Die Brille hat ein 600x600-Display, daher staucht die Begleit-App den Bildschirm des Telefons während einer Sitzung auf 1080x1080 zusammen, was laut Projekt dazu führt, dass „die gesamte App das Display ausfüllt, kein Letterboxing, Text groß genug zum Lesen“.

Eine Person in einer Jeansschürze steht in einer Werkstatt mit dem Arm an der Seite und trägt das schwarze Meta Neural Band am Handgelenk

Das Meta Neural Band. Glasscast interpretiert dessen Kneifen und Daumenwischen als Tippen, Scrollen und Ziehen auf dem Telefon. Bild: Mixed News Medienbibliothek

Die Display-Angabe stammt von Meta, nicht vom Projekt. Metas eigene Entwicklerdokumentation besagt, dass bei der Ray-Ban Display „das Display 600x600px groß ist und es keinen Touchscreen gibt“, gelesen um 22:04 UTC am 7. Oktober. Das Glasscast-Repository, gelesen um 22:05 UTC am selben Tag, ist MIT-lizenziert und wurde am 25. September erstellt.

Kneifen übernimmt das Tippen, WebRTC das Streaming

Der Ansatz ist, dass nichts für die Brille neu geschrieben werden muss. „Jede App auf Ihrem Android-Smartphone, auf dem Display der Brille“, beginnt die README, mit „kein Warten auf Brillen-Versionen Ihrer Apps“. Der Bildschirm des Telefons wird über WebRTC mit dem Hardware-H.264-Encoder des Telefons übertragen, und die Ansicht „folgt der App im Vordergrund, einschließlich Pop-up-Fenstern und geteiltem Bildschirm“.

Die Eingabe erfolgt über das Band. „Kneifen zum Tippen, zweimal schnell kneifen zum Doppeltippen, Daumenwischen zum Scrollen“, und ein Kneifen gefolgt von Kneifen und Halten legt einen Finger für Ziehen, Textauswahl und langes Drücken auf. Beim Tippen geht es umgekehrt: Der eigene Composer der Brille nimmt Diktat oder Handschrift auf, und die Begleit-App tippt das Ergebnis in das Telefon und drückt die Senden-Schaltfläche der App, denn, wie das Projekt es formuliert, „WhatsApp, ChatGPT und Claude behandeln Enter alle als neue Zeile, also findet es die echte Schaltfläche“.

Der Quadrat-Trick ist der Teil, der einmal einen Computer erfordert. Das Ändern der Bildschirmgröße eines Telefons erfordert eine Berechtigung, die Android nur über ADB erteilt, daher beinhaltet die Installation eine einmalige Freigabe über USB-Debugging, die laut Projekt dann Neustarts und App-Updates übersteht. Ohne diese, so das Projekt, „folgt die Ansicht weiterhin der App im Vordergrund, mit Letterboxing“. Glasscast benötigt außerdem den Bedienungshilfen-Dienst von Android, mit dem es tippt und schreibt, und der Autor gibt an, dass es „nur auf das reagiert, was die Brille während einer Sitzung sendet“.

Das Relay sieht den Handshake, nicht den Bildschirm

Das Standardsetup läuft über ein Relay, das der Autor hostet, und drei Commits mit Zeitstempel 09:29:32 UTC am 7. Oktober wurden geschrieben, um zu dokumentieren, was es speichert. Das Relay leitet den Pairing-Austausch und das signierte WebRTC-Setup weiter, und die README sagt: „Es speichert keinen Schlüssel und kann nichts genehmigen“. Das Bildschirmvideo und die Eingabe laufen überhaupt nicht darüber: Laut Projekt gehen diese direkt zwischen Telefon und Brille, „Ende-zu-Ende verschlüsselt (DTLS-SRTP)“, und eine Sitzung läuft weiter, wenn das Relay verschwindet. Was es speichert, ist eine zufällige ID pro Telefon, ein Hash des Begleit-Tokens, der Modellname des Telefons und zwei Verbindungszeiten, auf die Stunde genau aufgezeichnet. Es stellt auch die Brillen-App bereit, was der Autor als das Einzige nennt, das durch Self-Hosting entfällt.

Dies ist als Tech-Preview gekennzeichnet, und die Einschränkungen werden damit veröffentlicht. Das Projekt gibt an, dass es mit einer Kombination getestet wurde, einem Samsung Galaxy S25 mit Android 16 und Ray-Ban Display, und dass andere Telefone mit Android 11 oder neuer „funktionieren sollten, ungetestet“. Das Telefon muss wach und entsperrt bleiben, da Android die Bildschirmaufnahme stoppt, wenn es gesperrt wird. Sein WLAN muss eingeschaltet sein, denn bei ausgeschaltetem WLAN nutzt die Verbindung Bluetooth, „das zu langsam für flüssiges Video ist“. Apps, die Screenshots blockieren, zeigen schwarz, und es gibt keine iPhone-Version. Meta hat mit all dem nichts zu tun, und es werden keine Angaben zu Bildrate oder Latenz veröffentlicht.

Die Brille wird mit einer Handvoll eigener Apps ausgeliefert, und genau diese Lücke zielen Projekte wie dieses ab. Ein anderer Entwickler hat dasselbe Neural Band auf eine Rokid-Brille gerichtet, und Meta selbst hat Sprach- und Assistenten-Routen in das Display integriert, darunter Hologramm-Anrufe auf WhatsApp, die von Ihrer Stimme statt Ihrem Gesicht gesteuert werden. Glasscast wählt den direkteren Weg: Legen Sie das Telefon, das Sie besitzen, auf die Brille – zu einem Quadrat gestaucht.

Kommentar schreiben

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert