Meta teilt Ray-Ban-Display-Entwicklern mit, dass das untrusted-content-Flag nicht durchgesetzt wird
Meta verfügt über ein Flag, mit dem Web-Apps auf der Ray-Ban Display Meta AI mitteilen, dass ein Text von einer nicht vertrauenswürdigen Quelle stammt, und Metas eigene Dokumentation weist Entwickler an, sich nicht darauf zu verlassen. „Setzen Sie untrustedContentHint ehrlich, da es sich nicht um eine erzwungene Sicherheitsgrenze handelt“, heißt es auf Metas WebMCP-Agent-Tools-Seite. „Der Ergebnistext Ihres Tools fließt in den Kontext des Assistenten ein. Ungekennzeichnete, nicht vertrauenswürdige Inhalte zurückzugeben, ist daher der Weg, auf dem eine Prompt-Injection das Modell erreicht.“

Das Meta Neural Band, das Armband, mit dem Träger die Brille per Hand steuern, wenn sie nicht mit dem Assistenten sprechen. Bild: Mixed News Medienarchiv
Die Seite ist Metas Leitfaden für Entwickler, die Web-Apps bauen, die der Assistent auf der Brille per Sprache bedienen kann, gelesen am 7. Oktober um 22:04 UTC. Meta sagt, die Funktion selbst sei „standardmäßig deaktiviert und wird pro Gerät aktiviert“, erreiche die Brille entweder über den Entwicklermodus oder „weil sich der Träger im Rollout befindet“, und dass „WebMCP für Web-Apps bald kommt“. Es handelt sich also um eine Anleitung, die vor einem breiten Rollout verfasst wurde, nicht um einen Bericht über etwas, das einem Träger passiert ist.
Meta rät Entwicklern, ihrem eigenen Assistenten zu misstrauen
Meta rät Entwicklern außerdem, den Argumenten, die der Assistent ihnen übergibt, nicht zu vertrauen: „Meta AI wählt die Argumente aus. Nichts garantiert, dass sie Ihrem inputSchema entsprechen“, heißt es dort. Daher sollten Entwickler „Eingaben als nicht vertrauenswürdig behandeln und sie in execute validieren, genau wie einen Request-Body aus dem Netzwerk“. Danach folgt eine schlichte Sicherheitsregel: „Führen Sie niemals eine destruktive oder irreversible Aktion aus, nur weil ein Tool mit plausibel erscheinenden Argumenten aufgerufen wurde.“
Meta weitet dieselbe Skepsis auf das aus, was der Assistent zurückmeldet. Eine Designregel lautet schlicht „Die Seite ist der Schiedsrichter“: „Akzeptieren Sie niemals die Darstellung von Meta AI darüber, was passiert ist. Tools liefern Fakten, die Ihre Seite überprüfen kann. Wenn ein Ergebnis bewertet werden kann, bewertet Ihre Seite es.“ Wenn das Modell melden muss, was der Träger gesagt hat, und daraufhin handeln soll, fordert Meta die Entwickler auf, „beides in einem einzigen Aufruf zusammenzuführen, damit es keinen Pfad zu einem Ergebnis gibt, der die Prüfung überspringt“.
Meta fordert Entwickler außerdem auf, keine echte Antwort in eine Parameterbeschreibung zu setzen, denn „ein Modell wird das Beispiel senden“, und dazu, „Platzhalterformen statt plausibler Werte zu verwenden“. Jede dieser Regeln weist in dieselbe Richtung, und alle stammen von Meta: Gehen Sie davon aus, dass der dem Modell übergebene Text Anweisungen enthalten kann; gehen Sie davon aus, dass die Argumente möglicherweise nicht dem Schema entsprechen; und akzeptieren Sie nicht die Darstellung des Modells darüber, was es getan hat.
Sieben Namen schlagen fehl, ohne Bescheid zu geben
Die reservierten Toolnamen sind eine zweite Falle. Sieben davon sind „für die eigenen Tools des Browsers reserviert und werden abgelehnt“: openUrl, goBack, goForward, reload, getCurrentUrl, getPageTitle und getPageText. Das sind genau die Namen, nach denen ein Entwickler greifen würde, wenn er die Navigation einrichtet.
Der Fehlschlag ist unsichtbar. „Die Ablehnung erfolgt, nachdem registerTool() bereits aufgelöst wurde; aus Sicht der Seite bleibt dieser Fehlschlag daher lautlos“, schreibt Meta. „Das Promise erfüllt sich, und das Tool erreicht Meta AI einfach nie.“ Meta formuliert dieselbe Warnung allgemeiner: „Eine native bzw. anbieterseitige Ablehnung wird der Seite nicht zurückgemeldet; daher belegt diese nicht, dass der Assistent das Tool sehen kann.“
All das betrifft die Brille statt eines Smartphones – wegen der Bildschirmgröße. Meta gibt das Panel der Ray-Ban Display mit „600x600px“ und ohne Touchscreen an, sodass „eine Aufgabe, die fünf Fokusbewegungen und drei Pinch-Gesten durch Ihre UI erfordert, oft stattdessen ein gesprochener Satz sein kann“. Sprache ist bei dieser Größe die kostengünstige Interaktion, was auch der Grund dafür ist, dass der Assistent überhaupt Texte aus Drittanbieter-Apps liest.
Nichts hier beschreibt einen Angriff, eine Offenlegung oder einen Patch. Es handelt sich um eine Reihe von Anweisungen für Entwickler einer Funktion, die die meisten Besitzer nicht einschalten können, auf Brillen, die Meta in Großbritannien für 749 £ und in Deutschland für 899 € anbietet. Das Bemerkenswerte daran ist, wer sie geschrieben hat: das Unternehmen, das sowohl den Assistenten als auch die Brille ausliefert und Entwicklern in seiner eigenen Dokumentation zeigt, wo sich das Modell zu etwas überreden lässt.