Anthropics FlashProve prüft KI-Modell-Ausgaben, ohne die geheimen Gewichte offenzulegen

Anthropic hat einen Forschungsprototyp veröffentlicht, der die Ausgabe eines KI-Modells prüft, ohne die zu ihrer Erzeugung verwendeten Gewichte offenzulegen. Das System namens FlashProve verwendet kryptografische Beweise, um einen geprüften Token an einen zuvor per Commitment gebundenen Satz von Modellgewichten zu binden.

Die Arbeit befasst sich mit einem Problem, das sich durch das Lesen der Antwort eines Chatbots nur schwer lösen lässt: Nutzer wissen möglicherweise nicht, ob das angeforderte Modell sie erzeugt hat oder ob ein Anbieter ein anderes Modell untergeschoben hat. Laut Anthropic könnte der Prototyp Nutzern und Prüfern eine Möglichkeit bieten, diese Behauptung zu prüfen, ohne das Modell selbst auszuführen.

Dabei handelt es sich um Forschung, nicht um einen neuen Verifizierungsschalter in Claude. Der Test verwendete eine quantisierte Version des Modells Llama 4 Maverick von Meta, und das Erzeugen des Beweises erfordert weiterhin erheblich mehr Rechenleistung als das alleinige Generieren der Antwort.

Ein Beweis kann eine Antwort mit einem bestimmten Satz von Gewichten verknüpfen

In seiner Forschungsankündigung beschreibt Anthropic zwei Phasen. Zunächst veröffentlicht ein Anbieter ein Commitment zu den Modellgewichten. Nachdem eine Anfrage verarbeitet wurde, erzeugt er einen Beweis dafür, dass der geprüfte Token von dem per Commitment gebundenen Modell erzeugt wurde.

Wer über das Commitment, die Eingabe und den Beweis verfügt, kann die Behauptung anschließend prüfen, ohne die proprietären Gewichte zu sehen. Anthropic gibt an, dass der Beweis so konzipiert ist, dass er diese Gewichte und Zwischenberechnungen verbirgt; die Architektur des Modells ist jedoch nicht verborgen.

Das würde einem Prüfer etwas Konkretes darüber sagen, wie eine Antwort erzeugt wurde. Es würde nicht belegen, dass die Antwort korrekt ist, dass das Modell sicher ist oder dass ein Anbieter auf derselben Hardware keine anderen Arbeiten ausführt.

Das Experiment ist weiterhin mit erheblichen Rechenkosten verbunden

Anthropic testete FlashProve mit dem Mixture-of-Experts-Modell Llama 4 Maverick mit 400 Milliarden Parametern und verwendete öffentlich verfügbare 4-Bit-Gewichte. Jede Anfrage verwendete einen Kontext von 1.024 Token, wobei jeder Beweis einen Token prüfte. Das Testsystem nutzte eine Nvidia-H100-GPU und 24 CPU-Kerne, um Beweise in Stapeln von 24 Anfragen zu erzeugen.

Die Forschenden berichten von rund 110 Token pro Sekunde über den gesamten Stapel, bei einem Beweis von etwa 19 MB für eine Anfrage mit 1.024 Token. Das Prüfen eines Beweises dauerte laut den veröffentlichten Messungen mit 24 CPU-Threads etwa 17 Sekunden. Das Unternehmen gibt an, dass das Beweisen pro Gerät etwa 70- bis 95-mal so viel GPU-Zeit benötigte wie das Ausführen desselben Modells mit 8-Bit-Gewichten in der vLLM-Inferenz-Engine. Das Beweis-Experiment verwendete 4-Bit-Gewichte, daher handelt es sich nicht um einen Vergleich identischer Berechnungen.

Diese Werte gelten für das Setup der Forschenden und sind keine Zusage darüber, was einzelne Chatbot-Nutzer sehen werden. Das System von Anthropic erzeugt Beweise nach der Inferenz, statt jeden Token zu beweisen, während er an einen Nutzer gestreamt wird.

Der Prototyp deckt nicht jede Art von Antwort ab

FlashProve prüft derzeit eine ganzzahlige Version des Modells mit Greedy-Decoding. Anthropic weist darauf hin, dass Gleitkomma-Implementierungen oder gesampelte Antworten andere Token erzeugen können und daher möglicherweise nicht mit der nachzuweisenden Berechnung übereinstimmen.

Das System verarbeitet außerdem Kontexte von bis zu 1.024 Token – deutlich kürzer als die Kontextfenster vieler aktueller Assistenten. Sein schnellerer C++-Verifizierer bietet nicht die formale Garantie des separaten Lean-Verifizierers, und das Forschungsteam gibt an, dass die Beziehung zwischen dem formalen Protokoll und dem ausführbaren Code noch geprüft werden muss.

Anthropic hat den Code, die Dokumentation und die mathematischen Beweise unter der Apache-2.0-Lizenz veröffentlicht, damit andere Forschende die Arbeit prüfen und darauf aufbauen können. Die Modellgewichte sind in dieser Veröffentlichung nicht enthalten.