OpenAI sagt, mit Moonshot AI verbundene Personen haben eine Kampagne betrieben, um das Reasoning von OpenAI zu extrahieren

OpenAI sagt, mit Moonshot AI verbundene Personen haben eine Kampagne betrieben, um das Reasoning von OpenAI zu extrahieren

OpenAI hat nach eigenen Angaben eine koordinierte Kampagne unterbunden, die darauf abzielte, das geschützte Reasoning aus seinen Modellen herauszuziehen, und ordnet „einen Kerncluster der Aktivität Personen zu, die mit Moonshot AI, dem Entwickler von Kimi, in Verbindung stehen“. Der am 30. September veröffentlichte Bericht datiert die früheste beobachtete Aktivität auf die erste Juliwoche und gibt an, dass der Cluster bis zum 28. Juli vollständig unterbunden wurde.

OpenAI-Chef Sam Altman vor einem großen weißen OpenAI-Schriftzug.

Die von OpenAI genannten Zahlen sind Versuche, keine Ergebnisse. Das Unternehmen erklärt, sie „beschreiben versuchte, nicht unbedingt erfolgreiche Extraktionen“, sodass aus dem Bericht nicht hervorgeht, wie viel verborgenes Reasoning jemand tatsächlich mitnehmen konnte.

Die Akteure spielten eine Konversation gegen eine andere aus

Als geschütztes Reasoning bezeichnet OpenAI „die interne Aufzeichnung des Modells bei der Bearbeitung einer Aufgabe“. Nach Angaben des Unternehmens kann das Extrahieren dieser Aufzeichnung „Informationen offenlegen, die in der endgültigen Antwort nicht enthalten sind, und anderen dabei helfen, die Fähigkeiten des Modells zu reproduzieren“. Die beschriebene Technik bestand darin, verschlüsseltes Reasoning aus einer Konversation zu kopieren und dann ein Modell in einer zweiten Konversation aufzufordern, es zu entschlüsseln und zu transkribieren.

OpenAI äußert sich konkret dazu, was nach eigener Darstellung nicht passiert ist. Die Akteure hätten „unsere Verschlüsselung nicht geknackt, keine Datenbank kompromittiert und keinen direkten Zugriff auf gespeicherte Nutzerkonversationen erlangt“, so das Unternehmen; stattdessen hätten sie „Modellinteraktionen manipuliert“, sodass geschütztes Reasoning in einer für den Anfragenden lesbaren Form zum Vorschein kam – in einem Umfang, der gegen die Nutzungsbedingungen verstieß.

An zwei Tagen im Juli schnellte das Volumen in die Höhe

OpenAI datiert den Beginn auf den 1. Juli, „zunächst in geringem Umfang“, und erklärt, der Datenverkehr sei dann sprunghaft gestiegen: „Spitzen mit hohem Volumen am 24. und 25. Juli, bestehend aus 16.000 Anfragen von mehr als 4.000 Nutzern, bei denen ein relevantes Extraktionsmuster verwendet wurde.“ Eine breitere Suche förderte verwandte Prompt-Muster-Aktivität in einem Cluster von mehr als 15.000 Nutzern zutage, der nach Angaben des Unternehmens bis zum 28. Juli vollständig unterbunden wurde.

Auch Hilfe von außen kam hinzu. OpenAI gibt an, unabhängige Sicherheitsforscher hätten über eine verantwortungsvolle Offenlegung verwandte modellübergreifende Schwächen sowie Schwächen bei der Konversationskomprimierung gemeldet, das Unternehmen habe die Angriffspfade als real bestätigt und ihre Arbeit habe ihm geholfen, „die breitere Angriffsklasse zu verstehen und Gegenmaßnahmen zu beschleunigen“.

Die Zuordnung ist OpenAIs eigene Einschätzung

Die Benennung ist mit einem Vorbehalt von OpenAI selbst versehen: „Es ist unklar, ob alle Akteure, die wir in dem relevanten Zeitraum beobachtet haben, von einem einzigen Akteur stammten.“ Was folgt, ist die eigene Einschätzung des Unternehmens und keine Feststellung eines Gerichts oder einer Regulierungsbehörde. Es nennt keine Einzelperson und legt keine Beweise dafür vor, dass ein Kimi-Modell mit irgendetwas Extrahiertem trainiert wurde.

Der von OpenAI angegebene Grund für den Gang an die Öffentlichkeit ist, was Destillation für die Sicherheitsarbeit bedeutet. Extrahiertes Reasoning könne „dazu verwendet werden, ein anderes Modell zu trainieren, ohne die Sicherheitsvorkehrungen beizubehalten, die auf die nutzerseitigen Ausgaben des ursprünglichen Modells angewendet werden“, und könne in großem Umfang „auch die Übertragung fortschrittlicher Fähigkeiten beschleunigen, ohne dass dieselben Investitionen in Sicherheit erforderlich sind“, so das Unternehmen.

Ein Fix erreicht jeden API-Kunden

OpenAI gibt an, einen Weg geschlossen zu haben, „über den jemand, der bereits im Besitz des verschlüsselten Reasonings eines anderen Nutzers war, dieses erneut abspielen und dessen Inhalt wiederherstellen konnte“, und Prüfungen hinzugefügt zu haben, die gestreamte Ausgaben erkennen und zurückhalten, wenn sie Reasoning offenlegen könnten. Außerdem habe man betrügerische Konten gesperrt oder eingeschränkt, die Anmelde- und Infrastrukturkontrollen verschärft und mit Drittanbieterdiensten zusammengearbeitet, über die die Aktivität abgewickelt wurde.

Die Erkenntnisse gingen über das Frontier Model Forum an andere Labore und an staatliche Kanäle für den Informationsaustausch. Es handelt sich um einen von mehreren Sicherheitsberichten, die OpenAI im September veröffentlichte; darunter 53 Fälle, in denen seine Agenten Nutzerbilder auf Bild-Hosting-Sites hochgeladen hatten. Die eigene Warnung an die übrige Branche lautet, dass „Systeme, die portable oder erneut abspielbare Reasoning-Artefakte unterstützen, ähnlichen Risiken ausgesetzt sein könnten“.

OpenAI stellt dies nicht als abgeschlossen dar. „Partnergehostete Bereitstellungen benötigen dieselben Schutzmaßnahmen wie Erstanbieter-Dienste, und Angriffe auf Tool-Ausgaben erfordern Schutzmaßnahmen, die mehr als gewöhnlichen sichtbaren Text prüfen“, so das Unternehmen. Das liest sich weniger wie eine Nachbetrachtung als wie eine Liste der nächsten anstehenden Korrekturen.

Kommentar schreiben

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert