OpenAI sagt, GPT-6.1 Sol migriert COBOL jetzt in 86,6 % der Fälle korrekt, gegenüber 5,4 % zuvor
OpenAI gibt an, dass GPT-6.1 Sol alte COBOL-Programme jetzt mit deutlich weniger Fehlern in moderne Sprachen migrieren kann. In zwei neuen Tests, die OpenAI selbst entwickelt und durchgeführt hat, bestand GPT-6.1 Sol bei geringem Reasoning-Aufwand 86,6 % der COBOL-Migrationen. GPT-5.6 Sol schaffte 5,4 %, und das neue Modell war im Betrieb 39 % günstiger.

OpenAIs Titelkarte für GPT-6.1 Sol, das Modell hinter den COBOL-Ergebnissen. Bild: OpenAI
Bei höherem Aufwand erreicht das Ergebnis 97,9 %. OpenAI zufolge liegt das nahe an dem Maximum, das der Test messen kann.
COBOL wickelt noch immer Bankgeschäfte ab, und eine Neuimplementierung kann die Zahlen unbemerkt verändern
Für COBOL, Fortran und Visual Basic gibt es weit weniger öffentlich zugänglichen Code, von dem Modelle lernen können, als für Python oder JavaScript. Dennoch wickelt COBOL noch einen Großteil des weltweiten Bankgeschäfts ab, und Fortran führt Wettervorhersagen aus.
OpenAIs Test verlangt von einem Modell, COBOL-Programme in C++, Java, Kotlin, Python oder Rust neu zu schreiben. Versteckte Tests prüfen anschließend, ob jede Ausgabe Byte für Byte mit dem Original übereinstimmt, und eine Migration zählt nur, wenn alle bestehen.
OpenAI nennt ein Beispiel für diese Falle. Sofern COBOL nicht zum Runden angewiesen wird, verwirft es zusätzliche Dezimalstellen. Eine Neuimplementierung, die rundet, kann daher fehlerfrei laufen und trotzdem andere finanzielle Ergebnisse liefern.

OpenAIs Titelkarte für GPT-6 Sol und Luna. Luna ist das günstigere Modell im SQLite-Test. Bild: OpenAI
GPT-6 Astra bestand 87,4 % der Tests beim Aufbau einer Datenbank in 20 Sprachen
Der zweite Test, MultiLangBench, verlangt von einem Modell, in 20 Programmiersprachen von Grund auf eine Datenbank-Engine zu entwickeln, die sich wie SQLite verhält. OpenAI vergleicht jedes Ergebnis mit dem echten SQLite und verwendet dafür Tests, die aus der SQLite-Testsuite übernommen wurden.
GPT-6 Astra erreichte über die 20 Sprachen hinweg durchschnittlich 87,4 %, nach 26,8 % für GPT-5.6 Sol. In 19 davon lag das Ergebnis über 83 %. COBOL blieb mit 72,1 % am schwierigsten, nach zuvor 10,9 %. Das günstigere GPT-6 Luna erreichte 40,3 % und kam dabei auf geschätzt 78 % niedrigere API-Kosten als GPT-5.6 Sol. OpenAI hat den Test auf GitHub veröffentlicht, damit Entwickler sehen können, was er prüft.

Artwork von OpenAIs Codex-Seite. OpenAI lädt Entwickler dazu ein, die neuen Modelle mit ihrem eigenen Code auszuprobieren. Bild: OpenAI
OpenAI hat beide Tests selbst entwickelt und nur die eigenen Modelle miteinander verglichen
Beide Benchmarks sind neu und wurden von OpenAI entwickelt; in den Ergebnissen tauchen keine Konkurrenzmodelle auf. OpenAI betont außerdem, dass jede echte Migration weiterhin eine Prüfung durch Experten sowie Tests anhand der Geschäftsregeln erfordert, die dabei erhalten bleiben müssen.
Die Ergebnisse folgen auf OpenAIs frühere Ironclad-Evaluierung von GPT-6 Astra, die ebenfalls nur mit OpenAIs eigenen Zahlen veröffentlicht wurde. Für Teams mit jahrzehntelang gewachsenem COBOL-Code ist die Zahl von 97,9 % ein Grund, eigene Tests durchzuführen, statt sie auszulassen.