OpenAI claimt hogere score voor GPT-5.6 dan Claude Opus 5, maar de test is niet dezelfde

OpenAI heeft nieuwe testresultaten gepubliceerd waaruit zou blijken dat zijn model GPT-5.6 Sol beter scoort dan Claude Opus 5 van concurrent Anthropic op ARC-AGI-3, een logicatest die kunstmatige intelligentie op algemeen redeneervermogen beoordeelt. Het probleem: OpenAI gebruikte daarvoor niet de officiële, neutrale testopstelling, maar een eigen configuratie met twee extra instellingen die het resultaat flink omhoog duwden.

Met die eigen opstelling haalt GPT-5.6 Sol een score van 38,3 procent, tegenover 30,2 procent voor Claude Opus 5 in de officiële meting. Zonder die extra instellingen, in de standaardtest die voor alle aanbieders gelijk is, haalde het OpenAI-model maar 7,8 procent.

Wat verklaart dat grote verschil?

Het verschil zit in twee technische instellingen die OpenAI aanbiedt via zijn eigen ontwikkelaarsomgeving: “retained reasoning” en “compaction”. De eerste zorgt ervoor dat het model zijn redeneerstappen kan bijhouden tussen verschillende acties in de test, in plaats van die telkens te moeten weggooien. De tweede vat oudere informatie samen in plaats van die simpelweg af te knippen wanneer het geheugen van het model vol raakt.

In de officiële testopstelling van ARC Prize, de organisatie achter de benchmark, worden die instellingen niet gebruikt. Daar moet elk model onder dezelfde, vaste voorwaarden werken, zodat de vergelijking tussen aanbieders eerlijk blijft. OpenAI stelt dat dit geen correct beeld geeft, omdat een benchmark volgens het bedrijf niet enkel het model test, maar ook de technische omgeving errond.

Wie heeft hier gelijk?

De organisatie achter de test erkent zelf dat er iets scheef zat. François Chollet, medeoprichter van ARC Prize, zei dat de officiële test OpenAI mogelijk benadeelde omdat die gebruikmaakte van een oudere versie van OpenAI’s ontwikkelaarstoegang, die niet dezelfde mogelijkheden bood als de nieuwste versie die Anthropic al wel kon gebruiken.

Chollet maakt daarbij een onderscheid: instellingen die specifiek gemaakt zijn om deze ene test te kraken, zijn niet toegestaan. Instellingen die gewoon beschikbaar zijn voor elke gebruiker van de ontwikkelaarstoegang, zoals de twee die OpenAI hier gebruikte, zijn dat volgens hem wel. Toch houdt ARC Prize vast aan zijn standaardmethode zonder providerspecifieke aanpassingen, net om de vergelijking tussen verschillende AI-bedrijven eerlijk te houden. Chollet noemt het aanvaardbaar dat aanbieders verschillende instellingen gebruiken, “zolang de instellingen en de kosten duidelijk gerapporteerd worden”.

Onafhankelijke, door derden gecontroleerde cijfers die de claims van OpenAI bevestigen of ontkrachten, zijn er op dit moment niet. Wat er ligt, zijn testresultaten die OpenAI zelf heeft gepubliceerd, plus een reactie van de testorganisatie die deels begrip toont voor OpenAI’s punt, maar de eigen meetlat niet aanpast.

Waarom komt dit nu naar boven?

De discussie volgt op een eerdere aankondiging van Anthropic, dat met Claude Opus 5 het bestaande record op deze benchmark met een veelvoud verbeterde. OpenAI’s publicatie lijkt een directe reactie daarop, in een periode waarin AI-bedrijven elkaar voortdurend proberen te overtreffen op dit soort testen.

Die onderlinge race staat niet los van een breder ongemak binnen de sector zelf. Bijna 1.300 medewerkers van AI-bedrijven, onder wie mensen bij OpenAI, Anthropic en Google DeepMind, riepen recent de Amerikaanse overheid op om internationaal AI-onderzoek doelbewust te helpen vertragen. Ze wijzen erop dat de druk om sneller te gaan dan de concurrentie zo groot is dat geen enkel bedrijf zelf op de rem durft te staan, ook al voelen ze zelf onbehagen bij het huidige tempo. Dat de sector tegelijk vecht om enkele procentpunten op een benchmark en intern waarschuwt voor een te hoog ontwikkeltempo, illustreert hoe die druk in de praktijk werkt.

Verandert dit iets aan welk model je moet gebruiken?

Voor de meeste bedrijven verandert er weinig. Benchmarkscores als deze meten abstract logisch redeneren onder gecontroleerde, kunstmatige omstandigheden, niet hoe een model presteert bij het opstellen van een offerte, het beantwoorden van klantenmails of het samenvatten van een contract. Bovendien tonen de eigen cijfers van OpenAI dat de uitkomst voor exact hetzelfde model bijna vijf keer hoger kan uitvallen naargelang de gekozen instellingen, wat aangeeft hoe wisselvallig dit soort vergelijkingen is.