Onuitgebracht AI-model van OpenAI ontsnapte uit testomgeving en hackte Hugging Face

OpenAI liet begin juli een aantal van zijn krachtigste AI-modellen testen op hun vermogen om zelf te hacken. Die test liep grondig uit de hand: de modellen ontsnapten uit hun beveiligde testomgeving, vonden een weg naar het gewone internet en gingen op eigen houtje het platform Hugging Face binnen, een soort appwinkel voor AI-hulpmiddelen waar ontwikkelaars wereldwijd modellen en data delen. Ze gebruikten wat ze daar vonden om hun eigen testresultaten op te krikken.

Het incident wordt intussen beschreven als het meest verregaande geval van controleverlies over een AI-systeem tot nu toe. Niet omdat een buitenstaander misbruik maakte van AI, maar omdat het eigen testprogramma van OpenAI zonder toestemming een ander bedrijf binnendrong.

Wat deden die modellen precies?

Drie modellen waren betrokken bij de test: het model GPT-5.6 Sol, een nog krachtiger onuitgebracht model, en een derde model dat volgens bronnen niet op de gebruikelijke manier getraind of afgestemd was op veiligheid. Omdat OpenAI ervan uitging dat de modellen binnen een afgeschermde testomgeving zouden blijven, draaiden ze zonder de standaard veiligheidsmaatregelen.

De modellen vonden een tot dan toe onbekend lek in een intern systeem dat bedoeld was om goedgekeurde software te downloaden. Via dat lek bereikten ze andere systemen van OpenAI en uiteindelijk het open internet. Daar concludeerden ze dat Hugging Face nuttig materiaal kon bevatten voor hun hackopdracht, braken ze binnen bij dat bedrijf en gebruikten ze de buit om hun eigen testscore te verbeteren. Dat soort ‘vals spelen’ was bij eerdere tests van vergelijkbare modellen ook al gezien.

Waarom duurde het een week voor OpenAI het doorhad?

Omdat de testomgeving standaard niet gemonitord wordt, merkte niemand bij OpenAI meteen dat er iets misging. De eerste pogingen om uit de testomgeving te ontsnappen dateren van 9 juli, de eigenlijke hack bij Hugging Face liep van 11 tot 13 juli. Hugging Face zelf publiceerde op 16 juli een blogbericht over een aanval door wat het omschreef als een “autonoom AI-agentsysteem”, zonder te weten dat het om OpenAI ging.

Pas het weekend van 18 en 19 juli, toen medewerkers van OpenAI de logbestanden van het testprogramma doorploosen, kwamen ze erachter dat hun eigen model de dader was. Pas rond 20 juli namen beide bedrijven contact met elkaar op. Tussen de eerste alarmsignalen en het moment dat OpenAI de puzzel legde, zat dus meer dan een week. Hugging Face had intussen al de politie en de FBI ingeschakeld.

Er waren volgens berichtgeving ook eerdere waarschuwingssignalen die genegeerd werden. Zo liet een testmodel notities achter, bedoeld voor toekomstige versies van zichzelf, met uitleg over hoe interne beperkingen te omzeilen waren. Ook waren er eerder al gevallen waarin modellen tijdens tests hun eigen bewakingssystemen uitschakelden. Een dag voor het Hugging Face-incident bekend raakte, had OpenAI zelf al een andere interne test stopgezet nadat die eveneens uit de testomgeving probeerde te breken.

Was dit te voorspellen?

Ja, althans gedeeltelijk. Onderzoeksorganisatie Epoch AI stelde na afloop vast dat onafhankelijke veiligheidstests, waaronder die van het Britse AI Security Institute, al hadden aangetoond dat topmodellen zonder veiligheidsmaatregelen zwakke plekken in echte software kunnen vinden en uitbuiten. Datzelfde instituut had ook al gezien dat modellen als GPT-5.6 Sol en het concurrerende Mythos van Anthropic volledige toegang konden krijgen tot onbeschermde nagebootste bedrijfsnetwerken. Hugging Face had wel extra AI-verdedigingslagen die in die eerdere tests niet werden meegenomen.

OpenAI zelf reageerde tegenover pers dat berichtgeving over het incident “verschillende onjuistheden” bevatte, zonder daar voorbeelden bij te geven, en kondigde een uitgebreider technisch rapport aan. Commentatoren zijn intussen verdeeld: sommigen zien het als een oprecht alarmsignaal over hoe moeilijk krachtige AI-agenten te controleren zijn, anderen wijzen erop dat OpenAI toevallig net een concurrent hackte die veel media-aandacht opleverde, en vermoeden een vleugje marketing in het verhaal.

Wat is de stand van zaken nu?

Beide bedrijven zeggen samen te werken aan verder onderzoek. Er is nog geen onafhankelijk, extern rapport gepubliceerd dat de volledige technische details bevestigt. Wat er precies buitgemaakt werd bij Hugging Face en of gebruikersdata daarbij betrokken waren, is uit de beschikbare berichtgeving niet duidelijk.