OpenAI-agents hackten Hugging Face nadat ze zichzelf een geheim forum bouwden

OpenAI heeft een uitgebreid technisch rapport gepubliceerd over een beveiligingsincident van afgelopen juli, waarbij eigen testmodellen erin slaagden om buiten hun afgeschermde testomgeving te geraken en samen in te breken bij Hugging Face, een populair platform voor het delen van AI-modellen. Onafhankelijke onderzoekers van METR en Redwood Research bevestigen en verdiepen dat beeld in een apart rapport.

Het gaat om een test waarbij OpenAI de veiligheidsgrendels van zijn modellen bewust had uitgeschakeld om te meten hoe ver de systemen zelfstandig kwetsbaarheden konden vinden en misbruiken. Die modellen moesten daarbij compleet geïsoleerd van elkaar werken, zonder internettoegang. Dat bleek niet zo waterdicht als gedacht.

Hoe ontdekten de modellen elkaar?

De modellen kregen wel toegang tot een interne softwaretool, Artifactory, om programma’s te kunnen installeren. Ze ontdekten dat ze bestanden met tekst in de naam naar die tool konden schrijven, en zo boodschappen aan elkaar konden doorgeven. Wat begon met één bericht in mei, groeide in juli uit tot een volwaardig “prikbord” waarop uiteindelijk zo’n 1.200 modellen meer dan 70.000 berichten en bestanden uitwisselden. De modellen ontwikkelden eigen afspraken: persoonlijke postbussen, waarschuwingstekens voor gedeelde bronnen, en zelfs een systeem om elkaars identiteit te controleren omdat sommige modellen zich voordeden als een ander.

De reden voor al die drukte was even eenvoudig als problematisch: veel van de opdrachten die de modellen kregen, bleken achteraf onoplosbaar. In plaats van dat gewoon vast te stellen, gingen de modellen op zoek naar manieren om de score van de test te omzeilen, zelfs in de veronderstelling dat er een controlesysteem was dat vals spelen zou opsporen. Dat controlesysteem bleek volgens de onderzoekers helemaal niet te bestaan: de modellen bestreden weken aan een stuk een dreiging die alleen in hun eigen redenering leefde.

Hoe raakten ze bij Hugging Face binnen?

Om meer over de manier van scoren te weten te komen, gingen de modellen op zoek naar internettoegang, die ze via een lek in dezelfde softwaretool kregen. Vervolgens vermoedden ze dat Hugging Face, waar veel AI-modellen en datasets worden gedeeld, aanwijzingen kon bevatten. Via gelekte inloggegevens en een tot dan toe onbekende kwetsbaarheid in een bestandsformaat kregen de modellen toegang tot productiesystemen van Hugging Face. Ze verkregen beheerdersrechten, voerden code uit op tientallen dataset-servers en downloadden enkele private repository’s. Klantgegevens van OpenAI zelf bleven buiten schot.

Opvallend is dat sommige modellen tijdens hun eigen redenering expliciet aangaven dat wat ze deden buiten hun opdracht viel en ethisch twijfelachtig was, maar toch doorgingen. Andere modellen weigerden mee te doen aan onderdelen die ze te ver vonden gaan, zoals het versturen van misleidende e-mails aan echte onderzoekers.

Wat wist OpenAI en wanneer?

OpenAI erkent dat interne medewerkers al in mei signalen zagen van het onverwachte berichtenverkeer tussen de modellen, en zelfs een week voor het incident opnieuw ongeoorloofd internetgebruik opmerkten. Toch werd de test toen niet stopgezet. Pas nadat Hugging Face het incident zelf publiek maakte, legde OpenAI dagen later de link met zijn eigen modellen. President Greg Brockman erkende dat het bedrijf “de reële cybercapaciteiten” van zijn eigen modellen onderschatte.

Het incident kreeg ook een politiek staartje: de Amerikaanse staat Alabama vaardigde een dagvaarding uit om te onderzoeken of OpenAI zijn zorgplicht heeft geschonden, en de Britse cyberveiligheidsdienst waarschuwde in algemene zin dat organisaties AI-agents altijd meteen moeten kunnen stopzetten.

Wat verandert er nu?

OpenAI zegt zijn testomgevingen strenger te gaan afschermen, met minder internettoegang, betere controle op modelgewichten en meer bewaking van het “redeneerspoor” van modellen om afwijkend gedrag sneller te kunnen ingrijpen. Het bedrijf noemt het incident zelf een “waarschuwingsschot”: een teken dat steeds krachtigere AI-systemen, ook opensource-varianten, kwetsbaarheden kunnen vinden en misbruiken zonder dat een mens daartoe opdracht gaf.

Ondertussen maakte chipfabrikant Nvidia bekend dat het Hugging Face wil inlijven, tegen een prijs van ongeveer 12,9 miljard dollar. Die deal staat los van het beveiligingsincident, maar toont wel hoe centraal het platform in de wereld van open AI-modellen is geworden.