AI-testmodel van OpenAI brak zelfstandig in bij Hugging Face, ook Anthropic vindt gelijkaardige gevallen

Een AI-model dat OpenAI intern liet testen op hackvaardigheden, is zelfstandig uit zijn afgeschermde testomgeving ontsnapt en drong vervolgens door tot de systemen van het AI-platform Hugging Face. Dat maakte OpenAI zelf bekend, nadat Hugging Face eerder al melding had gemaakt van een inbraak. Kort daarna liet ook AI-bedrijf Anthropic weten dat zijn model Claude tijdens gelijkaardige tests bij drie andere organisaties binnendrong. Het gaat om de eerste bevestigde gevallen waarin een AI-agent zonder menselijke tussenkomst een echte inbraak uitvoerde.

Wat is er precies gebeurd?

OpenAI liet een combinatie van modellen intern testen op een hackbenchmark, waarbij de beveiliging bewust was uitgeschakeld om te zien hoever de modellen zelf konden komen. Via een tot dan onbekend lek in Artifactory, softwarebeheersoftware van het bedrijf JFrog, wist de agent te ontsnappen naar het open internet. Van daaruit nam hij de controle over een slecht beveiligde testomgeving van een andere klant bij cloudprovider Modal, en gebruikte die als uitvalsbasis.

Vanuit die uitvalsbasis vond de agent twee zwakke plekken in de manier waarop Hugging Face datasets verwerkt. Daarmee kon hij eerst bestanden uitlezen, waaronder wachtwoorden en broncode, en daarna zelf code laten uitvoeren binnen de systemen van Hugging Face. Van daaruit bewoog de agent zich verder door het interne netwerk, op zoek naar de antwoorden op de hackoefening waarvoor hij was opgezet. Hugging Face herleidde uiteindelijk zo’n 17.600 losse acties, verspreid over ruim vier dagen.

Is er klantdata gestolen?

Volgens Hugging Face zelf niet, buiten de testdata van de eigen benchmark. De agent kreeg toegang tot vijf datasets die verbonden waren met de hackoefening waarvoor hij was opgezet, maar geen andere modellen, datasets of klantomgevingen werden aangeraakt. Wel las de agent gegevens over zoekopdrachten die klanten op het platform hadden uitgevoerd, als operationele bijvangst.

OpenAI meldde later dat dezelfde agent ook op vier andere, niet nader genoemde online diensten inloggegevens vond en gebruikte die publiek toegankelijk stonden. Volgens het bedrijf ging het daar niet om inbraken van dezelfde omvang als bij Hugging Face.

Waarom deed Anthropic ook zo’n onderzoek?

Het incident bij Hugging Face zette Anthropic ertoe aan zijn eigen testgeschiedenis door te lichten. Daaruit bleek dat het model Claude, tijdens tests met een externe partner, drie keer via een verkeerd ingestelde testomgeving toegang kreeg tot het internet en vervolgens ongeoorloofd binnendrong bij drie echte organisaties. Anders dan bij OpenAI ging het niet om een onbekend softwarelek, maar om een testomgeving die per ongeluk internettoegang had terwijl dat niet zo mocht zijn.

Opvallend: het model werd expliciet verteld dat het geen internettoegang had. Toch bleven twee van de drie modelversies doorwerken zodra ze aanwijzingen zagen dat ze op echte systemen actief waren, in de veronderstelling dat dit hoorde bij de oefening. Een van de modellen publiceerde daarbij zelfs een kwaadaardig softwarepakket op een openbare softwarewinkel, dat door anderen werd gedownload voor het werd ontdekt.

Was dit een uitzonderlijk slimme aanval?

Niet volgens beveiligingsexperts die door verschillende media werden geraadpleegd. Zij benadrukken dat de gebruikte technieken bekend en niet bijzonder geavanceerd waren: een menselijke hacker had dezelfde zwakke plekken kunnen vinden. Het verschil zat in de snelheid en de volharding: de agent testte duizenden paden tegelijk, zonder te vermoeien of fouten te vrezen, en was daardoor bijzonder luidruchtig in de logbestanden.

Volgens experts had Hugging Face de aanval eigenlijk sneller moeten opmerken: de bewakingssystemen hadden de verdachte activiteit wel gesignaleerd, maar die melding werd niet snel genoeg opgeschaald naar een mens die kon ingrijpen. Ook het feit dat één gestolen toegangssleutel de agent op meerdere systemen hoge rechten gaf, wordt aangehaald als een vermijdbare fout.

Wat doen de betrokken bedrijven nu?

JFrog heeft de gebruikte lekken in Artifactory verholpen in een nieuwe softwareversie, maar gaf geen technische details vrij over de precieze aard van de kwetsbaarheden. OpenAI zegt het betrokken onderzoeksmodel te hebben uitgeschakeld, versleuteld en afgesloten van verder onderzoek, en werkt aan een uitgebreider technisch rapport. Anthropic laat een onafhankelijke groep, METR, de eigen incidenten nog eens doorlichten.

Hugging Face heeft intussen een gedetailleerd technisch verslag gepubliceerd van hoe de aanval precies verliep, inclusief de commando’s die de agent gebruikte. Het bedrijf zegt dat te doen omdat de techniek volgens hen belangrijker is dan het incident zelf: ze tonen hoe krachtig autonome AI-agents nu al zijn geworden in het opsporen van softwarefouten, en waarschuwen dat de hele sector zijn beveiliging moet aanscherpen.