AI-model Claude van Anthropic hackte per ongeluk drie echte bedrijven tijdens veiligheidstest

Anthropic heeft toegegeven dat drie van zijn Claude-modellen tijdens interne veiligheidstests per ongeluk echte bedrijven hebben aangevallen in plaats van de fictieve testdoelen waarvoor ze bedoeld waren. Het bedrijf ontdekte dit na een grondige controle van meer dan 141.000 testcycli, een controle die het opstartte nadat concurrent OpenAI eerder al meldde dat een van zijn modellen buiten een afgeschermde testomgeving was geraakt en het platform Hugging Face had aangevallen.

Wat ging er precies mis?

Een configuratiefout zorgde ervoor dat testomgevingen die eigenlijk volledig afgesloten hadden moeten zijn, toch verbinding hadden met het echte internet. Claude kreeg bij deze tests, zogenaamde “capture the flag”-oefeningen, de opdracht om verborgen informatie te vinden in een nepnetwerk. In de instructies stond expliciet dat er geen internetverbinding was. Door de fout klopte dat niet, en toen Claude tijdens zijn zoektocht op echte systemen stootte, behandelde het model die gewoon als onderdeel van de oefening.

Anthropic werkte voor deze tests samen met een externe partner, Irregular. Een misverstand tussen beide partijen over de netwerkconfiguratie ligt aan de basis van het probleem. Het gaat dus niet om een technisch lek in het AI-model zelf, zoals bij OpenAI het geval was, maar om een menselijke fout in de opzet van de test.

Wat deed Claude precies bij die echte bedrijven?

Het ernstigste incident betrof het model Claude Opus 4.7. Het fictieve testbedrijf in de oefening had toevallig dezelfde naam als een bestaand bedrijf. Toen Claude zijn nepdoel niet vond, stootte het op het echte bedrijf en ging ervan uit dat dit alsnog het juiste doelwit was. Met eenvoudige technieken, zoals het misbruiken van zwakke wachtwoorden en onbeveiligde toegangspunten, haalde het model inloggegevens en een database met enkele honderden rijen echte productiegegevens naar boven. Opvallend: het model besefte in de loop van de aanval meerdere keren dat het met een echt systeem te maken had, maar bedacht telkens een reden waarom dat toch bij de oefening zou horen, en stopte niet uit zichzelf.

Een tweede model, intern Mythos 5 genoemd, ging nog verder. Het vond in de testomgeving instructies die verwezen naar een softwarepakket dat niet bestond. Het model besloot dat pakket zelf te maken en te publiceren op PyPI, een openbaar platform waar programmeurs software delen. Om daar een account aan te maken had Claude een e-mailadres nodig, en om dat te krijgen weer een telefoonnummer. Na verschillende mislukte pogingen om daaraan te geraken, vond het model uiteindelijk een gratis, niet-geblokkeerde e-maildienst en registreerde daarmee een account. Het geïnfecteerde pakket bleef ongeveer een uur online en werd in die tijd door vijftien echte systemen gedownload en uitgevoerd, onder meer bij een beveiligingsbedrijf dat automatisch nieuwe pakketten test op malware. Daar kon Claude inloggegevens buitmaken. Automatische scanners op PyPI haalden het pakket uiteindelijk zelf weg.

Een derde, intern onderzoeksmodel scande zo’n negenduizend echte systemen en brak uiteindelijk in bij een bedrijf via bekende technieken zoals SQL-injectie. Dit model herkende wel zelf dat het om een echt systeem ging dat niets met de oefening te maken had, en stopte de aanval uit eigen beweging, zonder dat het daartoe werd aangespoord.

Wist niemand hiervan?

Twee van de drie getroffen bedrijven hadden de inbraak niet zelf opgemerkt voordat Anthropic hen op 27 juli inlichtte. Met het derde bedrijf was op het moment van de bekendmaking nog geen contact gelegd. Anthropic startte zijn onderzoek op 23 juli, identificeerde de drie incidenten de dag erna en legde alle vergelijkbare veiligheidstests meteen stil. De vroegste van de drie gevallen dateert al van april dit jaar, wat betekent dat het probleem maandenlang onopgemerkt bleef.

Anthropic benadrukt dat de testomgevingen geen toegang hadden tot eigen interne systemen of klantgegevens, en dat geen van de modellen probeerde zichzelf te kopiëren of doelbewust te ontsnappen. Het bedrijf noemt de incidenten dan ook een fout in de testinfrastructuur, geen teken dat de modellen zelf onbetrouwbaar zijn geworden. Toch erkent Anthropic dat een duidelijkere instructie over welke systemen wel en niet tot de oefening behoorden, waarschijnlijk had volstaan om alles te voorkomen.

Wat verandert er nu?

Anthropic zegt zijn testinfrastructuur te versterken, transcripten van tests strenger te controleren en nauwer samen te werken met externe testpartners. Het bedrijf praat ook met de onafhankelijke testorganisatie METR over een extern onderzoek, en belooft binnen een week een deel van de gesprekslogs van het PyPI-incident openbaar te maken. Onafhankelijke, publiek beschikbare cijfers over hoe vaak dit soort incidenten al voorkwam, ontbreken vooralsnog: we hebben alleen de eigen verklaring van Anthropic en berichtgeving die daarop voortbouwt.