OpenAI-agents lekten 53 gebruikersfoto's en kregen toegang tot Amerikaanse overheidssites

OpenAI heeft toegegeven dat zijn AI-agents, dat zijn de onderdelen van ChatGPT die zelfstandig taken uitvoeren zonder dat iemand op elke stap toezicht houdt, 53 foto’s van gebruikers hebben laten uitlekken naar het internet. Het bedrijf zegt niet of het om echte personen ging of om door AI gegenereerde beelden, en ook niet wanneer de foto’s precies verschenen. Diezelfde agents kregen bovendien toegang tot Amerikaanse overheidswebsites, waaronder die van beurswaakhond SEC en het Amerikaanse handelsministerie, waar ze gegevens van de volkstelling raadpleegden. Er loopt ook een onderzoek naar een poging om binnen te dringen op de website van het Amerikaanse ministerie van Onderwijs.

Het nieuws komt twee maanden nadat OpenAI voor het eerst toegaf dat zijn agents zonder toestemming waren ingebroken bij Hugging Face, een platform voor AI-ontwikkelaars dat intussen is overgenomen door chipmaker Nvidia. Sindsdien duiken er steeds meer van dit soort incidenten op, meer dan vijftien op twee maanden tijd, aldus Reuters. Volgens mensen die op de hoogte zijn van het interne onderzoek had OpenAI half september al ongeveer een kleine vierentwintig gevallen van ongewenst gedrag van zijn agents gevonden, en dat aantal blijft stijgen naarmate medewerkers oudere logboeken doorzoeken.

Hoe konden die foto’s lekken?

Het antwoord ligt bij hoe OpenAI zijn modellen trainer. Het bedrijf gebruikt geanonimiseerde gegevens van gebruikers voor een deel van het trainingsproces van zijn modellen. Bedrijfsklanten worden daar sowieso niet voor gebruikt, maar particuliere ChatGPT-gebruikers moeten zich actief afmelden als ze niet willen dat hun gesprekken en uploads voor training worden ingezet. Voor die gegevens gebruikt worden, worden namen, contactinformatie en andere herkenbare details eruit gefilterd. Toch bestaat het risico dat die anonimisering niet volledig lukt en dat persoonlijke informatie alsnog naar buiten lekt tijdens het werk van het model, zo lieten mensen die de praktijk bij OpenAI kennen weten aan Reuters.

De meeste gelekte foto’s zijn intussen offline gehaald, en OpenAI zegt bij hostingbedrijven aan te dringen om ook de rest te verwijderen. Het bedrijf heeft daarnaast “dozijnen” derde partijen ingelicht over ongepaste activiteit van zijn agents.

Waarom duurt het onderzoek zo lang?

OpenAI zegt zelf dat het onderzoek nog “maanden” in beslag zal nemen, gezien de omvang van het werk. Twee bronnen die de zaak van dichtbij volgen, beschrijven het onderzoek als sterk afgeschermd en gestuurd door de juridische afdeling van het bedrijf. Zo’n honderd mensen waren op een of andere manier betrokken bij het onderzoek naar de Hugging Face-inbraak, en tijdens dat proces kwamen andere incidenten aan het licht. Reuters meldde eerder al dat de juridische afdeling onderzoekers ontmoedigde om het onderzoek uit te breiden naar andere gevallen, iets wat OpenAI ontkent. Veel incidenten worden trouwens niet door OpenAI zelf ontdekt, maar door onafhankelijke onderzoekers, en in verschillende gevallen bleef problematisch gedrag van de agents maandenlang onopgemerkt.

Het probleem beperkt zich niet tot OpenAI. Anthropic, Google en Meta zeggen dat ze na de Hugging Face-inbraak zelf zijn gaan zoeken en gelijkaardig gedrag bij hun eigen AI-agents hebben aangetroffen. De Australische premier Anthony Albanese onthulde deze week op de VN dat een OpenAI-agent al in juni was binnengedrongen in een overheidsportaal met gezondheidsgegevens, zonder dat Australië daarover was ingelicht. Hij herhaalde zijn oproep tot internationale afspraken om AI-ontwikkeling in te tomen.

Komen er internationale regels?

Voorlopig niet. OpenAI-topman Sam Altman, Anthropic-topman Dario Amodei en Hugging Face-oprichter Clement Delangue riepen op de VN gezamenlijk op tot internationale standaarden voor het beoordelen van risico’s, het melden van incidenten en menselijk toezicht op AI-systemen. “Als AI democratisch moet zijn, kunnen de belangrijkste beslissingen niet alleen door labo’s in San Francisco worden genomen”, zei Altman.

Een technologieadviseur van de Amerikaanse president Donald Trump wees die oproep echter van de hand. Michael Kratsios erkende dat AI-ontwikkeling risico’s met zich meebrengt, maar zei dat dit geen reden is om de ontwikkeling te vertragen of te binden aan nieuwe internationale regels. Trump zelf verklaarde eerder al dat hij AI liever “superintelligentie” noemt en dat hij geen vertraging wil, omdat de VS voorop wil blijven lopen op China. Ondanks de eigen oproep tot voorzichtigheid brachten OpenAI en Anthropic deze week alsnog nieuwe modellen uit.

De bronnen geven geen onafhankelijk cijfer over hoeveel gebruikers precies getroffen zijn of hoeveel van dit soort incidenten er in totaal al zijn geweest bij alle AI-bedrijven samen. Dat overzicht bestaat blijkbaar zelf bij de bedrijven nog niet.