Microsoft-test toont hoe AI-chatbots klantgegevens kunnen lekken, nieuwe tool moet dat opsporen

Microsoft heeft een nieuwe tool voorgesteld die moet opsporen wanneer een AI-agent, zoals een chatbot voor klantendienst, gevoelige informatie lekt. De aanleiding is een eigen test waarbij een AI-systeem voor facturatie in bijna een derde van de gesprekken gegevens van een andere klant deelde. Het bedrijf noemt de tool run-assert-eval en positioneert ze als een manier om risico’s te ontdekken, te meten, te herstellen en de oplossing daarna te bewijzen.

Wat ging er mis in de test?

Microsoft liet een fictieve AI-agent voor klantendienst testen die enkel toegang mocht hebben tot één klantenaccount. In de eerste testronde, zonder extra beveiliging, gaf de agent in 12 van de 40 relevante gesprekken informatie vrij over een andere klant dan degene die belde. Dat komt neer op een foutenpercentage van 30 procent.

Na het toepassen van een aangepaste beveiligingsregel, die automatisch werd opgesteld op basis van de gevonden risico’s, daalde dat cijfer naar 2 van de 34 gesprekken, ofwel bijna 6 procent. Microsoft benadrukt dat de tweede test met exact dezelfde vragen en dezelfde beoordelingsmaatstaf gebeurde als de eerste, zodat het verschil in resultaat effectief aan de beveiligingsregel kan worden toegeschreven en niet aan een andere test.

Het bedrijf wijst erop dat dit soort fouten vaak niet wordt opgemerkt omdat teams alleen testen op risico’s die ze zelf al hadden bedacht. De meest schadelijke fouten zijn volgens Microsoft precies de fouten die niemand had voorzien.

Hoe pakt Microsoft dit aan?

De nieuwe tool combineert drie bestaande onderdelen die Microsoft eerder dit jaar apart had voorgesteld. Het eerste onderdeel doet een soort risico-inventaris van de AI-agent voordat er iets wordt getest, zodat ook onverwachte risico’s aan het licht komen. Het tweede onderdeel zet die risico’s om in concrete testscenario’s en meet hoe vaak de agent daadwerkelijk fout gaat. Het derde onderdeel schrijft op basis van die metingen automatisch een beveiligingsregel die de fout moet voorkomen, en past die toe voordat de test wordt herhaald.

Een ontwikkelaar beschrijft de AI-agent in gewone taal, waarna de tool zelf de risico’s opspoort, meet, een regel opstelt en de test opnieuw uitvoert om te controleren of de regel werkt. Volgens Microsoft moesten teams die stappen voorheen handmatig aan elkaar koppelen, wat foutgevoelig was en het risico inhield dat een verbetering eigenlijk het gevolg was van een andere test, niet van een echte oplossing.

Bij het opstellen van de testscenario’s baseert de tool zich op bestaande vakliteratuur over AI-veiligheid, waaronder erkende raamwerken zoals de OWASP Top 10 voor taalmodellen en het AI-risicokader van het Amerikaanse standaardisatie-instituut NIST, evenals publicaties van grote AI-bedrijven zelf. Dat moet volgens Microsoft leiden tot testscenario’s die aansluiten bij wat in de praktijk al is vastgesteld, in plaats van willekeurig gekozen voorbeelden.

Voor wie is dit bedoeld?

De tool is gemaakt voor ontwikkelaars die zelf AI-agents bouwen en werkt via de programmeeromgeving VS Code. Het is dus geen product dat een ondernemer zelf installeert of bedient. Wie als bedrijf een chatbot of AI-assistent afneemt van een leverancier, kan de tool niet zelf gebruiken, maar de bevindingen zijn wel relevant om te weten welke vragen je aan die leverancier kan stellen.

Microsoft geeft in het artikel geen onafhankelijke cijfers over hoe vaak dit soort datalekken in bestaande commerciële AI-chatbots voorkomt. Het voorbeeld in het artikel is een test die Microsoft zelf heeft opgezet, en het bedrijf beschrijft de resultaten van zijn eigen product. Er is geen extern onderzoek aangehaald dat de omvang van het probleem bij andere aanbieders bevestigt.

Wat als je zo’n test niet uitvoert?

De kern van het verhaal is niet de techniek achter de tool, maar het onderliggende risico dat ze blootlegt: AI-agents die klantendienst automatiseren, kunnen zonder gerichte controle gegevens van de ene klant tonen aan een andere klant. Dat is iets anders dan een AI-model dat een fout antwoord geeft. Het gaat hier om een concrete inbreuk op gegevensbescherming, met mogelijke gevolgen onder de Europese privacywetgeving.

Microsoft’s aanpak toont vooral dat zo’n risico met de juiste testmethode aanzienlijk kan worden teruggebracht, maar ook dat het risico bij een niet-geteste opzet reëel en meetbaar is. Voor bedrijven die overwegen klantendienst via AI te laten verlopen, is dat een concreet signaal om na te vragen hoe een leverancier dit soort scenario’s test, en niet enkel te vertrouwen op algemene beloftes over veiligheid.