AI-tools
Claude Code: AWS laat data in één regio blijven, maar toezicht op commando's hapert
AWS toont hoe bedrijven Claude Code binnen één regio kunnen laten draaien, terwijl onderzoek toont dat mensen een derde van gevaarlijke commando's over het hoofd zien.
Op basis van AWS Machine Learning en The Register
Samengesteld met AI-assistentie uit de onderstaande bronnen, onder redactie van Frederiek Pascal. Hoe dit werkt
In het kort
- AWS legt uit hoe bedrijven Claude Code kunnen dwingen om AI-verwerking in één specifieke regio te houden, zoals Londen, in plaats van ergens in de EU.
- Onderzoek op basis van meer dan 40.000 speelrondes van een test toont dat mensen gemiddeld één op drie gevaarlijke AI-commando's toch goedkeuren.
- Anthropic meldt zelf dat gebruikers ongeveer 93 procent van de goedkeuringsprompten accepteren, wat wijst op afnemende waakzaamheid bij herhaling.
- Voor Vlaamse bedrijven die AI laten meecoderen, telt vooral dat menselijk toezicht alleen onvoldoende bescherming biedt tegen datalekken.
- Onafhankelijke cijfers over hoe vaak dit in de praktijk misloopt buiten deze studie ontbreken voorlopig.
AWS heeft uitgelegd hoe bedrijven hun AI-codeerassistent Claude Code zo kunnen instellen dat de verwerking van gegevens in precies één geografische regio blijft, bijvoorbeeld enkel in Londen. Dat is belangrijk voor organisaties met strikte regels over waar bedrijfsgegevens mogen staan. Tegelijkertijd wijst onderzoek van een Belgische ontwikkelaar erop dat mensen die toezicht houden op zulke AI-assistenten, geregeld gevaarlijke opdrachten over het hoofd zien.
Wat is Claude Code precies?
Claude Code is een AI-assistent van Anthropic die programmeurs helpt bij het schrijven en aanpassen van code. Bedrijven kunnen die assistent laten draaien via Amazon Bedrock, het AI-platform van Amazon Web Services (AWS). De assistent kan zelfstandig commando’s uitvoeren, bestanden aanpassen of systeeminstellingen wijzigen, telkens na goedkeuring van een menselijke gebruiker.
Waarom maakt het uit waar de data verwerkt wordt?
Sommige bedrijven moeten kunnen aantonen dat gevoelige gegevens nooit buiten een specifiek land verwerkt worden, niet enkel binnen de EU in het algemeen. AWS beschrijft in zijn blog hoe een internationaal bedrijf eiste dat alle AI-verwerking via Claude Code binnen Londen zou blijven, niet ergens anders in Europa. Standaard stuurt Amazon Bedrock verzoeken door naar de regio met de meeste beschikbare capaciteit, wat sneller werkt maar betekent dat een verzoek uit Londen evengoed in Frankfurt of Parijs verwerkt kan worden.
Om dat te vermijden, moet een bedrijf een technische configuratie instellen die de verwerking dwingt binnen één vooraf gekozen regio te blijven. AWS toont twee manieren om dat te doen, afhankelijk van welke regio het gaat en welk AI-model gebruikt wordt. Voor de meeste bedrijven die enkel willen dat gegevens ergens binnen de EU blijven, is deze extra stap niet nodig: dat is al de standaardinstelling. De strengere, regio-specifieke aanpak is enkel nodig wanneer een klant of regelgeving letterlijk één land voorschrijft, zoals in het voorbeeld dat AWS beschrijft.
Hoe goed houden mensen toezicht op wat een AI-assistent doet?
Minder goed dan gehoopt, blijkt uit een online test die meer dan 40.000 keer gespeeld werd. De Belgische ontwikkelaar Alex Wauters bouwde een spel waarin deelnemers binnen zestig seconden moeten beslissen of ze een commando van een AI-codeerassistent goedkeuren of weigeren, zoals dat in de praktijk met Claude Code gebeurt. Uit de resultaten, gebaseerd op ruim 409.000 goedgekeurde en geweigerde commando’s, bleek dat spelers gemiddeld ongeveer een derde van de schadelijke verzoeken toch goedkeurden.
Vooral verzoeken die op het eerste gezicht onschuldig lijken, zoals het opvragen van configuratiebestanden met wachtwoorden of toegangssleutels, werden vaak gemist: in 35 procent van de gevallen. Een commando dat een script uitvoert dat op zich onschuldig klinkt, werd zelfs in bijna twee derde van de gevallen goedgekeurd, ook al toonde het spel de inhoud van dat script vooraf. Duidelijk destructieve opdrachten, zoals het volledig wissen van bestanden, werden wel meestal correct geweigerd.
Anthropic, het bedrijf achter Claude, erkende zelf in een eerdere blogpost dat gebruikers gemiddeld 93 procent van alle goedkeuringsvragen accepteren. Hoe vaker iemand goedkeuringen moet geven, hoe minder aandacht die er nog aan besteedt, stelde het bedrijf. Anthropic bouwde daarom een automatische controlelaag die volgens het bedrijf ongeveer 83 procent van de risicovolle acties vooraf onderschept, wat betekent dat zo’n 17 procent er nog doorheen glipt.
Wat betekent dit voor bedrijven die AI laten meecoderen?
De kernboodschap van Wauters is dat een mens als laatste controle onvoldoende garantie biedt, en dat bedrijven hun AI-assistenten beter in een afgeschermde omgeving laten draaien in plaats van te vertrouwen op menselijke waakzaamheid alleen. Onafhankelijke cijfers buiten deze ene studie zijn er nog niet, dus het is voorlopig niet duidelijk hoe representatief deze resultaten zijn voor echte werkomgevingen, waar minder kwaadaardige verzoeken voorkomen dan in het spel.
Wat betekent dit voor jou
Menselijk toezicht op AI-code schiet vaker tekort dan gedacht
- Bedrijven met eigen AI-codeerassistenten Vertrouw niet enkel op een medewerker die elk commando goedkeurt: onderzoek toont dat een derde van de risicovolle opdrachten toch doorglipt, dus afgeschermde testomgevingen en automatische controles zijn nodig.
- Organisaties met strikte regels over gegevensverwerking Het is technisch mogelijk om AI-verwerking binnen één specifieke regio te forceren in plaats van ergens binnen de EU, maar dat vraagt bijkomende configuratie door een IT-team.
- Kmo's zonder eigen softwareontwikkeling Geen directe actie nodig, maar het is wel zinvol om bij externe leveranciers te vragen hoe zij AI-codeertools beveiligen en waar hun gegevens terechtkomen.
Veelgestelde vragen
Wat is Claude Code en wie gebruikt het?
Claude Code is een AI-assistent van Anthropic die ontwikkelaars helpt met programmeren, onder meer via het AI-platform Amazon Bedrock van AWS. Bedrijven met eigen ontwikkelteams zetten het in om sneller code te schrijven, aan te passen of te controleren, waarbij de assistent zelfstandig opdrachten kan uitvoeren na menselijke goedkeuring.
Moet mijn kmo zich zorgen maken over waar AI-data verwerkt wordt?
Alleen als je specifiek wettelijk of contractueel verplicht bent gegevens binnen één land te houden. Voor de meeste kmo's volstaat het dat gegevens binnen de EU blijven, wat vaak al standaard is. De strengere, regio-specifieke instelling uit dit artikel is enkel relevant als er een concrete eis ligt voor één bepaald land.
Is het veilig om een AI-assistent zelf commando's te laten uitvoeren?
Niet zonder voorbehoud. Onderzoek toont dat mensen die dergelijke opdrachten moeten goedkeuren, gemiddeld een derde van de risicovolle verzoeken over het hoofd zien, vooral als ze onschuldig lijken. Volledige automatische goedkeuring is evenmin zonder risico's. Extra beveiligingslagen, zoals afgeschermde testomgevingen, verkleinen het gevaar aanzienlijk.
Wat kan ik doen om risico's met AI-codeerassistenten te beperken?
Laat de assistent draaien in een afgeschermde omgeving die geen toegang heeft tot gevoelige systemen, gebruik automatische controlesystemen naast menselijk toezicht, en wees kritisch bij herhaalde goedkeuringen. Vertrouw niet blindelings op een menselijke laatste check, want aandacht neemt aantoonbaar af bij veel herhaalde vragen.
Verandert dit iets voor mijn website of marketing als ik geen eigen ontwikkelaars heb?
Waarschijnlijk niet direct. Dit verhaal gaat over bedrijven die zelf AI-codeerassistenten inzetten voor softwareontwikkeling. Werk je met een extern bureau of leverancier die dat wel doet, dan is het wel zinvol te vragen hoe zij toezicht organiseren en waar hun AI-tools gegevens verwerken.
Bestaan er onafhankelijke cijfers die dit onderzoek bevestigen?
Niet volgens de bronnen van dit artikel. De cijfers over gemiste gevaarlijke commando's komen uit één test met vrijwillige deelnemers, en Anthropic's eigen cijfers gaan over zijn eigen product. Onafhankelijk vervolgonderzoek in echte werkomgevingen ontbreekt voorlopig, wat de resultaten voorzichtig moet doen interpreteren.