Beleid & regelgeving
Google test methode om AI-modellen eerlijker en betrouwbaarder te testen
Google DeepMind test een methode waarbij niemand vooraf de testvragen kan zien, zodat AI-scores minder makkelijk kunnen worden opgeklopt.
Op basis van Google DeepMind
Samengesteld met AI-assistentie uit de onderstaande bronnen, onder redactie van Frederiek Pascal. Hoe dit werkt
In het kort
- Google DeepMind testte voor het eerst een AI-model volgens een 'double-blind' methode, waarbij het model de testvragen niet vooraf kan zien en de testers het model zelf niet kunnen inzien.
- De test gebeurde op een lichtere Gemini-versie, in samenwerking met het Singaporese AI-veiligheidsinstituut, OpenMined, AVERI en MLCommons.
- De techniek gebruikt een beveiligde digitale kluis binnen Google Cloud, zodat testvragen en modelgegevens geheim blijven voor elkaar.
- Voor Vlaamse bedrijven verandert er voorlopig niets aan hun eigen AI-gebruik, dit is een test op het niveau van de industrie zelf.
- Onafhankelijke cijfers over hoeveel bestaande AI-scores vervuild waren door voorkennis, ontbreken in de bronnen.
Wat is er precies getest?
Google DeepMind heeft voor het eerst een geavanceerd AI-model getest volgens wat het zelf een “double-blind” evaluatie noemt. Dat betekent dat het model tijdens de test geen toegang had tot de vragen waarop het beoordeeld werd, en dat de organisatie die de test uitvoerde ook geen inzage kreeg in het model zelf. De test gebeurde op een lichtere versie van Google’s Gemini-model, in samenwerking met het AI-veiligheidsinstituut van Singapore, de organisaties OpenMined en AVERI, en het testconsortium MLCommons.
Het gaat dus niet om een nieuw product dat je als ondernemer kan gebruiken, maar om een nieuwe manier om te controleren of de cijfers die AI-bedrijven publiceren over hun eigen modellen wel kloppen.
Waarom is dit nodig?
Het probleem heet “benchmark contamination”: als een AI-model, of het bedrijf erachter, vooraf al kennis heeft van de testvragen, dan zegt een goede score weinig meer over de echte capaciteiten van het model. Vergelijk het met een student die de examenvragen al kent voordat hij het examen aflegt: een perfecte score bewijst dan niets.
Tot nu toe moesten testers en modelbouwers elkaar gewoon vertrouwen. Ofwel gaven de testers hun geheime vragen prijs aan het bedrijf dat het model bouwt, met het risico dat die vragen lekken of het model erop getraind wordt. Ofwel gaf het bedrijf zijn model volledig vrij aan de testers, met het risico dat bedrijfsgeheimen weglekken. Google DeepMind schrijft dat er tot nu toe wel afspraken en technische maatregelen waren om dit te vermijden, maar dat die niet waterdicht cryptografisch te bewijzen waren.
Hoe werkt de nieuwe testmethode?
De oplossing zit in een soort digitale kluis, een beveiligde rekenomgeving binnen Google Cloud die “Confidential Space” heet. Daarin kunnen zowel de testvragen van de externe organisatie als het AI-model van Google draaien, zonder dat de ene partij bij de gegevens van de andere kan. Google kan de geheime testvragen niet zien, en de testorganisatie kan de interne werking van het Gemini-model niet zien. Achteraf kan cryptografisch bewezen worden dat geen van beide partijen heeft gefraudeerd.
Volgens Google DeepMind maakt dit het mogelijk om onafhankelijke organisaties, zoals overheidsinstellingen die AI-veiligheid controleren, modellen grondig te laten testen zonder dat een bedrijf zijn technologie moet prijsgeven of een overheid haar gevoelige testmateriaal moet delen. Dat is volgens het bedrijf vooral belangrijk bij testen rond gevoelige onderwerpen zoals cyberveiligheid, waar overheden willen weten of een AI-model risico’s oplevert zonder hun eigen testmethodes bloot te geven.
Wat betekent dit voor de rest van de sector?
Google DeepMind noemt dit een pilootproject en spreekt de hoop uit dat de methode een nieuwe standaard wordt voor hoe de hele sector AI-modellen laat controleren door onafhankelijke partijen. Het bedrijf publiceerde ook een technisch rapport met de precieze bevindingen van deze eerste test, maar geeft in het blogbericht zelf geen cijfers over hoe de resultaten van deze double-blind test verschilden van eerdere, minder beveiligde tests op hetzelfde model.
Dat is meteen ook de belangrijkste onbekende: de bronnen tonen dat de methode technisch werkt, maar niet hoe groot het probleem van vervuilde testresultaten in de praktijk daadwerkelijk was, en of andere grote AI-bedrijven zoals OpenAI of Anthropic van plan zijn om vergelijkbare cryptografische controles toe te laten op hun eigen modellen. Zolang dat niet gebeurt, blijft dit vooral een test binnen Google’s eigen ecosysteem, uitgevoerd met partners die Google zelf heeft uitgekozen.
Wat betekent dit voor jou
Wat dit verandert aan het vertrouwen in AI-scores
- Ondernemer die kiest op basis van benchmarkscores Vergelijkingen tussen AI-modellen kunnen op termijn betrouwbaarder worden, maar deze techniek is nog een pilootproject van Google zelf en nog geen sectorbrede standaard.
- Bedrijf met gevoelige AI-toepassingen, zoals cyberveiligheid Onafhankelijke controle van AI-modellen wordt technisch haalbaarder zonder dat een leverancier zijn technologie hoeft prijs te geven, wat op termijn strengere audits mogelijk maakt.
- Vlaamse ondernemer die vandaag al AI-tools gebruikt Er is geen actie nodig: dit raakt de manier waarop AI-modellen getest worden, niet de werking van tools die je nu al inzet.
Veelgestelde vragen
Verandert dit iets aan de AI-tools die ik nu al gebruik?
Nee, dit is geen nieuw product en geen update van een bestaande tool. Het gaat om een testmethode die Google DeepMind gebruikt om te controleren of de prestatiescores van zijn eigen AI-modellen betrouwbaar zijn. Voor de werking van tools zoals Gemini in je dagelijkse gebruik verandert er op korte termijn niets.
Wat is benchmark contamination precies?
Dat is het probleem waarbij een AI-model, of het bedrijf dat het bouwt, al kennis heeft van de vragen waarmee het getest wordt voordat de test plaatsvindt. Daardoor kan een model kunstmatig hoog scoren zonder dat dit iets zegt over zijn echte capaciteiten, vergelijkbaar met een student die de examenvragen al kent.
Waarom zou een Vlaamse ondernemer zich hiervoor interesseren?
Vooral als je beslissingen baseert op gepubliceerde vergelijkingen tussen AI-modellen, bijvoorbeeld bij de keuze van een leverancier. Als die vergelijkingen betrouwbaarder worden dankzij methodes zoals deze, weet je zekerder of een model echt goed presteert of vooral goed scoorde omdat het de test kende.
Wordt mijn data hierdoor beter beschermd?
Niet rechtstreeks. Deze techniek beschermt de testvragen van onderzoeksorganisaties en de interne werking van Google's model tijdens een evaluatie, niet de gegevens die jij als gebruiker invoert in een AI-tool. Er staat in de bronnen niets over gevolgen voor de dataverwerking van gewone gebruikers.
Gaan andere AI-bedrijven deze methode ook gebruiken?
Dat is nog niet duidelijk. Google DeepMind noemt dit een pilootproject en hoopt dat het een standaard wordt voor de sector, maar de bronnen bevatten geen aankondigingen van OpenAI, Anthropic of andere grote spelers om vergelijkbare cryptografische controles op hun eigen modellen toe te laten.