Beleid & regelgeving
Microsoft-ceo Nadella wil een noodrem op AI: een mens moet een model halverwege een taak kunnen stoppen
Microsoft-ceo Satya Nadella vraagt om een stopknop voor AI, waarmee een bevoegd persoon een model midden in een opdracht kan afbreken, en om controle op wat het model doet.
Op basis van Tweakers en Business AM
Samengesteld met AI-assistentie uit de onderstaande bronnen, onder redactie van Frederiek Pascal. Hoe dit werkt
In het kort
- Microsoft-ceo Satya Nadella vindt dat een bevoegd persoon een AI-model halverwege een taak moet kunnen pauzeren of stoppen.
- Nadella stelt ook voor dat organisaties zelf bepalen tot welke gegevens en systemen een model toegang krijgt en wat het mag uitvoeren.
- Fouten met AI moeten volgens hem snel gemeld worden aan wie erdoor geraakt is, en de lessen moeten met de hele sector gedeeld worden.
- Het is een visie in een blogbericht en geen product of wet, en de bronnen vermelden geen verplichtingen voor Vlaamse bedrijven.
- Je kunt de voorstellen gebruiken als checklist om bij je leverancier te vragen wie kan ingrijpen en wat er wordt bijgehouden.
Microsoft-ceo Satya Nadella pleit voor een noodrem op AI. In een blogbericht op X schrijft hij dat een geautoriseerd persoon een model altijd halverwege een taak moet kunnen pauzeren of stoppen. Het gaat om een standpunt, niet om een nieuw product of een nieuwe regel.
Wat stelt Nadella precies voor?
Nadella wil dat AI niet langer behandeld wordt als een reeks gesloten dozen waarvan je de antwoorden en acties alleen kunt aanvaarden of afwijzen. Hij wil afgeschermde systemen waarvan je het gedrag kunt volgen, de grenzen kunt uittesten en waarover je de acties altijd in handen houdt. Hij zegt ook dat je de eindverantwoordelijkheid voor het handelen van AI niet bij iemand anders kunt leggen.
Zijn voorstellen komen in de bronnen neer op een aantal punten:
- Gebruik verschillende modellen naast elkaar.
- Hou een overzicht bij van alle acties van het systeem, zodat mensen kunnen nazien wat er gebeurd is.
- Test het hele systeem voortdurend.
- Laat organisaties zelfstandig bepalen tot welke gegevens en systemen een model toegang krijgt en wat het mag doen.
- Laat onafhankelijke controles uitvoeren en wees open over storingen, zo meldt Business AM.
Volgens Business AM wil Nadella zowel open als gesloten topmodellen beheren alsof ze een mogelijk intern veiligheidsrisico vormen. Zijn conclusie: het meest betrouwbare systeem is niet het systeem dat het meeste vertrouwen uitstraalt. Het is het systeem dat veilig blijft werken, ook als het model zelf niet helemaal te vertrouwen is.
Wat als het toch misgaat?
Dan moeten de getroffenen snel op de hoogte gebracht worden, vindt Nadella. Hij wil ook manieren om te delen wat er misliep, welke controles tekortschoten en hoe herhaling te voorkomen is. Die lessen moeten met de hele sector gedeeld worden. Voor geavanceerdere modellen zijn volgens hem ook geavanceerdere afschermtechnieken nodig, waarvoor standaarden moeten komen.
Dat laatste is veelzeggend: die standaarden bestaan volgens Nadella nog niet. De bronnen geven geen details over wie ze zou opstellen of wanneer.
Waarom nu?
Tweakers schrijft dat Nadella reageert op incidenten van de voorbije tijd, waarbij AI-bedrijven het overzicht over hun eigen modellen leken kwijt te raken. Volgens Tweakers riepen verschillende topmannen van AI-bedrijven vorige maand al op om de ontwikkeling te vertragen. Business AM noemt als sectorgeluiden onder meer Elon Musk, Sam Altman, Bill Gates en Dario Amodei, die waarschuwen dat de veiligheidsmaatregelen de snelle ontwikkeling niet bijhouden. Het meldt ook dat een veiligheidsverantwoordelijke bij Anthropic de kans op meer dan 10 procent schat dat AI binnen een decennium kan bijdragen aan het verdwijnen van de mensheid. Dat is een schatting van één persoon, zonder onafhankelijke cijfers in de bronnen.
De politiek zit niet op dezelfde lijn. Volgens Business AM verwerpt Donald Trump het idee dat AI een existentiële bedreiging is. Hij wil dat de Verenigde Staten hun voorsprong op China behouden en richtte daarvoor de AI Force op, onder leiding van Jay Clayton.
Is dit nieuw voor Europa?
Niet helemaal. Een lezer van Tweakers, jurist Arnoud Engelfriet, wijst erop dat de Europese AI Act al zoiets eist. Hij verwijst naar artikel 14, lid 4, onder e, dat volgens hem een stopknop of vergelijkbare procedure vraagt waarmee een systeem veilig kan worden stopgezet. Dat is een reactie van een lezer, geen vaststelling van de redactie, dus lees het als een aanwijzing en geen juridisch advies. Of die bepaling voor jouw toepassing geldt, hangt af van het soort systeem, en daar zeggen de bronnen niets over.
Wat ontbreekt in de bronnen?
Er staat geen concrete tijdlijn in, geen uitleg hoe zo’n noodrem technisch zou werken en geen toezegging dat Microsoft die zelf in zijn producten inbouwt. Er zijn ook geen onafhankelijke cijfers over hoe vaak AI-systemen uit de hand lopen. Het blijft dus bij een oproep van een van de grootste spelers in de sector.
Wat betekent dit voor jou
Een stopknop is straks een vraag aan je leverancier
- Kmo's die AI-tools van derden gebruiken Je kunt nu al aan je leverancier vragen wie een taak halverwege kan stoppen, welke acties worden bijgehouden en hoe je dat achteraf nakijkt. Dat kost niets en geeft je een beeld van de controle die je werkelijk hebt.
- Zaakvoerders die AI toegang geven tot klantgegevens Nadella's idee om zelf te bepalen waar een model bij kan, is meteen toepasbaar: geef een AI-tool alleen de gegevens en rechten die voor de taak nodig zijn en bekijk dat af en toe opnieuw.
- Wie op regels wacht Dit bericht alleen vraagt geen actie. Het blijft een visie, de standaarden die Nadella wil bestaan nog niet, en of de AI Act op jouw gebruik van toepassing is, hangt af van het soort systeem.
Veelgestelde vragen
Wat bedoelt Nadella met een noodrem op AI?
Hij bedoelt dat een bevoegd persoon een AI-model op elk moment moet kunnen pauzeren of stoppen, ook midden in een opdracht. Daarnaast wil hij dat je kunt zien wat het model doet en dat je zelf bepaalt tot wat het toegang heeft.
Is er al een wet die een stopknop voor AI verplicht?
Een lezer van Tweakers, de jurist Arnoud Engelfriet, wijst naar de Europese AI Act, die volgens hem een stopknop of gelijkaardige procedure vraagt. De bronnen geven geen verdere uitleg over voor welke systemen dat geldt. Voor je eigen situatie vraag je best juridisch advies.
Moet ik als kmo nu iets veranderen aan mijn AI-gebruik?
De bronnen vermelden geen verplichting voor bedrijven naar aanleiding van Nadella's blogbericht. Je kunt het wel als leidraad gebruiken: weet wie bij jou het systeem kan stilleggen, welke gegevens het kan inkijken en of acties achteraf nagekeken kunnen worden.
Waarom komt Nadella nu met dit voorstel?
Volgens Tweakers reageert hij op recente incidenten waarbij AI-bedrijven de grip op hun modellen leken te verliezen. Daarnaast vroegen verschillende topmannen uit de sector al om de ontwikkeling te vertragen. Details over die incidenten staan niet in de bronnen.
Wil iedereen in de VS zo'n rem op AI?
Nee. Volgens Business AM wijst Donald Trump het idee van een existentiële dreiging af en wil hij vooral het voordeel op China bewaren. Hij richtte de AI Force op om kwaadwillige gebruikers aan te pakken. Over een algemene noodrem zegt het bericht niets.
Bronnen
Volg Kunstbrein in Google
Zet Kunstbrein bij je voorkeursbronnen. Dan zie je het vaker bij het nieuws bovenaan je zoekresultaten en in de AI-antwoorden van Google.
Voeg toe als voorkeursbron (opent Google in een nieuw tabblad)