Bedrijfsvoering
Zo verdeel je dure rekenkracht eerlijk: Ai2 en AWS tonen twee manieren om GPU's te delen tussen teams
Ai2 verving prioriteiten voor zijn AI-chips door budgetten in rekentijd, en AWS beschrijft hoe teams één cluster delen met aparte toegang en kostenzicht per team.
Op basis van Hugging Face en AWS Machine Learning
Samengesteld met AI-assistentie uit de onderstaande bronnen, onder redactie van Frederiek Pascal. Hoe dit werkt
In het kort
- Ai2 verving een systeem met prioriteiten voor zijn GPU's door budgetten in rekentijd, nadat bijna alle opdrachten de hoogste prioriteit bleken te gebruiken.
- Volgens Ai2 daalde het aantal herstellingen met menselijke tussenkomst met 74 procent, doordat lopende taken na een vaste minimale looptijd automatisch kunnen worden stopgezet.
- AWS beschrijft een model waarin meerdere teams één GPU-cluster delen, met aparte toegang per team en kosten die per team zichtbaar zijn.
- Voor Vlaamse kmo's die AI-diensten huren in plaats van zelf chips te beheren, zit de bruikbare les vooral in budgetten, kostenzicht en duidelijke afspraken.
Het Amerikaanse onderzoeksinstituut Ai2 heeft zijn manier veranderd om rekenkracht te verdelen onder zo’n 150 onderzoekers. Het oude systeem werkte met prioriteiten en liep vast op misbruik. Het nieuwe systeem werkt met budgetten in rekentijd. Tegelijk publiceerde AWS, de clouddienst van Amazon, een handleiding om één groep dure AI-chips (GPU’s) veilig te delen tussen teams. Beide verhalen gaan over dezelfde vraag: hoe verdeel je een schaars en duur goed eerlijk?
Wat ging er mis bij Ai2?
Het prioriteitensysteem van Ai2 stimuleerde sjoemelen. Volgens Ai2 beheert het instituut duizenden GPU’s, en is er altijd vraag naar twee tot drie keer meer chips dan beschikbaar zijn. Omdat hoge prioriteit niets kostte, gebruikte uiteindelijk alle werk die hoogste prioriteit. Dat maakte de lagere niveaus waardeloos.
Een tweede probleem was ‘squatting’: onderzoekers lieten nutteloze taken draaien om chips te reserveren voor later. Ze konden anders niet snel genoeg een testtaak starten. Ook kostte het de technici veel tijd om langlopende taken te laten stoppen als een machine onderhoud nodig had.
Ai2 noemt dit zelf een ‘tragedie van de gemeenschappelijke grond’: iedereen optimaliseert voor zichzelf en het geheel verliest. Het instituut verwijst naar een oud voorbeeld uit een wetenschappelijk artikel van 2011, waarin gebruikers hun programma’s vulden met nutteloze lussen om hun gebruik kunstmatig hoger te doen lijken.
Hoe werkt het nieuwe systeem?
Ai2 geeft teams geen eigen chips meer, maar een aandeel in rekentijd. Leidinggevenden verdelen dat aandeel vooraf, zoals investeerders, op basis van de verwachte impact van elk project. Een project kan zo weten dat het bijvoorbeeld 35 procent van de totale capaciteit mag claimen. Wie rekentijd wil die beschermd is tegen onderbreking, moet die uit zijn eigen budget betalen. Een nutteloze reservering kost dus echt budget.
De planner kijkt standaard naar de laatste zeven dagen. Groepen die minder dan hun deel gebruikten, komen voor. Rekentijd buiten het budget blijft mogelijk, maar kan altijd onderbroken worden. Zo blijven de chips bezet, ook als de budgetten niet kloppen met de vraag.
Daarnaast geldt een ‘contract’: elke taak meldt vooraf hoe lang ze minstens moet draaien om zinvol vooruit te gaan. Zolang loopt ze ongestoord door. Daarna mag de planner ze stoppen en opnieuw in de wachtrij zetten. Dat helpt ook bij onderhoud: defecte machines lopen vanzelf leeg. Volgens Ai2 verminderde dat de herstellingen met menselijke tussenkomst met 74 procent. Een onderzoeker, Chris Clark, zegt dat het voelt ‘alsof we 30% extra rekenkracht hebben’. Dat is een ervaring van één gebruiker, geen gemeten resultaat.
Wat doet AWS?
AWS richt zich op bedrijven die één cluster delen tussen teams. In zijn dienst SageMaker HyperPod krijgt elk team een afgeschermde eigen ruimte, met eigen inloggegevens en toegangsrechten. Een onderdeel voor ‘taakbeheer’ stelt quota en prioriteiten in, en de kosten zijn per team zichtbaar zodat je ze kunt doorrekenen. AWS stelt dat bedrijven zonder zo’n opzet te maken krijgen met ongecontroleerd verbruik, zwakke afscherming en kosten die je niet kunt toewijzen. Dat is de visie van de leverancier die de dienst verkoopt.
Het AWS-stuk is een technische handleiding voor IT-teams. Het bevat geen prijzen, geen cijfers over besparingen en geen onafhankelijke metingen.
Wat ontbreekt in de bronnen?
Beide bronnen komen van de partij die het systeem bouwt of verkoopt. Er zijn geen onafhankelijke cijfers over hoeveel efficiënter zulke systemen zijn. Het Ai2-stuk beschrijft een lab met duizenden chips en een eigen onderzoeksomgeving. Of de aanpak werkt in een gewoon bedrijf, staat nergens. Ook geven de bronnen geen kosten voor AWS HyperPod.
Wat betekent dit voor jou
Waarom gratis rekenkracht altijd misbruikt wordt
- Ondernemers met een eigen AI-abonnement of API-sleutel Geef je medewerkers onbeperkt toegang, dan krijg je dezelfde scheve verdeling. Een vast maandbudget per team of project maakt het verbruik zichtbaar en bespreekbaar.
- Zaakvoerders die AI-diensten bij een leverancier huren Je hoeft geen planner te bouwen, maar vraag wel kostenzicht per team of project. Dat is precies wat AWS in zijn handleiding benadrukt. Zonder dat overzicht weet je niet waar je geld naartoe gaat.
Veelgestelde vragen
Wat is GPU squatting?
Het is het bezet houden van dure rekenchips met taken die niets nuttigs doen, enkel om ze later te kunnen gebruiken. Ai2 zag dit gebeuren omdat onderzoekers niet snel genoeg een testtaak konden opstarten. Door rekentijd uit een budget te laten betalen, kost zo'n reservering nu echt iets.
Moet mijn kmo zelf een GPU-planner bouwen?
Waarschijnlijk niet. Beide bronnen gaan over organisaties met grote clusters en eigen IT-teams. Huur je AI-diensten bij een leverancier, dan regelt die de verdeling van de chips. De bronnen zeggen niets over kleinere bedrijven, dus dit is een conclusie uit de context.
Wat is een budget in rekentijd?
Het is een vooraf afgesproken aandeel van de totale rekencapaciteit voor een project of team. Wie meer wil, moet dat verdedigen bij leidinggevenden. Het vervangt de vraag wie het hardst roept of de hoogste prioriteit aanvinkt, en maakt de afweging zichtbaar.
Wat biedt AWS SageMaker HyperPod?
Volgens AWS is het een dienst om grote groepen AI-chips te beheren. Teams werken in aparte ruimtes met eigen toegang, quota en kostenoverzicht. Het stuk is een technische handleiding en noemt geen prijs, dus wat het jou kost, kun je er niet uit afleiden.
Zijn de resultaten van Ai2 onafhankelijk bevestigd?
Nee. De cijfers, zoals 74 procent minder herstellingen met menselijke tussenkomst, komen van Ai2 zelf. De bronnen vermelden geen externe controle of vergelijking met andere organisaties. Lees ze dus als een ervaring van één instituut.
Bronnen
Volg Kunstbrein in Google
Zet Kunstbrein bij je voorkeursbronnen. Dan zie je het vaker bij het nieuws bovenaan je zoekresultaten en in de AI-antwoorden van Google.
Voeg toe als voorkeursbron (opent Google in een nieuw tabblad)