AI-tools
Nvidia maakt AI-agenten sneller en goedkoper met nieuw model en slimme routering
Nvidia's nieuwe open AI-model en routeertool moeten AI-agenten sneller en goedkoper maken, vooral bij bedrijven die zelf AI-systemen bouwen.
Op basis van NVIDIA en ITdaily
Samengesteld met AI-assistentie uit de onderstaande bronnen, onder redactie van Frederiek Pascal. Hoe dit werkt
In het kort
- Nvidia lanceert Nemotron 3.5 Lightning, een open AI-model dat gericht is op specifieke, herhaalde taken binnen grotere AI-systemen zoals codecontrole of het beantwoorden van facturatievragen.
- NeMo Switchyard is een gratis, open tool die automatisch het meest geschikte en goedkoopste AI-model kiest voor elke stap in een taak, zonder dat ontwikkelaars hun software moeten herschrijven.
- Volgens Nvidia's eigen tests kan deze routering de kosten voor een taak terugbrengen tot ongeveer een derde vergeleken met het gebruik van één duur topmodel.
- Bedrijven als CrowdStrike en het juridische platform Harvey passen het nieuwe model al toe voor cybersecurity en juridisch werk, niet voor algemeen kantoorgebruik.
- Voor de meeste Vlaamse kmo's verandert er niets rechtstreeks: dit is vooral relevant voor softwarebedrijven en IT-afdelingen die zelf AI-agenten ontwikkelen of inkopen.
Nvidia heeft een nieuw AI-model uitgebracht, Nemotron 3.5 Lightning, samen met een tool die automatisch bepaalt welk AI-model een taak het beste en het goedkoopst kan uitvoeren. Beide moeten bedrijven helpen om AI-agenten, systemen die zelfstandig taken uitvoeren zonder telkens een mens die alles bevestigt, sneller en goedkoper te laten draaien.
Wat is er precies nieuw?
Nemotron 3.5 Lightning is geen chatbot zoals ChatGPT, maar een gespecialiseerd model dat bedoeld is om binnen grotere AI-systemen specifieke, terugkerende taken uit te voeren. Denk aan het controleren van programmeercode, het opvolgen van beveiligingsmeldingen of het beantwoorden van vragen over facturen. Een groter, breder AI-model plant en stuurt de hele taak aan, terwijl Lightning de kleinere deeltaken sneller en goedkoper afhandelt. Nvidia stelt dat het model tot vier keer sneller werkt dan vergelijkbare modellen in zijn categorie.
Het model is “open”, wat betekent dat bedrijven het zelf kunnen aanpassen en trainen op hun eigen gegevens, in plaats van verplicht te zijn een afgesloten, betaald systeem van één leverancier te gebruiken. Cybersecuritybedrijf CrowdStrike, juridisch platform Harvey en codereviewtool CodeRabbit passen het model volgens Nvidia al toe voor hun eigen, specifieke toepassingen.
Waarom is die routeertool belangrijk?
Het tweede onderdeel, NeMo Switchyard, is een gratis, open tool die per stap in een taak automatisch bepaalt welk AI-model het meest geschikt en voordeligst is. Bedrijven die AI-agenten bouwen, gebruiken vaak verschillende AI-modellen naast elkaar: een duur en krachtig model voor complexe redeneertaken, en goedkopere modellen voor eenvoudige, herhalende taken. Zonder slimme verdeling kiezen ontwikkelaars vaak voor één model voor alles, met als gevolg te hoge kosten of tegenvallende kwaliteit.
Switchyard automatiseert die keuze. Volgens Nvidia’s eigen, interne tests haalt de tool dezelfde nauwkeurigheid als een duur topmodel, terwijl de kosten voor een taak dalen tot ongeveer een derde. Onafhankelijke bevestiging van die cijfers is er niet: het gaat om testresultaten van Nvidia zelf, aangevuld met testresultaten van partners die de tool al uitprobeerden.
Enkele van die partners melden concrete besparingen. Softwarebedrijf LangChain zegt tot 74 procent lagere kosten te halen bij een beperkt verlies aan nauwkeurigheid, betaalplatform Ramp meldt 58 procent lagere kosten bij eenzelfde prestatieniveau, en integratieplatform Boomi rapporteert dat bijna zes op de tien verzoeken naar een sneller, goedkoper model konden worden gestuurd. Ook dit zijn cijfers die de bedrijven zelf naar buiten brachten, niet resultaten van een onafhankelijk onderzoek.
Wie heeft hier nu echt iets aan?
De directe doelgroep zijn softwarebedrijven, IT-teams en leveranciers die zelf AI-agenten bouwen of AI-diensten aanbieden aan anderen. Wie als kmo AI-tools gebruikt via een kant-en-klaar abonnement, zoals een chatbot voor klantenservice of een tool om teksten te schrijven, merkt hier voorlopig niets van. Nvidia richt zich met deze aankondiging op ontwikkelaars en techbedrijven, niet op eindgebruikers.
Dat betekent niet dat de aankondiging voor Vlaamse ondernemers onbelangrijk is. Als leveranciers van AI-tools die jij gebruikt deze technologie inbouwen, kan dat op termijn de kosten van hun diensten drukken, of net niet, als besparingen bij de leverancier blijven. Op korte termijn is er voor de meeste kmo’s geen actie nodig.
Waar is dit beschikbaar?
Het model Nemotron 3.5 Lightning is te vinden via platformen voor ontwikkelaars zoals Hugging Face, ModelScope en OpenRouter, en via Nvidia’s eigen platform. De routeertool NeMo Switchyard staat gratis op GitHub, een platform waar ontwikkelaars broncode delen, en komt volgens Nvidia binnenkort ook beschikbaar via partnerplatformen. Beide vereisen technische kennis om te installeren en te gebruiken; het zijn geen kant-en-klare apps voor eindgebruikers.
De bronnen geven geen informatie over prijzen voor het gebruik van het model zelf, over waar de servers staan die de gegevens verwerken, of over hoe dit zich verhoudt tot Europese regels over gegevensverwerking. Wie via een leverancier met deze technologie in aanraking komt, doet er goed aan die vragen zelf te stellen.
Wat betekent dit voor jou
Wat dit verandert aan de kosten van AI-agenten
- Softwarebedrijven en IT-teams die zelf AI-agenten bouwen Zij kunnen met de gratis routeertool van Nvidia mogelijk kosten besparen door taken automatisch naar het goedkoopste geschikte model te sturen, zonder hun software te herschrijven.
- Kmo's die AI-tools via een abonnement gebruiken Voor hen verandert er voorlopig niets rechtstreeks: eventuele besparingen zitten bij de leverancier en worden niet automatisch doorgerekend aan klanten.
- Ondernemers die een eigen AI-toepassing willen laten bouwen Zij kunnen dit aankaarten bij een leverancier als een mogelijkheid om kosten te drukken, al ontbreekt onafhankelijke bevestiging van de beloofde besparingen.
Veelgestelde vragen
Moet mijn bedrijf iets doen met Nemotron 3.5 Lightning?
Nee, tenzij je zelf software of AI-agenten ontwikkelt. Het model is bedoeld voor ontwikkelaars die eigen AI-systemen bouwen, niet voor bedrijven die kant-en-klare AI-tools gebruiken. Gebruik je een chatbot of schrijfhulp via een abonnement, dan verandert er voorlopig niets aan wat je zelf moet doen of instellen.
Wat is het verschil tussen dit model en ChatGPT of Copilot?
Nemotron 3.5 Lightning is geen app die je rechtstreeks gebruikt zoals ChatGPT. Het is een bouwsteen die softwarebedrijven inzetten binnen grotere AI-systemen, voor specifieke, terugkerende taken zoals codecontrole. Je merkt het dus alleen onrechtstreeks, als een leverancier het inbouwt in een product dat jij gebruikt.
Betekent dit dat AI-tools binnenkort goedkoper worden?
Mogelijk, maar de bronnen geven daar geen garantie op. Nvidia en enkele partners melden lagere kosten bij intern gebruik van de routeertechnologie, maar of leveranciers die besparing doorrekenen aan klanten, staat niet vast. Dat hangt af van elk bedrijf apart en is nu niet te voorspellen.
Waar worden de gegevens van dit AI-model verwerkt?
De bronnen vermelden dat het model lokaal kan draaien, op eigen apparaten, of in de cloud, maar geven geen details over waar clouddata precies worden opgeslagen of verwerkt. Voor wie dat belangrijk vindt met het oog op Europese privacyregels, is dat een vraag om rechtstreeks aan een leverancier te stellen.
Wie gebruikt dit nieuwe model nu al?
Volgens Nvidia passen onder meer cybersecuritybedrijf CrowdStrike, juridisch platform Harvey en codereviewtool CodeRabbit het model al toe, telkens voor hun eigen, specifieke taken. Dit zijn techbedrijven die zelf AI-systemen bouwen, geen voorbeelden van kleine ondernemingen die het model rechtstreeks inzetten.