Asana maakt browseragent met GPT-6.1 Sol 76 keer goedkoper en 5 keer sneller, maar alleen in eigen tests

Asana zegt dat het zijn browseragent, een AI-medewerker die websites bezoekt, formulieren invult en informatie verzamelt, sterk goedkoper en sneller heeft gemaakt. Volgens een klantverhaal van OpenAI zakte de geschatte kost per taak van minstens 36,21 dollar naar 0,47 dollar, en de looptijd van minstens 22,5 minuten naar ongeveer vier minuten. Dat is 76 keer goedkoper en 5 keer sneller, in een test die Asana zelf uitvoerde.

Wat is er precies getest?

Asana testte een agent in StackAI, een platform dat het overnam. Klanten bouwen daarmee werkstromen die websites doorlopen zonder te programmeren. De proef bestond uit 144 runs op vier toonaangevende modellen: GPT-6.1 Sol van OpenAI en drie niet bij naam genoemde modellen van een ander lab.

De taak was telkens dezelfde: zes gegevens verzamelen voor 32 boeken uit een openbare democatalogus. Asana noemt dat representatief voor wat sommige klanten laten uitvoeren. Het is wel één type taak. Of de winst ook geldt voor andere werkzaamheden, zeggen de bronnen niet.

De oorspronkelijke opzet draaide op een van die niet genoemde modellen, in de bron Model B. De geoptimaliseerde versie op dat model kostte 1,24 dollar per run, 29 keer minder. Overstappen naar GPT-6.1 Sol bracht de kost nog eens 2,6 keer omlaag, naar 0,47 dollar. Het grootste deel van de winst zat dus in de instellingen van de agent en niet in het model zelf.

Waar komt de besparing vandaan?

De besparing komt vooral uit hergebruik van wat de agent al gelezen heeft. Volgens Asana bewaarde de agent zijn vaste instructies wel in een snel geheugen, maar niet de groeiende geschiedenis van paginatekst en schermafbeeldingen. Bij elke stap werd die geschiedenis dus opnieuw tegen volle prijs doorgestuurd.

Daarbovenop wiste de agent bijna bij elke stap oude schermafbeeldingen en kortte hij tekst in. Elke wijziging veranderde de geschiedenis, waardoor het geheugen toch niet werkte. De beste aanpak liet schermafbeeldingen oplopen tot 20 en hield dan alleen de laatste over. Samen met een ruimer geheugen werd dat de uiteindelijke opzet.

Op GPT-6.1 Sol alleen daalde de kost daardoor 4 keer, van 1,97 naar 0,47 dollar per run. Volgens Asana kwam 89 procent van de invoer uit het geheugen, tegen 5 procent van de normale prijs. Het ruimere geheugen deed ook iets anders: met de kleine variant gaf het model in slechts 3 van 18 runs een antwoord, met de grote in alle 18, telkens het juiste.

Het werk zelf deed grotendeels een andere AI. Asana’s technisch directeur van StackAI, Frank Hidalgo, liet GPT-6 Astra in Codex, OpenAI’s programmeerhulp, de code doorlichten en de experimenten uitvoeren. Hij schat dat het met de hand een tot twee maanden had gekost, nu ongeveer een week.

Hoe betrouwbaar zijn deze cijfers?

De cijfers zijn nuttig als aanwijzing, niet als bewijs. Ze komen van OpenAI, dat een eigen product belicht, en van Asana, dat de test zelf opzette. Per instelling zijn er drie runs, wat weinig is. Bij de originele opstelling haalden sommige runs de maximale stappenlimiet, dus het cijfer van 36,21 dollar is een ondergrens. Daar komt bij dat de 76 keer een verouderde productieopzet vergelijkt met een volledig geoptimaliseerde: een deel van de winst is dus herstel van een inefficiëntie.

Onafhankelijke metingen ontbreken in de bronnen. De volledige studie staat volgens OpenAI op de blogs van Asana en StackAI, maar die lagen niet bij de aangeleverde bronnen. Ook de werkelijke prijzen per model staan er niet in, enkel verhoudingen: Model A kost de helft van GPT-6.1 Sol, de andere twee evenveel.

Is meer agenten inzetten ook de oplossing?

Nee, volgens ander onderzoek vaak niet. Het evaluatiebedrijf Vals AI liet GPT-6 Sol en Claude Opus 5.5 een programmeertest doen, alleen en als team. Teams kostten 1,8 tot 5,1 keer meer. In slechts één van vier vergelijkingen was de verbetering statistisch betekenisvol: GPT-6 Sol op gemiddeld denkniveau, met 7,3 punten meer.

OpenAI-onderzoeker Noam Brown zei in de Dwarkesh Podcast dat meerdere agenten vooral snelheid opleveren, geen betere kwaliteit. Vier agenten losten taken twee keer sneller op maar kostten ook twee keer meer. Dat sluit aan bij de Asana-casus: de winst kwam uit één agent die slimmer met zijn geheugen omgaat, niet uit meer agenten.