Microsoft publiceert draaiboek om te testen wat AI-programmeerhulpen met jouw technologie doen

Microsoft heeft de AX Practitioner Playbook gepubliceerd, een draaiboek waarmee je kunt nagaan wat AI-programmeerhulpen doen met jouw technologie, waarom ze fouten maken en hoe je die oplost. Het document is gratis te downloaden. Het is geschreven door Waldek Mastykarz, een ontwikkelaar die voor Microsoft werkt rond AI-programmeerhulpen.

Wat is het probleem dat Microsoft beschrijft?

AI-programmeerhulpen schrijven code die er goed uitziet, maar vaak niet klopt met wat de maker van een product aanraadt. Microsoft noemt als voorbeelden een verkeerde versie van de software, een verouderde manier van inloggen of een opzet die niemand van het productteam zou aanbevelen.

Volgens Microsoft is dat geen toeval. De hulp doet wat de gegevens waarmee ze getraind werd haar leren. Ontwikkelaars laten die hulpen steeds vaker zelf kiezen welke versie en aanpak ze gebruiken, en beoordelen daarna het product op het resultaat. Wachten tot de modellen beter worden is volgens Microsoft geen strategie. Wat je zelf kunt aanpassen, zijn de bronnen waar de hulpen op steunen, zoals handleidingen en uitbreidingen die ze kunnen gebruiken.

Wat staat er in het draaiboek?

Het draaiboek volgt een test van begin tot einde en bundelt wat Microsoft de voorbije maanden in losse artikels deelde. Sinds het najaar van 2025 meet het bedrijf hoe AI-hulpen presteren met onder meer Azure, de databank Cosmos DB en uitbreidingen voor Microsoft 365 Copilot. Daarbij gebruikt het opdrachten die lijken op wat echte ontwikkelaars vragen.

De belangrijkste onderdelen:

• Betrouwbare resultaten. Microsoft zag naar eigen zeggen perfecte scores voor code die nooit werkte. Het draaiboek legt uit wat een testresultaat moet bewijzen voor je het vertrouwt.
• Goede beoordelingscriteria. Je schrijft vooraf op wat “juist” betekent en controleert of de beoordeling elke keer hetzelfde uitvalt. Een model de criteria laten schrijven noemt Microsoft een valkuil.
• Van symptoom naar oorzaak. Je leert onderscheiden of een uitbreiding nooit geladen werd, wel geladen maar niet gebruikt, of gebruikt maar verkeerd toegepast. Elk heeft een andere oplossing. Microsoft onderscheidt negen terugkerende foutpatronen.
• Oplossingen die doorgevoerd worden. Elke voorgestelde aanpassing test je eerst als hypothese. Volgens Microsoft leidden de tests tot tientallen verbeteringen aan handleidingen en uitbreidingen, waaronder 46 voor de Azure Cosmos DB Agent Kit.

Microsoft brengt ook een hulpmiddel uit, de AX Practitioner skill. Dat is een extra functie die je in je AI-programmeerhulp installeert en waaraan je vragen over de methode stelt. Ze antwoordt enkel op basis van het draaiboek en meldt het als een vraag daarbuiten valt. Volgens Microsoft scoorden de antwoorden over 330 vragen gemiddeld 95 procent ten opzichte van wat het draaiboek zegt.

Voor wie is het bedoeld?

Het draaiboek richt zich op iedereen die technologie bouwt waar AI-programmeerhulpen gebruik van maken: software, koppelingen, diensten of de handleidingen erbij. Ook wie een technologie promoot zonder ze te bezitten, kan scenario’s testen en bewijs aanleveren aan het team dat beslist. De methode hangt volgens Microsoft niet af van een specifiek testsysteem.

Wat ontbreekt in de bronnen?

De enige bron is een blogbericht van Microsoft zelf. Alle cijfers komen dus van het bedrijf: de 46 verbeteringen, de 330 vragen en de 95 procent. Een onafhankelijke toetsing, of voorbeelden van bedrijven buiten Microsoft, staan er niet bij. Ook over de kosten of de tijd die zo’n testtraject vraagt, zegt het bericht niets. De methode is getest op Microsoft-technologie, en de bron zegt niet hoe goed ze werkt voor kleinere producten.