De grootste angst rond AI-agents is niet dat ze fouten maken. Het is dat ze fouten maken en gewoon doorgaan alsof er niets aan de hand is. Een agent die zelfverzekerd het verkeerde antwoord geeft, is gevaarlijker dan een collega die hardop twijfelt. Dat een agent ooit ergens onzeker over is, gebeurt gegarandeerd. De echte vraag is wat hij op dat moment doet, en dat bepaal je bij het bouwen.
De aanname: een agent moet alles zelf oplossen
Veel ondernemers denken dat een AI-agent pas waardevol is als hij volledig zelfstandig draait. Geen mens er meer bij, alles automatisch, klaar. En zodra je dat beeld voor ogen hebt, snap ik je huiver wel, want wie corrigeert hem op het moment dat hij ergens de plank misslaat?
Zo bouwen wij een agent niet. Het belangrijkste deel van het werk gaat namelijk niet over wat de agent allemaal kan, maar over hoe je hem leert herkennen wanneer hij iets niet zeker weet. De waarde zit in een agent die op de juiste momenten zijn hand opsteekt.
Uit onderzoek blijkt dat maar een klein deel van de ondernemers AI laat meedenken over zakelijke beslissingen en dat advies ook echt vertrouwt [1]. Dat wantrouwen is terecht zolang je niet weet hoe de agent met onzekerheid omgaat. Het verdwijnt op het moment dat je dat van tevoren hebt ingeregeld.
Drie routes die je een agent meegeeft bij twijfel
Een goed gebouwde agent krijgt grofweg drie routes mee voor het moment dat zijn zekerheid onder een afgesproken grens zakt. De eerste is doorvragen. Mist er informatie om een goede beslissing te nemen, dan vraagt hij erom in plaats van het gat zelf in te vullen. Denk aan een ordermail waarin een aantal of een afleveradres ontbreekt: de agent legt de order stil en vraagt om wat hij nodig heeft.
De tweede route is overdragen. Komt de agent een uitzondering tegen die buiten de kaders valt die je hebt ingericht, dan zet hij de taak klaar voor een mens met alle context erbij. Geen rauwe foutmelding, maar een net dossier waarmee jouw medewerker in dertig seconden kan beslissen in plaats van het hele uitzoekwerk opnieuw te doen.
De derde route is escaleren. Bij situaties met financiele of juridische impact leg je de drempel veel hoger. Voor een vertaling is rond de 80 procent zekerheid prima, maar voor een financiele handeling is zelfs 99 procent te laag [2]. Bij het bouwen stem je de lat dus af op wat er op het spel staat. Hoe groter het gevolg van een fout, hoe sneller een mens erbij komt.
Waarom dit het verschil maakt tussen speelgoed en gereedschap
Het verschil tussen een leuke demo en een agent waar je je bedrijf op durft te laten draaien, zit precies hier. Het gaat niet om hoe slim hij is op zijn beste dag, het gaat om hoe hij zich gedraagt op zijn slechtste. Een agent die in 95 procent van de gevallen het werk afhandelt en de overige 5 procent netjes naar een mens schuift, is veel bruikbaarder dan een agent die honderd procent pretendeert te kunnen en bij die laatste paar procent stilletjes de fout in gaat.
Daarom besteden we het meeste werk aan bouwwerk dat je niet ziet maar wel voelt. Auditbare logboeken die laten zien welke beslissing op welk moment is genomen en waarom [3]. Controles die de inkomende data eerst valideren voordat er iets mee gebeurt. Een duidelijke scheiding tussen wat de agent zelf afhandelt en wat hij doorgeeft. Daar zit het vakmanschap, want de agent die je het meest vertrouwt is degene waarbij het hardst is nagedacht over wat hij juist laat liggen.
Waar het misgaat als je dit overslaat
De valkuil is een agent die getraind is op de wereld in het algemeen maar niets weet van jouw specifieke situatie. Dat printer X alleen werkt via server Y, of dat klant Z altijd een afwijkende betaaltermijn heeft. Die bedrijfskennis zit vaak nergens vastgelegd, en als je dat bij het bouwen overslaat ontstaan er blinde vlekken precies op de plekken waar het ertoe doet [4].
Een agent die deze grenzen niet meegekregen heeft, twijfelt ook niet. Hij weet niet wat hij niet weet, dus hij gaat vrolijk door. Dat is het scenario waar ondernemers terecht bang voor zijn. De oplossing zit in een agent die je zo inricht dat hij weet waar zijn kennis ophoudt en waar de mens het overneemt. Standaardwerk dat steeds hetzelfde verloopt, kun je gerust automatiseren. Werk met grote gevolgen waarbij de context dun is, laat je beter niet volledig door de agent zelf afhandelen.
De nuchtere afweging voordat je iets bouwt
Voordat je een proces uit handen geeft aan een agent, weegt er een vraag zwaarder dan hoeveel tijd je terugwint als alles soepel loopt. Die vraag is: wat gebeurt er als het misgaat? Een agent die in 95 procent van de gevallen vlekkeloos werkt maar bij die laatste paar procent de verkeerde kant op gaat, levert je geen rust op maar een nieuw soort onrust.
Daarom richt je bij het bouwen vooral de terugval goed in. Een agent die bij twijfel stopt en overdraagt, kost je in het slechtste geval een handmatige check. Een agent die bij twijfel doorgaat, kost je een verkeerde factuur, een boze klant of een foute aangifte. Het eerste is werk dat je terugkrijgt. Het tweede moet je dubbel doen, vaak met schade die je niet zomaar terugdraait. Bouw dus een agent die het netst stopt op het moment dat hij het niet meer zeker weet.