Human-in-the-Loop in AI: Betere nauwkeurigheid, minder risico

Als je overweegt om je bedrijf te verbeteren met AI, ben je niet de enige. Nu AI-chatbots het snelst groeiende communicatiekanaal zijn, zijn ze geen luxe meer – ze worden verwacht.

Maar die controle uit handen geven kan best spannend zijn. Belangrijke processen overlaten aan een zogenaamd ‘black box-algoritme’ voelt als een grote sprong in het diepe.

En dat is het ook, daarom vertrouwen bedrijven op menselijke tussenkomst om AI te sturen. Vrijwel alle AI agent-frameworks bevatten human-in-the-loop – menselijke controle over AI-processen.

In dit artikel leg ik uit wat het is, hoe het werkt en geef ik voorbeelden van hoe menselijke tussenkomst dagelijks wordt ingezet om gebruikers meer controle te geven over AI-chatbots en agents.

Wat is human-in-the-loop?

Human-in-the-loop (HITL) is een samenwerkingsaanpak waarbij menselijke input wordt gebruikt om AI te verbeteren of uit te breiden. Dit kan door mensen geannoteerde data zijn, gecorrigeerde modeluitvoer, of het volledig overnemen van taken door mensen wanneer de AI onzeker is of niet goed functioneert.

De term is wat vaag. Het verwijst technisch gezien naar elke menselijke betrokkenheid in de levenscyclus van AI-toepassingen – van data-annotatie en modelbeoordeling tot actief leren en escalaties.

In de praktijk betekent HITL-functionaliteit bij AI-aanbieders meestal toezicht op AI-uitvoer: de mogelijkheid om antwoorden te beoordelen en chatbotgesprekken door te zetten naar menselijke medewerkers.

Hoe zijn mensen 'in de loop' bij AI?

Een goed functionerende AI-pijplijn heeft op meerdere punten ruimte voor menselijke inbreng.

AI wordt getraind om patronen te ontdekken in trainingsdata en deze te generaliseren naar nieuwe, onbekende data. Wij bepalen welke data het model ziet, maar niet welke patronen het daaruit haalt.

Bij elke stap – dataverzameling, training en implementatie – is het aan mensen om te zorgen dat het model doet wat het moet doen.

Afhankelijk van waar en hoe deze menselijke tussenkomst plaatsvindt, valt het onder een van de volgende categorieën:

Feedback geven voor continue verbetering

Je kent het wel: ChatGPT vraagt je welke van twee antwoorden beter is. Feedback kan worden gebruikt als nieuwe data om het model verder te trainen.

Feedback hoeft echter niet altijd expliciet te zijn.

Denk aan aanbevelingen op sociale media. Een voorspellend model doet voortdurend suggesties op basis van je geschiedenis. Terwijl je het platform gebruikt, worden jouw keuzes als data gebruikt om het aanbevelingsmodel bij te sturen.

In dit geval ben jij de mens. Door de app te gebruiken, help je toekomstige aanbevelingen te sturen.

Hier komt de cirkel rond: het model wordt getraind op data, gebruikers interageren met het model, en die interacties leveren weer nieuwe data op waarmee het model verder wordt getraind.

Escalaties afhandelen

HITL draait niet altijd om het verbeteren van het systeem. Soms gaat het erom lastige gevallen door te zetten naar mensen.

Neem een klantenservice-chatbot. Die neemt een groot deel van het werk van je team over door 95% van de vragen duidelijk, beknopt en accuraat te beantwoorden.

Maar dan blijft er nog 5% over.

Sommige gevallen zijn zo specifiek of ongewoon dat ze buiten het bereik van de AI vallen. Hoewel menselijke tussenkomst het model hier niet verbetert, is dit een goed voorbeeld van hoe mensen en machine learning elkaar kunnen aanvullen.

Data annoteren voor training

Technisch gezien is vrijwel alle machine learning gebouwd met een HITL-mechanisme. Daarom bedoelen we met HITL meestal de bovenstaande categorieën.

Toch zou ik tekortschieten als ik geen aandacht zou besteden aan de menselijke arbeid en expertise in het machine learning-proces.

Data is de ruggengraat van AI en is afhankelijk van mensen. AI-modellen worden getraind om labels te voorspellen op basis van inputdata. Labels zijn de verwachte uitkomsten van de AI, en het is aan ons mensen om die te maken.

Voorbeelden van menselijke labeling zijn:

• Handmatig antwoorden schrijven op prompts om large language models (LLM's) te trainen.
• Audio transcriberen voor spraakherkennings-modellen.
• Objecten annoteren in afbeeldingen voor objectdetectie-modellen
• Voorbeeld-e-mails markeren als spam of niet-spam voor de spamdetector van een e-mailclient

Modelprestaties evalueren

Het grootste deel van de tijd bij het bouwen van AI-modellen gaat op aan het verbeteren ervan. Je kunt allerlei statistieken berekenen, zoals precisie en recall, maar het vraagt expertise om te begrijpen hoe het model werkt en, belangrijker nog, wat je eraan kunt doen.

Zo kan een onderzoeker merken dat het model goed is in het herkennen van honden, maar niet van hotdogs. Dat kun je meestal oplossen door meer of gevarieerdere afbeeldingen van hotdogs toe te voegen.

Soms heeft een chatmodel moeite om informatie uit eerdere berichten te onthouden. Een onderzoeker pakt dit meestal aan door de architectuur of de generatie van het model aan te passen.

De voordelen van Human-in-the-Loop AI

AI is misschien razendsnel en goed in het herkennen van subtiele patronen, maar mensen zijn slim.

HITL draait om het combineren van menselijke nuance met de efficiëntie van AI-workflowautomatisering, zodat antwoorden aansluiten bij de ervaring die gebruikers en aanbieders verwachten.

1. Nauwkeurigheid en betrouwbaarheid

Deze spreekt voor zich. Wat is beter dan gewone AI? AI die is gecorrigeerd.

Het is niet alleen geoptimaliseerd voor uitzonderingen, maar ook betrouwbaar omdat gebruikers weten dat de uitkomsten continu worden gecontroleerd en verbeterd.

2. Bias verminderen

Data is niet perfect, en modeluitvoer weerspiegelt dat. Bias – een voorkeur voor bepaalde uitkomsten – is een probleem in machine learning en AI.

Dingen zoals raciaal gekleurde beeldgeneratie of het bepalen van geschiktheid voor een baan op basis van geslacht zijn voorbeelden van hoe AI de vooroordelen in trainingsdata weerspiegelt.

Met HITL kunnen mensen deze problemen signaleren en het model sturen naar eerlijkere uitkomsten.

3. Continue verbetering en aanpassingsvermogen

De training is niet voorbij zodra een model in productie is. Met HITL kan het model blijven leren van nieuwe data en zich beter aanpassen aan onbekende gevallen.

Bijvoorbeeld, gegenereerde tekst bewerken of volgen welke content gebruikers kiezen levert extra data op waarmee het model zich kan verbeteren.

Maar het is niet genoeg dat een model verbetert; het moet zich ook aanpassen.

We staan er vaak niet bij stil hoe wij onszelf voortdurend aanpassen aan een veranderende wereld. Voor AI is dat niet vanzelfsprekend. HITL combineert expertise en nuance om de output van een model actueel te houden.

4. Transparantie en vertrouwen

Door mensen te betrekken worden de beslissingen van AI transparanter. Als mensen uitkomsten corrigeren of onzekere gevallen oplossen, weten gebruikers dat ze te maken hebben met een doordacht algoritme.

Zo houden wij de controle over AI, en niet andersom.

Toepassingen van Human-in-the-Loop

1. Zelfrijdende voertuigen

Met een verwachte marktwaarde van USD 3,9 biljoen in het komende decennium, lijkt zelfrijdende technologie de volgende grote stap voor AI. Hierbij worden objectdetectiemodellen en beslissingen per seconde gebruikt om het rijgedrag van een mens na te bootsen.

Maar voor iets dat zo weinig menselijke tussenkomst vereist, is het toch sterk afhankelijk van mensen. Modellen observeren voortdurend het rijgedrag van mensen en vergelijken hun beslissingen met hun eigen voorspellingen.

2. Retail

Een retail chatbot is een uitstekende manier om klantinteracties te automatiseren en toch een persoonlijke ervaring te bieden. Met HITL blijft die ervaring soepel en afgestemd op je bedrijf. Bijvoorbeeld, je kunt:

• De productaanbevelingen van de bot beoordelen en corrigeren
• De klant eerst zijn of haar basisbehoeften laten bespreken voordat je doorschakelt naar een menselijke medewerker.

3. Financiën

Financiële chatbots zijn een goede manier om AI-automatisering te combineren met menselijke expertise.

Fraudedetectiesystemen zijn goed in het herkennen van verdachte transacties. Maar niet elke verdachte activiteit is kwaadwillig, en je wilt niet dat je pas wordt geblokkeerd elke keer dat je je koffie anders bestelt.

HITL kan gevallen met lage zekerheid en laag risico doorsturen naar mensen.

Risicobeoordeling bij leningen is ook een gebied waar AI uitblinkt – het kan goed kansen berekenen op basis van allerlei schijnbaar ongerelateerde gegevens. Maar die gegevens bevatten vrijwel zeker enige vorm van bias.

Het waarborgen van eerlijkheid en het tegengaan van bias vereist vaak de hulp van een echt persoon.

4. Gezondheidszorg

De Reddit-gebruiker wiens leven werd gered door Claude zal als eerste het potentieel van AI in de gezondheidszorg onderstrepen.

Medische AI-chatbots hebben al een deel van dat potentieel laten zien, maar het gaat verder dan dat: AI kan helpen bij het stellen van een diagnose op basis van een MRI, of vervolgonderzoeken voorstellen op basis van testresultaten. Maar ik ben nog niet klaar om artsen te missen.

HITL biedt het beste van twee werelden: het vangt gevallen op die artsen misschien missen, terwijl zij toch de uiteindelijke beslissing nemen.

Gebruik vandaag nog Human-Augmented AI

Botpress heeft duizenden bots in gebruik met naadloze menselijke controle, en is het meest flexibele AI-agentplatform op de markt.

Botpress heeft een HITL-integratie, een visuele drag-and-drop builder en kan worden ingezet op alle populaire communicatiekanalen (waaronder Slack, Telegram, WhatsApp, web), zodat AI gebruiken niet betekent dat je het persoonlijke contact verliest.

Begin vandaag nog met bouwen. Het is gratis.

Veelgestelde vragen

Hoe weet ik of mijn AI-systeem menselijke tussenkomst nodig heeft?

Je AI-systeem heeft waarschijnlijk menselijke tussenkomst nodig als het belangrijke beslissingen neemt, vaak te maken krijgt met onduidelijke of zeldzame situaties, het risico loopt op bevooroordeelde of schadelijke uitkomsten, of werkt in domeinen waar absolute nauwkeurigheid en menselijk oordeel essentieel zijn voor naleving of klantvertrouwen.

Kan human-in-the-loop worden toegepast op niet-technische bedrijfsprocessen, of alleen op AI-modellen?

Human-in-the-loop kan ook worden gebruikt bij niet-technische bedrijfsprocessen, zoals het beoordelen van klantklachten of het modereren van content, omdat het betekent dat je menselijk oordeel toevoegt aan elke geautomatiseerde workflow waar alleen machinebeslissingen niet voldoende zijn.

Betekent het gebruik van human-in-the-loop dat mijn AI-systeem minder geavanceerd is?

Het gebruik van human-in-the-loop betekent niet dat je AI-systeem minder geavanceerd is. Het laat zien dat je veiligheid en eerlijkheid vooropstelt door de snelheid en patroonherkenning van AI te combineren met menselijk oordeel voor genuanceerde beslissingen, wat vaak essentieel is.

Is human-in-the-loop AI kosteneffectief voor kleine bedrijven, of alleen voor grote ondernemingen?

Human-in-the-loop AI wordt steeds kosteneffectiever voor kleine bedrijven, omdat moderne tools het mogelijk maken om alleen bij lastige gevallen mensen in te schakelen. Zo houd je de arbeidskosten laag en verbeter je toch de nauwkeurigheid en het vertrouwen, zonder een groot team nodig te hebben.

Wat kost het om human-in-the-loop-processen toe te voegen aan een AI-systeem?

Het toevoegen van human-in-the-loop-processen kan variëren van minimale kosten — als je af en toe eigen personeel inzet — tot aanzienlijk, oplopend tot honderden of duizenden dollars per maand als je vaste beoordelaars of gespecialiseerde krachten nodig hebt. De kosten hangen vooral af van het aantal en de complexiteit van de taken die mensen moeten uitvoeren.