Waarom we intentieclassificeerders hebben afgeschaft

Een van de meest voorkomende vragen die we krijgen van potentiële klanten en gebruikers is "Waar zijn jullie intentieclassificeerders?".

Die hebben we niet. En ja, het is met opzet. 

Botpress gebruikt LLMs om de intentie van gebruikers te identificeren. Waarom? Het is enorm veel beter voor zowel de bouwers als de gebruikers van een AI-agent. 

Dit standpunt staat bij ons hoog in het vaandel, dus ik wil graag een paar minuten de tijd nemen om ons gebrek aan intentieclassificeerders uit te leggen. 

TLDR: Het is gemakkelijker te bouwen, het is nauwkeuriger en het is eenvoudiger te onderhouden. 

De oude (pre-LLM) dagen

(Als je bekend bent met wat intentieclassificeerders zijn en wat ze doen, kun je dit gedeelte gerust overslaan). 

Een intentieclassificator is een hulpmiddel dat gebruikersinvoer categoriseert in vooraf gedefinieerde intenties op basis van trainingsgegevens.

Ontwikkelaars moeten talloze voorbeelden verzamelen en labelen voor elke mogelijke intentie, in de hoop dat het systeem de invoer van gebruikers kan matchen met deze voorbeelden. 

Bij een e-commerce chatbot kunnen ontwikkelaars bijvoorbeeld een intentie definiëren als "TrackOrder". Hun voorbeelduitingen kunnen zijn: "Waar is mijn pakket?" "Traceer mijn bestelling" en "Kunt u de leveringsstatus voor mij controleren?".

Ze trainen de AI-agent in wezen om de intentie van de gebruiker te herkennen door voorbeelden te geven. En ja, ze moeten die allemaal met de hand invoeren.

Gelukkig is de noodzaak om handmatig mogelijke uitingen te koppelen aan een intentie vrijwel verdwenen naarmate LLMs geavanceerder werd.

Maar veel AI-platforms voor conversaties gebruiken ze nog steeds. Waarom? Daar komen we zo op. 

4 nadelen van intentieclassifiers

Het is niet alleen dat het een langer proces is - intentieclassificeerders zijn om veel redenen waardeloos. Hier zijn er een paar:

1. Afhankelijkheid van gegevens

Intentieclassificeerders zijn gegevensverslindend. Ze hebben een enorme, representatieve dataset van gebruikersvoorbeelden nodig voor elke intentie om nauwkeurig te kunnen werken. Zonder dat hebben ze moeite om invoer correct te classificeren.

En het bouwen van deze datasets is een hele klus. Ontwikkelaars spenderen eindeloze uren aan het verzamelen en labelen van voorbeelden, wat - zonder twijfel - geen goed gebruik van hun tijd is.

2. Beperkte schaalbaarheid 

Intent-classifiers zijn ook niet gebouwd om op te schalen. Nieuwe intenties toevoegen betekent meer gegevens verzamelen en het model opnieuw trainen, wat al snel een knelpunt voor ontwikkeling wordt. Plus Bovendien kunnen ze een bron van hoofdbrekens zijn bij het onderhoud, want als het taalgebruik evolueert, evolueren ook de uitingen.

3. Slecht taalbegrip 

Intentieclassificeerders hebben geen echt taalbegrip. Ze worstelen met variaties in taal, zoals:

• Synoniemen
• Parafrases
• Dubbelzinnige formulering
• Typos 
• Vertrouwde uitdrukkingen
• Gefragmenteerde invoer

Ze verwerken elke uiting ook in afzondering, wat betekent dat ze niet in staat zijn om de context tijdens een gesprek te behouden. 

4. Overpassing

Intent classifiers zijn gevoelig voor overfitting, waarbij ze trainingsvoorbeelden onthouden in plaats van algemene patronen te leren. 

Dat betekent dat ze goed presteren op exacte zinnen die ze hebben gezien, maar moeite hebben met nieuwe of gevarieerde invoer. Dit maakt ze veel brozer dan geschikt is voor professioneel gebruik.

6 redenen waarom LLMs beter is 

LLMs hebben deze problemen zo goed als opgelost. Ze begrijpen context en nuance, en ontwikkelaars hoeven ze niet te vullen met trainingsgegevens om ze aan de praat te krijgen. Een agent op basis van LLM kan beginnen met converseren vanaf het moment dat hij is aangemaakt. 

1. Zero-shot leermogelijkheden 

LLMs hebben geen voorbeelden nodig om te leren. Door hun uitgebreide voortraining begrijpen ze de context, nuance en bedoeling al zonder dat ontwikkelaars ze specifieke voorbeelden hoeven te geven.

2. Een klein ding genaamd nuance

LLMs blinken uit waar intentieclassificeerders tekortschieten. Ze kunnen idiomen, sarcasme en dubbelzinnig taalgebruik met gemak interpreteren. 

Door hun uitgebreide training op diverse datasets zijn ze in staat om de subtiele nuances van menselijke communicatie te begrijpen die classificeerders met intenties vaak over het hoofd zien.

3. Betere context

LLMs verliezen het gesprek niet uit het oog. Ze herinneren zich wat er eerder is gezegd, waardoor interacties natuurlijker verlopen en coherenter aanvoelen.

Deze context helpt hen ook om dubbelzinnigheden op te helderen. Zelfs als de input vaag of complex is, kunnen ze het samenstellen door naar de bredere conversatie te kijken.

4. Schaalbaarheid

LLMs zijn 100% beter in schalen. Ze hoeven niet bijgeschoold te worden om nieuwe onderwerpen aan te pakken, dankzij hun brede taalkennis. 

Dat maakt ze klaar om vrijwel elke use case direct uit de doos te verwerken. Voor multi-agent systemen is het een no-brainer om een LLM te gebruiken in plaats van een intent classifier.

5. Flexibiliteit

LLMs vertrouwen niet op starre sjablonen. Door hun flexibiliteit voelen reacties natuurlijk, gevarieerd en perfect afgestemd op de conversatie. Ze zijn een veel betere ervaring voor gebruikers dan broze intentieclassificeerders.

6. Minder trainingsgegevens

LLMs hebben geen taakspecifieke gelabelde gegevens nodig om de klus te klaren. Hun kracht komt van massale pre-training op diverse tekst, zodat ze niet afhankelijk zijn van nauwgezet geannoteerde datasets.

Indien nodig kunnen ontwikkelaars altijd een LLM aanpassen voor hun project. LLMs kan bijvoorbeeld worden verfijnd met minimale gegevens, zodat het snel kan worden aangepast aan gespecialiseerde gebruikssituaties of industrieën.

Waarom gebruiken andere bedrijven intentieclassificeerders?

Goede vraag. Als LLMs zoveel beter is in het classificeren van intenties, waarom gebruiken zoveel bedrijven dan nog steeds intentieclassificeerders? 

Het antwoord is niet mooi en het is ook niet zo diplomatiek om te zeggen: het is een probleem van legacy-technologie. 

De meeste bedrijven hebben er belang bij om intent classifiers te gebruiken. Ze hebben enorme installaties opgebouwd die erop draaien. Ze hebben geen reden om hun gebruikers af te houden van het systeem dat ze hebben gebouwd.

Maar Botpress is LLM- eerst

LLMs zijn veel beter in het identificeren van intenties dan ouderwetse intentieclassificeerders. Daarom hebben we vanaf nul herschreven om LLM als eerste in 2020 te kunnen gebruiken. 

We wisten dat er betere technologie op komst was en in plaats van vast te houden aan bestaande technologie, investeerden we in het nemen van de sprong.

Zullen we intentieclassificeerders toevoegen?

Nee. We geven te veel om de ervaring van onze bouwers en hun gebruikers.

De toekomst van intentieclassificatie

Intent classifiers zijn een hulpmiddel uit het verleden. Daarom hebben we alles op LLMs gezet. 

Naarmate LLMs beter wordt, zullen ook de AI-agenten die op Botpress zijn gebouwd beter worden. We zijn klaar en enthousiast om de lat steeds hoger te leggen voor wat conversationele AI kan doen.

Als je flexibele AI-agenten wilt bouwen die worden aangestuurd door LLMs, begin dan gerust met bouwen op Botpress. Het is gratis. 

AI-agenten bouwen

Aangepaste autonome agenten bouwen

Nu beginnen

Geen creditcard nodig