Hoe kies je een aangepaste LLM voor je AI-project?

Wat je moet vragen als je een model kiest

Hier is een goede lijst met vragen die je moet beantwoorden als je een model kiest:

• Kan ik een cloud-gebaseerde LLM gebruiken of moet ik er zelf een hosten?
• Hoe snel moeten de reacties zijn?
• Hoe nauwkeurig moeten de antwoorden zijn?
• Hoeveel $ zal mijn project besparen en/of opleveren? Onder welke prijs moet het dan vallen?
• Hoe lang moeten mijn reacties zijn?

Over het algemeen is het moeilijk om een krachtig model te versnellen of de kosten ervan te verlagen, en is het gemakkelijker om een minder nauwkeurig model te verbeteren. 

Het is echter veel sneller om aan de slag te gaan met een krachtig model en als het voldoet aan de behoeften van je project, heb je misschien minder engineering inspanning nodig (plus, het is gemakkelijker te onderhouden).

Uitgaan van een model

Het eerste wat je moet doen is een beginmodel kiezen. Er zijn online genoeg klassementen te vinden die de verschillende modellen met elkaar vergelijken.

Bijvoorbeeld:

• Hugging Face onderhoudt een leaderboard voor open source modellen.
• Vellum heeft een uitstekende voor de populairdere modellen.

Als je bedrijf een intern model heeft, overweeg dan om dit te gebruiken om met je budget te werken en gegevens privé te houden. Als je het model zelf moet hosten, overweeg dan een open-source model.

Fijnafstemming 

Fine-tuning houdt in dat je voorbeelden geeft aan je model zodat het leert hoe je een bepaalde taak goed uitvoert. Als je wilt dat het model uitblinkt in het spreken over je product, kun je een reeks voorbeelden geven van de beste verkoopgesprekken van je bedrijf.

Als het model open source is, vraag jezelf dan af of je team voldoende technische capaciteit heeft om een model te verfijnen.

Als het model closed source is en geleverd wordt als een service - GPT-4 of Claude - dan kun je je engineers meestal aangepaste modellen laten afstemmen met behulp van API's. De prijs stijgt meestal aanzienlijk via deze methode, maar er is weinig onderhoud. De prijs stijgt meestal aanzienlijk via deze methode, maar er is weinig tot geen onderhoud. 

Maar voor veel toepassingen is fijnafstelling niet de eerste stap naar het optimaliseren van je model. 

Een goed voorbeeld van fine-tuning is het bouwen van een kennisbot voor statische kennis. Door voorbeelden van vragen en antwoorden te geven, zou hij ze in de toekomst moeten kunnen beantwoorden zonder het antwoord op te zoeken. Maar het is geen praktische oplossing voor realtime informatie. 

Opzoeken-geaugmenteerde generatie

RAG is een mooie naam voor iets simpels dat we allemaal wel eens hebben gedaan op ChatGPT: wat tekst plakken in ChatGPT en er een vraag over stellen. 

Een typisch voorbeeld is vragen of een bepaald product op voorraad is op een e-commercesite, en een chatbot die de informatie opzoekt in een productcatalogus (in plaats van op het bredere internet). 

Als het gaat om ontwikkelingssnelheid en het verkrijgen van realtime informatie, is RAG een must-have. 

Het heeft meestal geen invloed op welk model je kiest, maar niets houdt je tegen om een LLM API endpoint te maken dat informatie opvraagt en antwoorden geeft en dit endpoint te gebruiken alsof het zijn eigen LLM is. 

Het gebruik van RAG voor een kennisgebaseerde chatbot is vaak eenvoudiger te onderhouden, omdat je een model niet hoeft bij te stellen en up-to-date te houden - wat ook kostenbesparend kan werken.

Lees de complete gids voor RAG

Wilt u RAG voor u laten werken? Wij kunnen je helpen.

Nu lezen

Toegang is altijd gratis

N-opname leren 

De snelste manier om te beginnen met het verbeteren van de kwaliteit van antwoorden is door voorbeelden te geven in een enkele LLM API-aanroep. 

Zero-shot - nul voorbeelden geven van wat je zoekt in een antwoord - is hoe de meesten van ons ChatGPT gebruiken. Het toevoegen van één voorbeeld (of one-shot) is meestal genoeg om een aanzienlijke verbetering in de kwaliteit van het antwoord te zien. 

Meer dan één voorbeeld wordt beschouwd als n-shot. N-shot verandert het model niet, in tegenstelling tot fine-tuning. Je geeft gewoon voorbeelden vlak voordat je om een antwoord vraagt, elke keer als je een vraag stelt. 

Maar deze strategie kan niet te veel gebruikt worden: LLM modellen hebben een maximale contextgrootte en worden geprijsd op basis van de grootte van het bericht. Fine-tuning kan de noodzaak voor n-shot voorbeelden wegnemen, maar kost meer tijd om goed te krijgen. 

Andere snelle engineeringtechnieken

Er zijn andere prompt engineering technieken, zoals chain-of-thought, die modellen dwingen om hardop te denken voordat ze met een antwoord komen. 

Dit verhoogt de kwaliteit van de respons, maar gaat ten koste van de lengte, kosten en snelheid van de respons. 

Mijn aanbeveling

Hoewel elk project zijn eigen unieke behoeften heeft, zal ik mijn mening geven over een sterke aanpak. 

Een goed begin is het gebruik van een kant-en-klaar model dat snelheid en kwaliteit in balans brengt, zoals GPT-4o Mini. Begin met te kijken naar de kwaliteit van de reacties, de reactiesnelheid, de kosten, de behoeften van het contextvenster en beslis op basis daarvan wat er verbeterd moet worden. 

Dan, met een beperkte use case, kun je wat eenvoudige prompt engineering proberen, gevolgd door RAG en tot slot fine-tuning. Elk model dat deze stappen doorloopt zal prestatiewinst hebben, dus het kan lastig zijn om uit te zoeken wat te gebruiken.

Engineering uitbesteden om $ te besparen

Een beperkt budget is essentieel om je project te realiseren. Een van de manieren waarop je dat kunt doen is door de engineeringstijd te verminderen door vereisten te ontkoppelen. 

Tegenwoordig hebben we toegang tot low-code oplossingen zoals Flutterflow en Shopify, die gebruikt kunnen worden door traditioneel niet-technische rollen zoals Product Managers. Chatbots zijn geen uitzondering en bij sommige AI-automatiseringsplatforms kun je zelfs je eigen LLM gebruiken. 

Je kunt engineers de opdracht geven om zich te richten op het hosten van de LLM en het opzetten van het automatiseringsplatform. Dat maakt de bedrijfsanalisten, productmanagers en andere gerelateerde rollen vrij om AI-agenten te bouwen die voldoen aan de bedrijfsvereisten. 

Als er iets extra's nodig is, hebben deze platformen meestal een manier voor ingenieurs om code toe te voegen. Op deze manier behoudt u de voordelen van een aangepast model en wint u aan flexibiliteit, snelheid en betaalbaarheid.

Bied engineeringvrijheid om bedrijfsproblemen op te lossen

Aan de andere kant zijn bedrijfsproblemen soms gewoon heel moeilijk op te lossen. 

We hebben het over volledig netwerkgebaseerde LLM applicaties, on-device apps of projecten waarbij chatbots extreem geavanceerde mogelijkheden moeten krijgen die meer zijn dan het synchroniseren van gegevens tussen twee platforms. 

In die gevallen is het zinvol om engineers de vrijheid te geven om de tools te gebruiken waar ze zich het prettigst bij voelen. Dit is meestal gewoon code schrijven en de belanghebbenden fungeren gewoon als projectmanagers.