Hoe werkt ChatGPT ?

Generatief

ChatGPT is een generatief AI-model - het kan tekst, code, afbeeldingen en geluid genereren. Andere voorbeelden van generatieve AI zijn tools voor het genereren van afbeeldingen zoals DALL-E of audiogeratoren.

Voorgetraind

Het 'voorgetrainde' aspect van ChatGPT is de reden waarom het alles lijkt te weten op het internet. Het model GPT is getraind op grote hoeveelheden gegevens in een proces dat 'unsupervised learning' wordt genoemd.

Vóór ChatGPT werden AI-modellen gebouwd met behulp van supervised learning - ze kregen duidelijk gelabelde inputs en outputs en leerden het ene naar het andere te mappen. Dit proces verliep vrij traag, omdat datasets door mensen moesten worden samengesteld.

Toen de vroege GPT modellen werden blootgesteld aan de grote datasets waarop ze waren getraind, namen ze taalpatronen en contextuele betekenis op uit een grote verscheidenheid aan bronnen. 

Daarom is ChatGPT een chatbot met algemene kennis - hij is al getraind op een enorme dataset voordat hij werd vrijgegeven voor het publiek.

Gebruikers die de GPT engine verder willen trainen - om zich te specialiseren in bepaalde taken, zoals het schrijven van rapporten voor jouw unieke organisatie - kunnen technieken gebruiken om LLMs aan te passen.  

Transformator

Transformers zijn een type neurale netwerkarchitectuur die in 2017 werd geïntroduceerd in een artikel getiteld "Attention is All You Need" door Vaswani et al. Vóór transformers werden modellen zoals terugkerende neurale netwerken (RNN's) en langetermijngeheugen (LSTM)-netwerken vaak gebruikt voor het verwerken van tekstsequenties. 

RNN's en LSTM-netwerken zouden tekstinvoer opeenvolgend lezen, net zoals een mens dat zou doen. Maar de transformatorarchitectuur kan elk woord in een zin tegelijkertijd verwerken en evalueren, waardoor het sommige woorden als relevanter kan beoordelen, zelfs als ze in het midden of aan het einde van een zin staan. Dit staat bekend als een zelfattentiemechanisme. 

Neem de zin: "De muis paste niet in de kooi omdat die te groot was."

Een transformator kan het woord 'muis' belangrijker vinden dan 'kooi' en correct identificeren dat 'het' in de zin naar de muis verwijst. 

Maar een model zoals een RNN zou 'het' kunnen interpreteren als de kooi, omdat het het zelfstandig naamwoord is dat het laatst is verwerkt.

Dankzij het 'transformator'-aspect kan ChatGPT de context beter begrijpen en intelligentere reacties produceren dan zijn voorgangers. 

Wat is natuurlijke taalverwerking?

Natuurlijke taalverwerking (NLP) is een tak van kunstmatige intelligentie die zich richt op de interactie tussen computers en mensen via natuurlijke taal. 

Het stelt machines in staat om menselijke taal te begrijpen, te interpreteren en te genereren op een manier die zowel zinvol als nuttig is.

NLP vs NLU vs NLG

NLP is een breed vakgebied dat verschillende subdisciplines omvat, waaronder het begrijpen van natuurlijke taal (NLU) en het genereren van natuurlijke taal (NLG). 

NLP is het overkoepelende domein, terwijl NLU en NLG daarbinnen gespecialiseerde gebieden zijn. Dat komt omdat het bij natuurlijke taalverwerking gaat om zowel begrijpen als genereren tijdens een heen-en-weer-gesprek.

Hoe werkt NLP?

NLU breekt menselijke taal af om de betekenis en bedoeling ervan te interpreteren. Dit is hoe het stap voor stap werkt:

1. De tekst wordt voorbewerkt om onnodige elementen (zoals interpunctie en stopwoorden) te verwijderen.
2. Het systeem identificeert sleutelcomponenten zoals entiteiten, sleutelwoorden en zinnen uit de tekst.
3. Het analyseert de zinsstructuur om relaties tussen woorden en concepten te begrijpen.
4. Het NLU model koppelt de herkende elementen aan specifieke intenties of doelen.
5. De NLU engine verfijnt zijn begrip op basis van context en de interactiegeschiedenis van de gebruiker.

Het systeem levert een gestructureerde output die de juiste acties of reacties teweeg kan brengen.

Vooropleiding

Ten eerste wordt het AI-model blootgesteld aan een enorme hoeveelheid tekstgegevens - uit boeken, websites en andere bestanden. 

Tijdens het voortrainen leert het model het volgende woord in een zin te voorspellen, waardoor het patronen in taal begrijpt. Het bouwt in wezen een statistisch begrip van taal op, waardoor het tekst kan genereren die coherent klinkt.

Fijnafstemming

Na pre-training wordt het model verfijnd op meer specifieke datasets. Voor ChatGPT omvat dit datasets die zijn samengesteld voor conversaties. 

Een belangrijk onderdeel van deze stap is Reinforcement Learning from Human Feedback (RLHF), waarbij menselijke trainers de reacties van het model beoordelen. Deze feedbacklus helpt ChatGPT bij het verbeteren van zijn vermogen om passende, nuttige en contextueel accurate reacties te genereren.

Tokens

De teksteenheden (woorden of delen van woorden) die het model verwerkt. ChatGPTDe invoer en uitvoer van het model worden getoken voor efficiënte berekeningen.

Zero-shot leren

Het vermogen van het model om taken uit te voeren waarvoor het niet specifiek is getraind door te vertrouwen op zijn algemene kennis. 

One-shot learning houdt in dat het model één voorbeeld krijgt, terwijl n-shot learning inhoudt dat het model veel voorbeelden krijgt om te leren. 

Aandachtsmechanisme

Een component van het transformatormodel waarmee het zich kan richten op verschillende delen van de invoertekst bij het genereren van reacties.

Hallucinatie

Een AI-model 'hallucineert' wanneer het onjuiste of onzinnige informatie genereert. Hallucinaties kunnen worden beperkt met strategieën zoals retrieval-augmented generation (RAG).

Redeneren in een gedachteketen

Een methode die het model stap voor stap helpt denken, waardoor het beter in staat is om complexe aanwijzingen of taken te verwerken. 

Sommige ChatGPT modellen zijn automatisch uitgerust met deze strategie - zoals de nieuwste OpenAI o1 modellen. Maar je kunt elke versie vragen om chain-of-thought redeneringen te doen: vraag het gewoon om zijn redenering stap voor stap uit te leggen.

Vooropleiding

De beginfase waarin het model wordt getraind op een enorme dataset om taalpatronen te leren voordat het wordt verfijnd voor specifieke taken.

Fijnafstemming 

Het proces van het verfijnen van het model op een beperktere dataset of taak om de prestaties in specifieke gebruikssituaties te verbeteren.

Contextvenster

De limiet op de hoeveelheid invoertekst waarmee het model rekening kan houden bij het genereren van een antwoord. 

Een laag contextvenster betekent dat je geen lang rapport kunt sturen en om een samenvatting kunt vragen - het model zal het begin van het document 'vergeten' zijn. 

Aangepast GPTs

OpenAI stelt gebruikers in staat om GPTs naar wens aan te passen. Je kunt een aangepaste GPT opdracht geven om je te helpen de regels voor een bepaald bordspel te leren, posters voor rock metal bands te ontwerpen of je AI-concepten te leren.

Aangepaste AI-agenten

Met de vooruitgang in AI-technologie is het eenvoudig (en gratis) om je eigen LLMAI-agenten te maken. 

Van low-code drag-and-drop bouwers tot geavanceerde codering ecosystemen, er zijn geweldige AI-bouwplatforms voor elk gebruik en vaardigheidsniveau. 

Door je eigen agent te bouwen op LLM kun je een AI-assistent op maat ontwerpen die je vergaderingen plant en je wekelijkse statistieken genereert. Of je kunt een AI-agent voor klantenondersteuning bouwen die je inzet op WhatsApp. Er is geen tekort aan mogelijkheden.