Zelfs als je het dagelijks gebruikt, heb je misschien vragen over hoe ChatGPT werkt.
Laten we eens een kijkje nemen achter de schermen van 's werelds populairste AI-chatbot.
ChatGPT 101
Als je maar 20 seconden tijd hebt, lees je hier hoe ChatGPT werkt:
- Je stuurt een verzoek. 'Schrijf een e-mail
- ChatGPT breekt de invoer op in tokens voor verwerking.
- Het gebruikt NLP om de invoer te analyseren en de context te begrijpen.
- Het voorspelt het volgende woord met behulp van patronen die het heeft geleerd van trainingsgegevens.
- Het richt zich op de meest relevante delen van je invoer (met behulp van het aandachtsmechanisme).
- ChatGPT genereert het volledige antwoord, woord voor woord, en stuurt het naar je terug.
Dit zijn de basisstappen van hoe ChatGPT query's ontvangt en beantwoordt.
Natuurlijke taalverwerking
Een deel van wat ChatGPT magisch maakt, is dat het natuurlijke taalverwerking gebruikt. Het kan met ons heen en weer chatten omdat het natuurlijke menselijke taal kan verwerken en begrijpen.
Wat is natuurlijke taalverwerking?
Natuurlijke taalverwerking (NLP) is een tak van kunstmatige intelligentie die zich richt op de interactie tussen computers en mensen via natuurlijke taal.
Het stelt machines in staat om menselijke taal te begrijpen, te interpreteren en te genereren op een manier die zowel zinvol als nuttig is.
NLP vs NLU vs NLG
NLP is een breed vakgebied dat verschillende subdisciplines omvat, waaronder het begrijpen van natuurlijke taal (NLU) en het genereren van natuurlijke taal (NLG).
NLP is het overkoepelende domein, terwijl NLU en NLG daarbinnen gespecialiseerde gebieden zijn. Dat komt omdat het bij natuurlijke taalverwerking gaat om zowel begrijpen als genereren tijdens een heen-en-weer-gesprek.
Hoe werkt NLP?
NLU breekt menselijke taal af om de betekenis en bedoeling ervan te interpreteren. Dit is hoe het stap voor stap werkt:
- De tekst wordt voorbewerkt om onnodige elementen (zoals interpunctie en stopwoorden) te verwijderen.
- Het systeem identificeert sleutelcomponenten zoals entiteiten, sleutelwoorden en zinnen uit de tekst.
- Het analyseert de zinsstructuur om relaties tussen woorden en concepten te begrijpen.
- Het NLU model koppelt de herkende elementen aan specifieke intenties of doelen.
- De NLU engine verfijnt zijn begrip op basis van context en de interactiegeschiedenis van de gebruiker.
Het systeem levert een gestructureerde output die de juiste acties of reacties teweeg kan brengen.
De GPT van ChatGPT
De GPT van ChatGPT staat voor 'generative pre-trained transformer'. Elk van deze 3 elementen is essentieel om te begrijpen hoe ChatGPT werkt.
Generatief
ChatGPT is een generatief AI-model - het kan tekst, code, afbeeldingen en geluid genereren. Andere voorbeelden van generatieve AI zijn tools voor het genereren van afbeeldingen zoals DALL-E of audiogeratoren.
Voorgetraind
Het 'voorgetrainde' aspect van ChatGPT is de reden waarom het alles lijkt te weten op het internet. Het model GPT is getraind op grote hoeveelheden gegevens in een proces dat 'unsupervised learning' wordt genoemd.
Vóór ChatGPT werden AI-modellen gebouwd met behulp van supervised learning - ze kregen duidelijk gelabelde inputs en outputs en leerden het ene naar het andere te mappen. Dit proces verliep vrij traag, omdat datasets door mensen moesten worden samengesteld.
Toen de vroege GPT modellen werden blootgesteld aan de grote datasets waarop ze waren getraind, namen ze taalpatronen en contextuele betekenis op uit een grote verscheidenheid aan bronnen.
Daarom is ChatGPT een chatbot met algemene kennis - hij is al getraind op een enorme dataset voordat hij werd vrijgegeven voor het publiek.
Gebruikers die de GPT engine verder willen trainen - om zich te specialiseren in bepaalde taken, zoals het schrijven van rapporten voor jouw unieke organisatie - kunnen technieken gebruiken om LLMs aan te passen.
Transformator
Transformers zijn een type neurale netwerkarchitectuur die in 2017 werd geïntroduceerd in een artikel getiteld "Attention is All You Need" door Vaswani et al. Vóór transformers werden modellen zoals terugkerende neurale netwerken (RNN's) en langetermijngeheugen (LSTM)-netwerken vaak gebruikt voor het verwerken van tekstsequenties.
RNN's en LSTM-netwerken zouden tekstinvoer opeenvolgend lezen, net zoals een mens dat zou doen. Maar de transformatorarchitectuur kan elk woord in een zin tegelijkertijd verwerken en evalueren, waardoor het sommige woorden als relevanter kan beoordelen, zelfs als ze in het midden of aan het einde van een zin staan. Dit staat bekend als een zelfattentiemechanisme.
Neem de zin: "De muis paste niet in de kooi omdat die te groot was."
Een transformator kan het woord 'muis' belangrijker vinden dan 'kooi' en correct identificeren dat 'het' in de zin naar de muis verwijst.
Maar een model zoals een RNN zou 'het' kunnen interpreteren als de kooi, omdat het het zelfstandig naamwoord is dat het laatst is verwerkt.
Dankzij het 'transformator'-aspect kan ChatGPT de context beter begrijpen en intelligentere reacties produceren dan zijn voorgangers.
Trainingsproces
ChatGPT wordt getraind door middel van een proces in twee stappen: pre-training en fine-tuning.
Vooropleiding
Ten eerste wordt het AI-model blootgesteld aan een enorme hoeveelheid tekstgegevens - uit boeken, websites en andere bestanden.
Tijdens het voortrainen leert het model het volgende woord in een zin te voorspellen, waardoor het patronen in taal begrijpt. Het bouwt in wezen een statistisch begrip van taal op, waardoor het tekst kan genereren die coherent klinkt.
Fijnafstemming
Na pre-training wordt het model verfijnd op meer specifieke datasets. Voor ChatGPT omvat dit datasets die zijn samengesteld voor conversaties.
Een belangrijk onderdeel van deze stap is Reinforcement Learning from Human Feedback (RLHF), waarbij menselijke trainers de reacties van het model beoordelen. Deze feedbacklus helpt ChatGPT bij het verbeteren van zijn vermogen om passende, nuttige en contextueel accurate reacties te genereren.
Belangrijke termen
Tokens
De teksteenheden (woorden of delen van woorden) die het model verwerkt. ChatGPTDe invoer en uitvoer van het model worden getoken voor efficiënte berekeningen.
Zero-shot leren
Het vermogen van het model om taken uit te voeren waarvoor het niet specifiek is getraind door te vertrouwen op zijn algemene kennis.
One-shot learning houdt in dat het model één voorbeeld krijgt, terwijl n-shot learning inhoudt dat het model veel voorbeelden krijgt om te leren.
Aandachtsmechanisme
Een component van het transformatormodel waarmee het zich kan richten op verschillende delen van de invoertekst bij het genereren van reacties.
Hallucinatie
Een AI-model 'hallucineert' wanneer het onjuiste of onzinnige informatie genereert. Hallucinaties kunnen worden beperkt met strategieën zoals retrieval-augmented generation (RAG).
Redeneren in een gedachteketen
Een methode die het model stap voor stap helpt denken, waardoor het beter in staat is om complexe aanwijzingen of taken te verwerken.
Sommige ChatGPT modellen zijn automatisch uitgerust met deze strategie - zoals de nieuwste OpenAI o1 modellen. Maar je kunt elke versie vragen om chain-of-thought redeneringen te doen: vraag het gewoon om zijn redenering stap voor stap uit te leggen.
Vooropleiding
De beginfase waarin het model wordt getraind op een enorme dataset om taalpatronen te leren voordat het wordt verfijnd voor specifieke taken.
Fijnafstemming
Het proces van het verfijnen van het model op een beperktere dataset of taak om de prestaties in specifieke gebruikssituaties te verbeteren.
Contextvenster
De limiet op de hoeveelheid invoertekst waarmee het model rekening kan houden bij het genereren van een antwoord.
Een laag contextvenster betekent dat je geen lang rapport kunt sturen en om een samenvatting kunt vragen - het model zal het begin van het document 'vergeten' zijn.
Hoe aanpassen ChatGPT
Er zijn een paar verschillende manieren om krachtige LLMs aan te passen, zoals de GPT engine die ChatGPT aanstuurt:
Aangepast GPTs
OpenAI stelt gebruikers in staat om GPTs naar wens aan te passen. Je kunt een aangepaste GPT opdracht geven om je te helpen de regels voor een bepaald bordspel te leren, posters voor rock metal bands te ontwerpen of je AI-concepten te leren.
Aangepaste AI-agenten
Met de vooruitgang in AI-technologie is het eenvoudig (en gratis) om je eigen LLMAI-agenten te maken.
Van low-code drag-and-drop bouwers tot geavanceerde codering ecosystemen, er zijn geweldige AI-bouwplatforms voor elk gebruik en vaardigheidsniveau.
Door je eigen agent te bouwen op LLM kun je een AI-assistent op maat ontwerpen die je vergaderingen plant en je wekelijkse statistieken genereert. Of je kunt een AI-agent voor klantenondersteuning bouwen die je inzet op WhatsApp. Er is geen tekort aan mogelijkheden.
Bouw vandaag nog een chatbot op GPT
ChatGPT is een generalistische chatbot, maar je kunt de krachtige GPT engine van OpenAI gebruiken om je eigen aangepaste AI-chatbot te bouwen.
Gebruik de kracht van de nieuwste LLMs met je eigen aangepaste chatbot.
Botpress is een flexibel en eindeloos uitbreidbaar AI-chatbotplatform. Het stelt gebruikers in staat om elk type AI-agent of chatbot te bouwen voor elke use case.
Integreer je chatbot in elk platform of kanaal, of kies uit onze kant-en-klare integratiebibliotheek. Ga aan de slag met tutorials van het Botpress YouTube-kanaal of met gratis cursussen van Botpress Academy .
Begin vandaag nog met bouwen. Het is gratis.
Inhoudsopgave
Blijf op de hoogte van het laatste nieuws over AI-agenten
Deel dit op:
.svg)
