# Tiktoken Schatter Integratie Schat het aantal token voor tekst met behulp van de tiktoken-bibliotheek, zodat het aantal token nauwkeurig kan worden geteld voor OpenAI . ## Kenmerken - Nauwkeurige token-telling**: Maakt gebruik van de officiële tiktoken bibliotheek om nauwkeurige token schattingen te maken. - **Multi-Model Ondersteuning**: Ondersteunt verschillende OpenAI modellen (gpt-3.5-turbo, gpt-4, etc.) - **Veiligheidslimieten**: Optionele veiligheidslimietcontrole om tokenoverschrijdingen te voorkomen - Geen configuratie**: Geen setup nodig - werkt direct - Foutafhandeling**: Sierlijke foutafhandeling met beschrijvende berichten ## Gebruik ### Geschatte tokens Actie De integratie biedt een enkele actie: `schatTokens`. **Invoerparameters:** - `tekst` (verplicht): De tekst om tokens voor te schatten - `model` (optioneel): Het OpenAI om te gebruiken voor tokenization (standaard "gpt-3.5-turbo") - `veiligheidslimiet` (optioneel): Veiligheidslimiet voor het schatten van het aantal token. Als deze leeg blijft, wordt er geen limiet toegepast **Uitvoer: ** - `tokenCount`: Het geschatte aantal tokens in de tekst - `tokenizerName`: De naam van de gebruikte tokenizer - `model`: Het model waarop de tokenisatie was gebaseerd - `limitExceeded`: Geeft aan of het geschatte aantal token de veiligheidslimiet heeft overschreden (alleen aanwezig als safetyLimit is opgegeven) ### Voorbeeldgebruik **Basisgebruik:** ``` Tekst: "Hallo, wereld! Model: "gpt-3.5-turbo Resultaat: - tokenCount: 4 - tokenizerNaam: "tiktoken" - model: "gpt-3.5-turbo" ``` **Met veiligheidslimiet:** ``` Tekst: "Dit is een langere tekst die mogelijk onze veiligheidslimiet overschrijdt..." Model: "gpt-3.5-turbo Veiligheidslimiet: 10 Resultaat: - tokenCount: 15 - tokenizerNaam: "tiktoken" - model: "gpt-3.5-turbo" - limitExceeded: waar ``` ## Ondersteunde modellen - `gpt-3.5-turbo` - `gpt-4` - `gpt-4-turbo` - `tekst-davinci-003` - `tekst-davinci-002` - `code-davinci-002` - En andere OpenAI modellen ondersteund door tiktoken ## Aanbevolen veiligheidslimieten Houd er bij het instellen van veiligheidslimieten rekening mee dat je daadwerkelijke API-aanroepen extra tokens bevatten voor systeemprompts, gespreksgeschiedenis en het genereren van reacties. Hier zijn voorzichtige aanbevelingen: ### GPT.5-Turbo (limiet van 4.096 tokens) - Voorzichtig**: 2.500 tokens (laat ~1.600 over voor systeemprompts + antwoord) - Matig**: 3.000 tokens (laat ~1.100 over voor systeemaanwijzingen + antwoord) - Agressief**: 3.500 tokens (laat ~600 over voor systeemaanwijzingen + antwoord) ### GPT(limiet van 8.192 tokens) - **Conservatief**: 5.000 tokens (laat ~3.200 over voor systeemaanwijzingen + antwoord) - Matig**: 6.000 tokens (laat ~2.200 over voor systeemaanwijzingen + antwoord) - Agressief**: 7.000 tokens (laat ~1.200 over voor systeemaanwijzingen + antwoord) ### GPT Turbo (limiet van 128.000 tokens) - **Conservatief**: 100.000 tokens (laat ~28.000 over voor systeemaanwijzingen + antwoord) - Matig**: 110.000 tokens (laat ~18.000 over voor systeemprompts + respons) - Agressief**: 120.000 tokens (laat ~8.000 over voor systeemaanwijzingen + antwoord) **Opmerking**: Deze aanbevelingen gaan uit van typische systeempromptgroottes (200-800 tokens) en gewenste antwoordlengtes (500-2.000 tokens). Pas aan op basis van uw specifieke gebruikssituatie. ## Foutafhandeling De integratie handelt verschillende foutscenario's af: - **Ongeldige invoer**: Geeft duidelijke foutmeldingen bij ontbrekende of ongeldige tekst. - Lege tekst**: Geeft 0 tokens voor lege strings - **Ondersteund model**: Retourneert foutmeldingen voor modellen die niet worden ondersteund door tiktoken. - **Tokenization Errors**: Handelt fouten in de tiktokenbibliotheek netjes af - **Veiligheidslimiet waarschuwingen**: Logt waarschuwingen als token aantallen veiligheidslimieten overschrijden ## Voordelen - Kostenoptimalisatie**: Kosten van token schatten voordat API-aanroepen worden gedaan - Tariefbeperking**: Beheer tokenbudgetten en voorkom overschrijdingen met veiligheidslimieten - **Workflow logica**: Schakel voorwaardelijke logica in op basis van tokenaantallen en veiligheidsdrempels. - **Transparantie**: Geef inzicht in tokengebruikspatronen - Proactieve bewaking**: Stel veiligheidslimieten in om potentiële overschrijdingen van token vroegtijdig op te vangen
