Token Schatter

Tekst: "Hallo, wereld!
Model: "gpt-3.5-turbo

Resultaat:
- tokenCount: 4
- tokenizerNaam: "tiktoken"
- model: "gpt-3.5-turbo"

Tekst: "Dit is een langere tekst die mogelijk onze veiligheidslimiet overschrijdt..."
Model: "gpt-3.5-turbo
Veiligheidslimiet: 10

Resultaat:
- tokenCount: 15
- tokenizerNaam: "tiktoken"
- model: "gpt-3.5-turbo"
- limitExceeded: waar

  # Tiktoken Schatter Integratie

Schat het aantal token voor tekst met behulp van de tiktoken-bibliotheek, zodat het aantal token nauwkeurig kan worden geteld voor OpenAI .

## Kenmerken

- Nauwkeurige token-telling**: Maakt gebruik van de officiële tiktoken bibliotheek om nauwkeurige token schattingen te maken.
- **Multi-Model Ondersteuning**: Ondersteunt verschillende OpenAI modellen (gpt-3.5-turbo, gpt-4, etc.)
- **Veiligheidslimieten**: Optionele veiligheidslimietcontrole om tokenoverschrijdingen te voorkomen
- Geen configuratie**: Geen setup nodig - werkt direct
- Foutafhandeling**: Sierlijke foutafhandeling met beschrijvende berichten

## Gebruik

### Geschatte tokens Actie

De integratie biedt een enkele actie: `schatTokens`.

**Invoerparameters:**
- `tekst` (verplicht): De tekst om tokens voor te schatten
- `model` (optioneel): Het OpenAI om te gebruiken voor tokenization (standaard "gpt-3.5-turbo")
- `veiligheidslimiet` (optioneel): Veiligheidslimiet voor het schatten van het aantal token. Als deze leeg blijft, wordt er geen limiet toegepast

**Uitvoer: **
- `tokenCount`: Het geschatte aantal tokens in de tekst
- `tokenizerName`: De naam van de gebruikte tokenizer
- `model`: Het model waarop de tokenisatie was gebaseerd
- `limitExceeded`: Geeft aan of het geschatte aantal token de veiligheidslimiet heeft overschreden (alleen aanwezig als safetyLimit is opgegeven)

### Voorbeeldgebruik

**Basisgebruik:**
```
Tekst: "Hallo, wereld!
Model: "gpt-3.5-turbo

Resultaat:
- tokenCount: 4
- tokenizerNaam: "tiktoken"
- model: "gpt-3.5-turbo"
```

**Met veiligheidslimiet:**
```
Tekst: "Dit is een langere tekst die mogelijk onze veiligheidslimiet overschrijdt..."
Model: "gpt-3.5-turbo
Veiligheidslimiet: 10

Resultaat:
- tokenCount: 15
- tokenizerNaam: "tiktoken"
- model: "gpt-3.5-turbo"
- limitExceeded: waar
```

## Ondersteunde modellen

- `gpt-3.5-turbo`
- `gpt-4`
- `gpt-4-turbo`
- `tekst-davinci-003`
- `tekst-davinci-002`
- `code-davinci-002`
- En andere OpenAI modellen ondersteund door tiktoken

## Aanbevolen veiligheidslimieten

Houd er bij het instellen van veiligheidslimieten rekening mee dat je daadwerkelijke API-aanroepen extra tokens bevatten voor systeemprompts, gespreksgeschiedenis en het genereren van reacties. Hier zijn voorzichtige aanbevelingen:

### GPT.5-Turbo (limiet van 4.096 tokens)
- Voorzichtig**: 2.500 tokens (laat ~1.600 over voor systeemprompts + antwoord)
- Matig**: 3.000 tokens (laat ~1.100 over voor systeemaanwijzingen + antwoord)
- Agressief**: 3.500 tokens (laat ~600 over voor systeemaanwijzingen + antwoord)

### GPT(limiet van 8.192 tokens)
- **Conservatief**: 5.000 tokens (laat ~3.200 over voor systeemaanwijzingen + antwoord)
- Matig**: 6.000 tokens (laat ~2.200 over voor systeemaanwijzingen + antwoord)
- Agressief**: 7.000 tokens (laat ~1.200 over voor systeemaanwijzingen + antwoord)

### GPT Turbo (limiet van 128.000 tokens)
- **Conservatief**: 100.000 tokens (laat ~28.000 over voor systeemaanwijzingen + antwoord)
- Matig**: 110.000 tokens (laat ~18.000 over voor systeemprompts + respons)
- Agressief**: 120.000 tokens (laat ~8.000 over voor systeemaanwijzingen + antwoord)

**Opmerking**: Deze aanbevelingen gaan uit van typische systeempromptgroottes (200-800 tokens) en gewenste antwoordlengtes (500-2.000 tokens). Pas aan op basis van uw specifieke gebruikssituatie.

## Foutafhandeling

De integratie handelt verschillende foutscenario's af:

- **Ongeldige invoer**: Geeft duidelijke foutmeldingen bij ontbrekende of ongeldige tekst.
- Lege tekst**: Geeft 0 tokens voor lege strings
- **Ondersteund model**: Retourneert foutmeldingen voor modellen die niet worden ondersteund door tiktoken.
- **Tokenization Errors**: Handelt fouten in de tiktokenbibliotheek netjes af
- **Veiligheidslimiet waarschuwingen**: Logt waarschuwingen als token aantallen veiligheidslimieten overschrijden

## Voordelen

- Kostenoptimalisatie**: Kosten van token schatten voordat API-aanroepen worden gedaan
- Tariefbeperking**: Beheer tokenbudgetten en voorkom overschrijdingen met veiligheidslimieten
- **Workflow logica**: Schakel voorwaardelijke logica in op basis van tokenaantallen en veiligheidsdrempels.
- **Transparantie**: Geef inzicht in tokengebruikspatronen
- Proactieve bewaking**: Stel veiligheidslimieten in om potentiële overschrijdingen van token vroegtijdig op te vangen