Token-Schätzer

  # Tiktoken Estimator Integration

Schätzen Sie die Anzahl der Token für Text mithilfe der Tiktoken-Bibliothek und ermöglichen Sie so eine genaue Zählung der Token für OpenAI .

## Funktionen

- **Genaue Token-Zählung**: Verwendet die offizielle tiktoken-Bibliothek, um präzise Token-Schätzungen zu liefern
- **Multi-Modell-Unterstützung**: Unterstützt verschiedene OpenAI (gpt-3.5-turbo, gpt-4, etc.)
- **Sicherheitslimits**: Optionale Überprüfung von Sicherheitsgrenzen zur Vermeidung von Token-Überschreitungen
- **Keine Konfiguration**: Keine Einrichtung erforderlich - funktioniert sofort nach dem Auspacken
- **Fehlerbehandlung**: Zuverlässige Fehlerbehandlung mit aussagekräftigen Meldungen

## Verwendung

### Schätzung der Token Aktion

Die Integration bietet eine einzige Aktion: `estimateTokens`

**Eingabeparameter:**
- `Text` (erforderlich): Der Text, für den Token geschätzt werden sollen
- model" (optional): Das OpenAI , das für die Tokenisierung verwendet werden soll (Standardwert ist "gpt-3.5-turbo")
- `Sicherheitsgrenze` (optional): Sicherheitsgrenze für die Schätzung der Tokenanzahl. Wenn leer gelassen, wird keine Grenze angewendet.

**Ausgabe:**
- TokenZahl": Die geschätzte Anzahl der Token im Text
- TokenizerName": Der Name des verwendeten Tokenizers
- `Modell`: Das Modell, auf dem die Tokenisierung basiert
- `limitExceeded`: Zeigt an, ob die geschätzte Tokenanzahl das Sicherheitslimit überschritten hat (nur vorhanden, wenn safetyLimit angegeben ist)

### Beispielverwendung

**Grundverwendung:**
```
Text: "Hallo, Welt!"
Modell: "gpt-3.5-turbo"

Ergebnis:
- tokenCount: 4
- tokenizerName: "tiktoken"
- model: "gpt-3.5-turbo"
```

**Mit Sicherheitsgrenze:**
```
Text: "Dies ist ein längerer Text, der unser Sicherheitslimit überschreiten könnte..."
Modell: "gpt-3.5-turbo"
SafetyLimit: 10

Ergebnis:
- tokenCount: 15
- tokenizerName: "tiktoken"
- model: "gpt-3.5-turbo"
- limitExceeded: wahr
```

## Unterstützte Modelle

- `gpt-3.5-turbo`
- `gpt-4`
- `gpt-4-turbo`
- `text-davinci-003`
- `text-davinci-002`
- `code-davinci-002`
- Und andere von tiktoken unterstützte OpenAI 

## Empfohlene Sicherheitsgrenzwerte

Berücksichtigen Sie bei der Festlegung von Sicherheitsgrenzen, dass Ihre tatsächlichen API-Aufrufe zusätzliche Token für Systemaufforderungen, den Gesprächsverlauf und die Generierung von Antworten enthalten werden. Hier sind konservative Empfehlungen:

### GPT.5-Turbo (4.096 Token-Limit)
- **Konservativ**: 2.500 Token (es bleiben ~1.600 Token für Systemaufforderungen + Antworten)
- **Mäßig**: 3.000 Token (es bleiben ~1.100 für Systemaufforderungen + Antworten)
- **Aggressiv**: 3.500 Token (es bleiben ~600 für Systemaufforderungen + Antworten)

### GPT(8.192 Token Limit)
- **Konservativ**: 5.000 Token (es verbleiben ~3.200 für Systemaufforderungen und Antworten)
- **Mäßig**: 6.000 Token (es bleiben ~2.200 für Systemaufforderungen + Antworten)
- **Aggressiv**: 7.000 Token (übrig bleiben ~1.200 für Systemaufforderungen + Antworten)

### GPT Turbo (128.000 Token Limit)
- **Konservativ**: 100.000 Token (es bleiben ~28.000 für Systemaufforderungen + Antworten)
- **Mäßig**: 110.000 Token (es bleiben ~18.000 für Systemaufforderungen + Antworten)
- **Aggressiv**: 120.000 Token (verbleiben ~8.000 für Systemaufforderungen + Antworten)

**Anmerkung**: Diese Empfehlungen gehen von einer typischen Größe der Systemaufforderung (200-800 Zeichen) und der gewünschten Antwortlänge (500-2.000 Zeichen) aus. Passen Sie sie je nach Ihrem spezifischen Anwendungsfall an.

## Fehlerbehandlung

Die Integration behandelt verschiedene Fehlerszenarien:

- **Ungültige Eingabe**: Gibt eindeutige Fehlermeldungen für fehlenden oder ungültigen Text zurück
- **Leerer Text**: Gibt 0 Token für leere Zeichenketten zurück
- **Nicht unterstütztes Modell**: Gibt Fehler für Modelle zurück, die von tiktoken nicht unterstützt werden
- **Tokenisierungsfehler**: Behandelt Fehler in der Tiktoken-Bibliothek auf elegante Weise
- **Warnungen bei Sicherheitsgrenzen**: Protokolliert Warnungen, wenn die Anzahl der Token die Sicherheitsgrenzen überschreitet

## Vorteile

- **Kostenoptimierung**: Schätzen Sie die Token-Kosten, bevor Sie API-Aufrufe tätigen
- Ratenbegrenzung**: Verwalten Sie Token-Budgets und verhindern Sie Überschreitungen mit Sicherheitslimits
- Arbeitsablauf-Logik**: Aktivieren Sie bedingte Logik auf der Grundlage von Token-Zahlen und Sicherheitsschwellenwerten
- **Transparenz**: Transparenz über Token-Nutzungsmuster schaffen
- **Proaktive Überwachung**: Setzen Sie Sicherheitsgrenzen, um potenzielle Token-Überschreitungen frühzeitig zu erkennen