Estimator Token

  # Integrasi Penaksir Tiktoken

Memperkirakan jumlah token untuk teks menggunakan pustaka tiktoken, memungkinkan penghitungan token yang akurat untuk model OpenAI .

## Fitur

- Penghitungan Token yang Akurat **: Menggunakan pustaka tiktoken resmi untuk memberikan estimasi token yang tepat
- **Dukungan Multi-Model**: Mendukung berbagai model OpenAI (gpt-3.5-turbo, gpt-4, dll.)
- ** Batas Keamanan**: Pemeriksaan batas keamanan opsional untuk mencegah kelebihan token
- **Konfigurasi Nol**: Tidak perlu pengaturan - langsung bekerja di luar kotak
- **Penanganan Kesalahan**: Penanganan kesalahan yang anggun dengan pesan deskriptif

## Penggunaan

### Perkirakan Tindakan Token

Integrasi ini menyediakan satu tindakan: `estimasiToken`

**Parameter Masukan:**
- `teks` (wajib): Teks untuk memperkirakan token
- `model` (opsional): Model OpenAI yang akan digunakan untuk tokenisasi (standarnya adalah "gpt-3.5-turbo")
- `safetyLimit` (opsional): Batas keamanan untuk estimasi jumlah token. Jika dibiarkan kosong, tidak ada batas yang akan diterapkan

**Keluaran:**
- `tokenCount`: Perkiraan jumlah token dalam teks
- `tokenizerName`: Nama tokenizer yang digunakan
- `model`: Model tokenisasi yang digunakan untuk tokenisasi
- `batasLebihi`: Menunjukkan apakah jumlah token yang diperkirakan melebihi batas keamanan (hanya ada jika safetyLimit disediakan)

### Contoh Penggunaan

**Penggunaan Dasar:**
```
Teks "Halo, dunia!"
Model: "gpt-3.5-turbo"

Hasil
- tokenCount: 4
- Nama tokenizer: "tiktoken"
- model: "gpt-3.5-turbo"
```

**Dengan Batas Keamanan:**
```
Teks: "Ini adalah teks yang lebih panjang yang mungkin melebihi batas keamanan kami..."
Model "gpt-3.5-turbo"
Batas Keamanan: 10

Hasil
- tokenCount: 15
- Nama tokenizer: "tiktoken"
- model: "gpt-3.5-turbo"
- limitExceeded: true
```

## Model yang Didukung

- `gpt-3.5-turbo`
- `gpt-4`
- `gpt-4-turbo`
- `text-davinci-003`
- `text-davinci-002`
- `kode-davinci-002`
- Dan model OpenAI lainnya yang didukung oleh tiktoken

## Batas Keamanan yang Direkomendasikan

Saat menetapkan batas keamanan, pertimbangkan bahwa panggilan API Anda yang sebenarnya akan menyertakan token tambahan untuk permintaan sistem, riwayat percakapan, dan pembuatan respons. Berikut adalah rekomendasi konservatif:

### GPT.5-Turbo (batas token 4.096)
- **Konservatif**: 2.500 token (menyisakan ~1.600 untuk permintaan sistem + respons)
- **Sedang**: 3.000 token (menyisakan ~1.100 untuk permintaan sistem + respons)
- **Agresif**: 3.500 token (menyisakan ~600 untuk permintaan sistem + respons)

### GPT(batas 8.192 token)
- **Konservatif**: 5.000 token (menyisakan ~3.200 untuk permintaan sistem + respons)
- **Sedang**: 6.000 token (menyisakan ~2.200 untuk permintaan sistem + respons)
- **Agresif**: 7.000 token (menyisakan ~1.200 untuk permintaan sistem + respons)

### GPT Turbo (batas 128.000 token)
- **Konservatif**: 100.000 token (menyisakan ~28.000 untuk permintaan sistem + respons)
- **Sedang**: 110.000 token (menyisakan ~18.000 untuk permintaan sistem + respons)
- **Agresif**: 120.000 token (menyisakan ~8.000 untuk permintaan sistem + respons)

**Catatan**: Rekomendasi ini mengasumsikan ukuran prompt sistem yang umum (200-800 token) dan panjang respons yang diinginkan (500-2.000 token). Sesuaikan berdasarkan kasus penggunaan spesifik Anda.

## Penanganan Kesalahan

Integrasi menangani berbagai skenario kesalahan:

- **Input Tidak Valid**: Mengembalikan pesan kesalahan yang jelas untuk teks yang hilang atau tidak valid
- **Teks Kosong**: Mengembalikan 0 token untuk string kosong
- **Model yang Tidak Didukung**: Mengembalikan kesalahan untuk model yang tidak didukung oleh tiktoken
- **Kesalahan Tokenisasi**: Menangani kesalahan pustaka tiktoken dengan anggun
- **Peringatan Batas Keamanan**: Mencatat peringatan ketika jumlah token melebihi batas keamanan

## Manfaat

- **Optimalisasi Biaya**: Memperkirakan biaya token sebelum melakukan panggilan API
- **Pembatasan Tarif**: Kelola anggaran token dan cegah kelebihan biaya dengan batas aman
- **Logika Alur Kerja**: Aktifkan logika bersyarat berdasarkan jumlah token dan ambang batas keamanan
- Transparansi**: Memberikan visibilitas ke dalam pola penggunaan token
- **Pemantauan Proaktif**: Tetapkan batas keamanan untuk menangkap potensi kelebihan token lebih awal