Penganggar Token

  # Penyepaduan Penganggar Tiktoken Anggarkan kiraan token untuk teks menggunakan perpustakaan tiktoken, membolehkan pengiraan token yang tepat untuk OpenAI model. ## Ciri - **Pengiraan Token Tepat**: Menggunakan perpustakaan tiktoken rasmi untuk memberikan anggaran token yang tepat - **Sokongan Berbilang Model**: Menyokong pelbagai OpenAI model (gpt-3.5-turbo, gpt-4, dsb.) - **Had Keselamatan**: Semakan had keselamatan pilihan untuk mengelakkan token lebihan - **Konfigurasi Sifar**: Tiada persediaan diperlukan - berfungsi di luar kotak - **Pengendalian Ralat**: Pengendalian ralat yang anggun dengan mesej deskriptif ## Penggunaan ### Anggaran Token Tindakan Rakan Satu Tindakan: Toput`s Estimate Actionmate Parameter:** - `teks` (diperlukan): Teks untuk menganggarkan token untuk - `model` (pilihan): OpenAI model untuk digunakan untuk tokenisasi (lalai kepada "gpt-3.5-turbo") - `safetyLimit` (pilihan): Had keselamatan untuk anggaran kiraan token. Jika dibiarkan kosong, tiada had akan digunakan **Output:** - `tokenCount`: Anggaran bilangan token dalam teks - `tokenizerName`: Nama tokenizer yang digunakan - `model`: Model tokenization adalah berdasarkan - `limitExceeded`: Menunjukkan jika anggaran token dikira melebihi had keselamatan #Ba## Contoh penggunaan (hanya disediakan) Penggunaan:** ``` Teks: "Helo, dunia!" Model: "gpt-3.5-turbo" Keputusan: - tokenCount: 4 - tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" ``` **Dengan Had Keselamatan:** ``` Teks: "Ini ialah teks yang lebih panjang yang mungkin melebihi had keselamatan kami..." Model: "gpt-3.5-turbo" 0 SafetyCount -1. tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" - limitExceeded: true ``` ## Model Disokong - `gpt-3.5-turbo` - `gpt-4` - `gpt-4-turbo` - `text-davinci-003` - `text-davinci -`02`davinci-` - `02`davinci -` lain-lain OpenAI model yang disokong oleh tiktoken ## Had Keselamatan yang Disyorkan Apabila menetapkan had keselamatan, pertimbangkan bahawa panggilan API sebenar anda akan menyertakan token tambahan untuk gesaan sistem, sejarah perbualan dan penjanaan respons. Berikut ialah cadangan konservatif: ### GPT -3.5-Turbo (4,096 had token) - **Konservatif**: 2,500 token (meninggalkan ~1,600 untuk gesaan sistem + respons) - **Sederhana**: 3,000 token (meninggalkan ~1,100 untuk gesaan sistem + respons) - **Agresif**: 3,500 untuk gesaan sistem +##) GPT -4 (8,192 had token) - **Konservatif**: 5,000 token (meninggalkan ~3,200 untuk gesaan sistem + respons) - **Sederhana**: 6,000 token (meninggalkan ~2,200 untuk gesaan sistem + respons) - **Agresif**: 7,000 gesaan sistem +balas +0 ~1##,2 (meninggalkan untuk gesaan sistem) GPT -4 Turbo (had token 128,000) - **Konservatif**: 100,000 token (meninggalkan ~28,000 untuk gesaan sistem + respons) - **Sederhana**: 110,000 token (meninggalkan ~18,000 untuk gesaan sistem + respons) - **Agresif ~0 token,**: 0 ~0 token untuk sistem,**: 0 ~ 0 token + respons) **Nota**: Pengesyoran ini menganggap saiz gesaan sistem biasa (200-800 token) dan panjang respons yang diingini (500-2,000 token). Laraskan berdasarkan kes penggunaan khusus anda. ## Pengendalian Ralat Penyepaduan mengendalikan pelbagai senario ralat: - **Input Tidak Sah**: Mengembalikan mesej ralat yang jelas untuk teks yang hilang atau tidak sah - **Teks Kosong**: Mengembalikan 0 token untuk rentetan kosong - **Model Tidak Disokong**: Mengembalikan ralat untuk model yang tidak disokong oleh tiktoken - **Ralat Tokenisasi Liktoken**: Handles Liktoken Grampustaka**: Amaran**: Mencatat amaran apabila kiraan token melebihi had keselamatan ## Faedah - **Pengoptimuman Kos**: Anggarkan kos token sebelum membuat panggilan API - **Penghadan Kadar**: Urus belanjawan token dan cegah lebihan dengan had keselamatan - **Logik Aliran Kerja**: Dayakan logik bersyarat berdasarkan kiraan token dan ambang kebolehlihatan yang proaktif** - **Ketelusan penggunaan** - **Ketelusan penggunaan** - ** Pemantauan**: Tetapkan had keselamatan untuk menangkap potensi lebihan token lebih awal