Token Estimator

  # Pagsasama ng Tiktoken Estimator Tantyahin ang bilang ng token para sa teksto gamit ang library ng tiktoken, na nagpapagana ng tumpak na pagbilang ng token para sa OpenAI mga modelo. ## Mga Tampok - **Tumpak na Pagbilang ng Token**: Gumagamit ng opisyal na library ng tiktoken upang magbigay ng tumpak na mga pagtatantya ng token - **Suporta sa Multi-Model**: Sinusuportahan ang iba't ibang OpenAI mga modelo (gpt-3.5-turbo, gpt-4, atbp.) - **Mga Limitasyon sa Kaligtasan**: Opsyonal na pagsuri sa limitasyon sa kaligtasan upang maiwasan ang mga labis na token - **Zero Configuration**: Walang kinakailangang pag-setup - gumagana sa labas ng kahon - **Paghawak ng Error**: Mahusay na pangangasiwa ng error na may mga mapaglarawang mensahe ## Paggamit ### Ang Pagsasama ng Estimate Token` ay nagbibigay ng isang solong aksyon na Pagsasama-sama ng Token: Ang Pagsasama-sama ng Tantyayang Token: Mga Parameter:** - `text` (kinakailangan): Ang text para tantiyahin ang mga token - `model` (opsyonal): Ang OpenAI modelong gagamitin para sa tokenization (naka-default sa "gpt-3.5-turbo") - `safetyLimit` (opsyonal): Limitasyon sa kaligtasan para sa pagtatantya ng bilang ng token. Kung hinayaang walang laman, walang limitasyon ang ilalapat **Output:** - `tokenCount`: Ang tinantyang bilang ng mga token sa text - `tokenizerName`: Ang pangalan ng tokenizer na ginamit - `model`: Ang modelo kung saan nakabatay ang tokenization - `limitExceeded`: Isinasaad kung ang tinantyang token ay binibilang na ** ay lumampas sa limitasyon sa kaligtasan na ibinigay ng #Ba## Paggamit:** ``` Text: "Kumusta, mundo!" Modelo: "gpt-3.5-turbo" Resulta: - tokenCount: 4 - tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" ``` **With Safety Limit:** ``` Text: "Ito ay isang mas mahabang text na maaaring lumampas sa aming safety limit..." Modelo: "gpt-3.5-turbo" 0 Safety Limit: 1 - 5-turbo tokenizerName: "tiktoken" - modelo: "gpt-3.5-turbo" - limitExceeded: true ``` ## Mga Suportadong Modelo - `gpt-3.5-turbo` - `gpt-4` - `gpt-4-turbo` - `text-davinci-003` - `text-davinci-`02 -`02`davinci -` OpenAI mga modelong sinusuportahan ng tiktoken ## Inirerekomendang Mga Limitasyon sa Kaligtasan Kapag nagtatakda ng mga limitasyon sa kaligtasan, isaalang-alang na ang iyong aktwal na mga tawag sa API ay magsasama ng mga karagdagang token para sa mga prompt ng system, kasaysayan ng pag-uusap, at pagbuo ng tugon. Narito ang mga konserbatibong rekomendasyon: ### GPT -3.5-Turbo (4,096 na limitasyon sa token) - **Konserbatibo**: 2,500 token (umalis ng ~1,600 para sa mga prompt ng system + tugon) - **Katamtaman**: 3,000 na mga token (umaalis ng ~1,100 para sa mga prompt ng system + tugon) - **Agresibo**: 3,500 na tugon sa system +## GPT -4 (8,192 token limit) - **Konserbatibo**: 5,000 token (umalis ng ~3,200 para sa system prompt + response) - **Moderate**: 6,000 token (umaalis ng ~2,200 para sa system prompt + response) - **Aggressive**: 7,000 system token #,2 + response0 ~1## GPT -4 Turbo (128,000 token limit) - **Konserbatibo**: 100,000 token (umalis ng ~28,000 para sa mga prompt ng system + tugon) - **Katamtaman**: 110,000 na mga token (umaalis ng ~18,000 para sa mga prompt ng system + tugon) - **Agresibo para sa mga prompt ng system,**: 0 ~0 tokens para sa system,**: 00 ~0 token + tugon) **Tandaan**: Ipinapalagay ng mga rekomendasyong ito ang mga tipikal na laki ng prompt ng system (200-800 token) at nais na haba ng tugon (500-2,000 token). Isaayos batay sa iyong partikular na kaso ng paggamit. ## Paghawak ng Error Ang integration ay humahawak ng iba't ibang mga sitwasyon ng error: - **Invalid Input**: Ibinabalik ang malinaw na mga mensahe ng error para sa nawawala o di-wastong text - **Empty Text**: Nagbabalik ng 0 token para sa mga walang laman na string - **Unsupported Model**: Ibinabalik ang error para sa mga modelong hindi suportado ng tiktoken - **Tokenization Liktoken Errorfully**: Handles Liktoken Errors**: Mga Babala**: Nagla-log ng mga babala kapag lumampas ang bilang ng token sa mga limitasyon sa kaligtasan ## Mga Benepisyo - **Pag-optimize ng Gastos**: Tantyahin ang mga gastos sa token bago gumawa ng mga tawag sa API - **Paglilimita sa Rate**: Pamahalaan ang mga badyet ng token at pigilan ang mga labis na may mga limitasyon sa kaligtasan - **Lohika ng Daloy ng Trabaho**: I-enable ang conditional logic batay sa mga bilang ng token at mga limitasyon sa kaligtasan**: **Transparency na paggamit** Pagmamanman**: Magtakda ng mga limitasyon sa kaligtasan upang maagang mahuli ang mga potensyal na labis na token