- Botpress nag-aalok ng transparent na pagpepresyo nang walang nakatagong mga bayarin sa AI, na hinahayaan ang iyong mga gastos sa AI na ipakita lamang ang iyong tunay na paggamit.
- Ang pag-cache ng mga tugon ng AI ay maaaring mabawasan ang mga gastos sa query nang humigit-kumulang 30% nang hindi nakakasama sa karanasan ng user.
- Pagpili ng tamang modelo ng AI, tulad ng pagsisimula sa GPT -3.5 Turbo sa halip na GPT -4, ay mahalaga para sa pagbabalanse ng gastos at kalidad.
Maraming negosyo ang nahaharap sa hamon ng paggamit ng potensyal ng mga teknolohiya ng AI nang hindi labis na gumagastos. Nauunawaan namin ang kahalagahan ng balanseng ito at nakatuon kami sa pagbibigay ng mga solusyon na nagbibigay-daan sa aming mga user na epektibong gamitin ang AI.
Ang aming diskarte sa AI Cost
Una, mahalagang maunawaan ang dalawang mahalagang bahagi kung paano namin binabawasan ang mga gastos na nauugnay sa AI para sa aming mga user habang nag-aalok pa rin ng mga benepisyo ng mga kakayahan ng AI.
Transparent na Pagpepresyo: Walang Nakatagong Bayarin
Hindi kami nagdaragdag ng anumang mga margin sa mga gawaing nauugnay sa AI. Nangangahulugan ito na ang iyong gastos sa AI Spend ay direktang nauugnay sa iyong aktwal na paggamit nang walang anumang karagdagang mga bayarin sa AI mula sa aming panig.
Pag-cache ng Mga Tugon sa AI
Ang pag-cache ay isa sa aming pinakamabisang diskarte para mabawasan ang mga gastos sa AI ng mga bot. Sa pamamagitan ng pag-cache ng mga tugon ng AI, binabawasan namin ang bilang ng mga kahilingan sa LLM provider na maaaring bawasan ang gastos ng mga query ng humigit-kumulang 30% na makakatipid sa iyo ng pera nang hindi nakompromiso ang kalidad ng mga pakikipag-ugnayan ng bot sa iyong mga user.
Mga tip para ma-optimize ang Gastos ng AI
Ngayong nakita na namin ang dalawa sa mga diskarte na ginagawa namin para mapababa ang AI Spend ng aming mga user, tingnan natin ang mga tip na magagamit mo habang binubuo ang iyong bot para mas mapababa ang halaga nito sa AI.
I-optimize ang iyong mga Knowledge Base
Ang pag-optimize ng iyong Mga Knowledge Base (KB) ay maaaring makaimpluwensya nang malaki sa iyong AI Spend dahil ang mga KB ay karaniwang ang pinakamalaking AI cost driver sa isang Botpress proyekto.
Tip 1: Piliin ang Tamang Modelo ng AI
Malaki ang epekto sa gastos ng pagpili ng modelo ng AI. Since GPT -3.5 Ang Turbo ay mas mabilis at mas mura kaysa GPT -4 Turbo, inirerekomenda namin ang masusing pagsubok sa iyong setup gamit ang GPT -3.5 Turbo bago isaalang-alang ang pag-upgrade sa mas advanced na mga bersyon.
Ang aming KB Agent hybrid mode ay nag-aalok ng mahusay na middle ground, gaya ng una naming ginagamit GPT -3.5 Turbo upang subukan ang isang tugon sa isang query at idulog sa GPT -4 Turbo lamang kung kinakailangan.
Tip 2: Shieldin ang Iyong KB
Maaari mong bawasan ang iyong AI Spend sa pamamagitan ng pagprotekta sa iyong KB mula sa mga hindi kinakailangang karaniwang FAQ na hindi nangangailangan ng AI o matalinong pagsagot gamit ang Find Records card. Ganito ito gumagana: kung alam mo na ang mga user ay karaniwang nagtatanong ng isang tanong at mayroon kaming 50 kilalang tanong kasama ang kanilang mga sagot, maaari naming idagdag ang mga ito sa isang talahanayan at i-query ang talahanayang iyon gamit ang isang Find Records card. Kung sakaling hindi kami makahanap ng sagot, pagkatapos lamang kami tumingin sa isang KB.
Tip 3: Wastong Saklaw ang iyong mga KB
Depende sa uri ng impormasyon at dami ng impormasyon na gusto mong idagdag sa isang KB, kadalasan ay pinakamahusay na kasanayan na gawin ang dalawang bagay nang magkasabay upang mabawasan ang gastos sa AI Spend. Una, ayusin ang iyong impormasyon sa mas maliliit na KB, na ang bawat KB ay saklaw sa isang partikular na produkto/tampok/paksa. Pangalawa, himukin ang user sa isang daloy ng trabaho na may maraming tanong upang saklawin ang iyong paghahanap sa isang partikular na KB; hindi lamang nito mababawasan ang gastos, ngunit magbubunga din ito ng mas magandang resulta.
Tip 4: Website KB Data Source vs Search the Web KB Data Source
Kung gumagamit ka ng website bilang iyong KB data source ngunit hindi gagawa ng mga patuloy na pagbabago sa website na kailangang ipakita sa iyong bot sa real time, ang isang mahusay na alternatibo sa gastos ay ang paggamit sa Search The Web bilang iyong KB data source sa halip ng Website KB data source. Bago gawin ang paglipat na iyon, tiyaking subukan na ang pagganap sa mga tanong na inaasahan mong itatanong ay hindi nababawasan sa switch na ito.
Tip 5: Mga Query Table na may Find Records o Execute Code card
Kung mayroon kang Table na may data na gusto mong i-query, isaalang-alang ang paggamit ng Find Records card sa halip na gamitin ang Table sa isang KB. Para sa mga may teknikal na kadalubhasaan, ang pagpapatupad ng code ay maaaring maging isang mas cost-efficient na paraan ng pag-query ng Table. Ginagawa mo ito sa pamamagitan ng pag-query sa Talahanayan nang direkta mula sa Execute Code card at pag-iimbak ng output sa isang variable ng daloy ng trabaho na maaari mong i-refer sa ibang pagkakataon.
Tip 6: Kontrolin ang Mga Tipak
Sa pamamagitan ng mga chunks tinutukoy ko ang bilang ng mga chunks na kukunin mula sa Knowledge Base upang makabuo ng sagot. Sa pangkalahatan, mas maraming chunks ang nakuha, mas tumpak ang sagot - ngunit mas magtatagal upang makabuo at nagkakahalaga ng mas maraming AI token. Mag-eksperimento sa laki ng tipak upang maitatag ang pinakamababang halaga na humahantong pa rin sa mga tumpak na tugon.
Gamitin ang Execute Code Card para mapababa ang gastos sa AI Spend
Ang Execute Code card ay maaaring maging angkop, matipid na kapalit para sa ilang AI card. Narito ang ilang mga sitwasyon kung saan maaari mong isaalang-alang ang paggamit ng mga ito:
Mas Matalinong Mga Alternatibo ng Mensahe
Kung gusto mong magpadala ang iyong bot ng ibang tugon ng AI para sa parehong query sa bawat pagkakataon, dapat mong pigilan ang pag-cache (tingnan ang Appendix para malaman kung paano). May mga sitwasyon kung saan ang pagtaas sa AI Spend ay maaaring bigyang-katwiran sa pamamagitan ng pagpapabuti sa karanasan sa pag-uusap. Ngunit hindi ito palaging nangyayari.
Mag-isip ng isang bagay tulad ng isang simpleng pagbati na nabuo gamit ang LLMs . Sa bawat pagbati ay magkakaroon ka ng karagdagang gastos sa AI Spend. sulit ba ito? Hindi siguro. Sa kabutihang palad, mayroong isang epektibong solusyon sa gastos: gumamit ng array na may maraming tugon at isang simpleng function upang random na kumuha ng value at ipakita ito.
Depende sa dami ng pag-uusap, ang halaga na iyong nai-save sa pamamagitan ng pagpapatupad ng paraang ito ay maaaring maging sulit sa pagsisikap.
Makakahanap ka ng higit pang mga detalye kung paano ipatupad ang mga alternatibong mensahe dito .
Pagpapatupad ng Code para sa Mga Simpleng Gawain
Para sa mga simpleng gawain, tulad ng pag-reformat ng data o pagkuha ng impormasyon mula sa structured data, ang paggamit ng Execute Code card ay maaaring maging mas mahusay, mas mura at mas mabilis kaysa umasa sa isang LLM .
Mga alternatibo sa Summary Agent
Maaari mong gamitin ang mga Execute Code card para gumawa ng sarili mong transcript. Maglagay ng Execute Code card saanman mo gustong subaybayan ang mensahe ng mga user at bot sa isang array variable. Pagkatapos, maaari mong gamitin ang array na iyon at i-feed ito bilang konteksto sa iyong KB.
Pasimplehin Kapag Posible
Mag-opt para sa mas simpleng paraan ng pakikipag-ugnayan na nakakamit ang parehong layunin nang hindi nakakasira ng karanasan ng user. Halimbawa, kung interesado kang mangolekta ng feedback ng user, ang isang simpleng star rating system na may mga komento ay magiging mas cost-effective kaysa sa paggamit ng AI upang mangolekta ng parehong impormasyon.
Mga Tip para sa AI Tasks, AI Generate Text, at Translations
Piliin ang Tamang Modelo ng AI
Oo, ang pagpili ng tamang modelo ng AI ay napakahalaga na ito ay nagkakahalaga ng pagbanggit ng dalawang beses. Katulad ng mga KB, ang pagpili ng modelo ng AI ay may malaking epekto sa gastos pagdating sa AI Tasks. Mag-opt para sa GPT -3.5 Turbo para sa hindi gaanong kumplikadong mga tagubilin. Bago isaalang-alang ang pag-upgrade sa mas advanced na mga bersyon, masusing subukan ang iyong setup gamit ang modelong ito. Tandaan, GPT -4 Ang Turbo ay nagkakahalaga ng 20x na higit pa kaysa GPT -3.5 Turbo. Maliban kung ang mga resulta ay mas mahusay, mag-opt para sa GPT –3.5 Turbo.
Bilang karagdagan sa nasa itaas, maaari mo ring i-save ang AI Spend sa pamamagitan ng pagbabawas ng bilang ng mga token na nakonsumo sa bawat AI Task run.
Ang aking rekomendasyon ay magkaroon ng kamalayan tungkol sa pagbabawas ng numerong ito dahil magreresulta ito sa anumang karagdagang mga token na puputulin. Halimbawa, kung nililimitahan mo ang haba sa 2000 token at ang iyong prompt at ang iyong output ay higit sa 2000 token, pagkatapos ay puputulin ang iyong input nang naaayon.
AI Task vs AI Bumuo ng Teksto
Para sa mga simpleng text output, ang AI Generate Text card ay gumagamit ng mas kaunting mga token at mas madaling i-set up kaysa sa AI Task card. Para sa mga gawaing kinasasangkutan ng impormasyon sa pag-parse, ang AI Task card ay higit na mahusay sa AI Generate Text card.
Samakatuwid, ang aking rekomendasyon ay gamitin ang AI Task card kapag gusto mong gumamit ng AI upang iproseso ang impormasyon (hal. kung gusto mong makita ang intensyon ng user o kung gusto mong suriin ng AI ang input). Ngunit, kung gusto mong gamitin ang AI para makabuo ng text, gamitin na lang ang AI Generate Text card (hal. kung gusto mong kumuha ng KB na sagot at palawakin ito o kung gusto mong bumuo ng tanong sa malikhaing paraan).
Para sa mas malalim na pagsisid sa mga pagkakaiba sa pagitan ng AI Task card at AI Generate Text card, matuto pa rito .
Mga pagsasalin
Kung ang iyong bot ay hahawak ng maraming pag-uusap sa maraming wika, isaalang-alang ang pagsasama ng mga kawit sa mga panlabas na serbisyo sa pagsasalin para sa isang mas cost-effective na opsyon.
Makakahanap ka ng higit pang impormasyon tungkol sa mga kawit dito .
Konklusyon
Gamit ang mga diskarte at tip na ito, magagawa mong i-optimize ang iyong AI Spend in Botpress . Ang pag-unawa sa mga implikasyon sa gastos ng iba't ibang gawain at pagpili ng mga pinakamabisang pamamaraan para sa iyong mga pangangailangan ay mababawasan ang iyong mga gastos na nauugnay sa AI nang hindi nakompromiso ang pagganap.
Nandito ang aming team para tulungan kang i-navigate ang mga opsyong ito at tiyaking maihahatid ng iyong bot ang pinakamahusay na posibleng karanasan para sa iyong mga user sa pinakamahuhusay na gastos. Bisitahin ang aming page ng Pagpepresyo para sa karagdagang impormasyon o bisitahin ang aming Discord server para sa tulong.
Appendix
Paano Pigilan ang Caching
Kung gusto mong malampasan ang pag-cache upang palaging makakuha ng mga live na resulta, maaari mong gawin ang alinman sa mga sumusunod na opsyon:
- For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
- Para sa pansamantalang pag-iwas sa pag-cache: i-publish ang iyong bot at subukan ito mula sa isang incognito window.
Tandaan: lahat ng bagay ay pantay-pantay, sa pamamagitan ng pag-alis ng caching layer na ito at hindi paggawa ng anumang iba pang pagbabago sa iyong bot, tataas ang halaga ng AI Spend.
Mga Inirerekomendang Kurso
- ChatGPT Prompt Engineering para sa Mga Nag-develop (bagama't sinasabi ng pamagat para sa mga developer, makikinabang din ang mga hindi developer!)
- Pagbuo ng mga System gamit ang ChatGPT API
