Jak zoptymalizować koszty wydatków na sztuczną inteligencję w Botpress

Wiele firm stoi przed wyzwaniem wykorzystania potencjału technologii AI bez nadmiernych wydatków. Rozumiemy znaczenie tej równowagi i jesteśmy zaangażowani w dostarczanie rozwiązań, które pozwalają naszym użytkownikom na opłacalne wykorzystanie sztucznej inteligencji.

Nasze podejście do kosztów AI

Po pierwsze, ważne jest, aby zrozumieć dwa ważne elementy tego, w jaki sposób zmniejszamy koszty związane ze sztuczną inteligencją dla naszych użytkowników, jednocześnie oferując korzyści płynące z możliwości AI.

Przejrzyste ceny: Brak ukrytych opłat

Nie doliczamy żadnych marż do zadań związanych ze sztuczną inteligencją. Oznacza to, że koszt AI Spend jest bezpośrednio związany z rzeczywistym wykorzystaniem bez żadnych dodatkowych opłat za AI z naszej strony. Możesz skorzystać z naszego kalkulatora wydatków na AI, aby oszacować swoje potencjalne wydatki na AI.

Buforowanie odpowiedzi AI

Buforowanie jest jedną z naszych najskuteczniejszych strategii obniżania kosztów AI botów. Buforując odpowiedzi AI, zmniejszamy liczbę żądań do dostawcy LLM , co może obniżyć koszt zapytań o około 30%, oszczędzając pieniądze bez uszczerbku dla jakości interakcji bota z użytkownikami.

Wskazówki dotyczące optymalizacji kosztów AI

Teraz, gdy zapoznaliśmy się z dwoma podejściami, które stosujemy w celu obniżenia kosztów AI naszych użytkowników, przyjrzyjmy się wskazówkom, których można użyć podczas tworzenia bota, aby jeszcze bardziej obniżyć jego koszt AI.

Optymalizacja baz wiedzy

Optymalizacja baz wiedzy (KB) może znacznie wpłynąć na wydatki na sztuczną inteligencję, ponieważ KB są zwykle największym czynnikiem wpływającym na koszty sztucznej inteligencji w projekcie Botpress .

Wskazówka 1: Wybierz odpowiedni model AI

Wybór modelu AI znacząco wpływa na koszty. Ponieważ GPT-3.5 Turbo jest szybszy i tańszy niż GPT-4 Turbo, zalecamy dokładne przetestowanie konfiguracji z GPT-3.5 Turbo przed rozważeniem aktualizacji do bardziej zaawansowanych wersji. 

Nasz tryb hybrydowy KB Agent oferuje doskonały środek, ponieważ początkowo używamy GPT-3.5 Turbo do próby odpowiedzi na zapytanie i eskalujemy do GPT-4 Turbo tylko w razie potrzeby.

Wskazówka 2: Chroń swój KB

Możesz zmniejszyć wydatki na sztuczną inteligencję, chroniąc swój KB przed niepotrzebnymi typowymi często zadawanymi pytaniami, które nie wymagają sztucznej inteligencji lub inteligentnych odpowiedzi za pomocą karty Znajdź rekordy. Działa to w następujący sposób: jeśli wiesz, że użytkownicy zazwyczaj zadają jedno pytanie, a my mamy 50 dobrze znanych pytań z odpowiedziami, możemy dodać je do tabeli i zapytać tę tabelę za pomocą karty Find Records. Jeśli nie znajdziemy odpowiedzi, dopiero wtedy szukamy jej w KB.

Porada 3: Właściwy zakres KB

W zależności od rodzaju informacji i ilości informacji, które chcesz dodać do KB, zwykle najlepszą praktyką jest zrobienie dwóch rzeczy równolegle, aby obniżyć koszty AI Spend. Po pierwsze, należy zorganizować informacje w mniejsze KB, przy czym każdy KB jest ograniczony do określonego produktu/funkcji/tematu. Po drugie, przeprowadź użytkownika przez przepływ pracy z wieloma pytaniami, aby ograniczyć wyszukiwanie do określonego KB; nie tylko zmniejszy to koszty, ale także przyniesie lepsze wyniki.

Porada 4: Źródło danych KB witryny internetowej a źródło danych KB wyszukiwania w sieci Web

Jeśli używasz strony internetowej jako źródła danych KB, ale nie wprowadzasz ciągłych zmian na stronie, które muszą być odzwierciedlone w twoim bocie w czasie rzeczywistym, dobrą opłacalną alternatywą jest użycie Search The Web jako źródła danych KB zamiast źródła danych Website KB. Przed dokonaniem tego przejścia upewnij się, że przetestowałeś, że wydajność na pytaniach, które przewidujesz, że zostaną zadane, nie ulegnie pogorszeniu po tym przełączeniu.

Porada 5: Tabele zapytań z kartą Znajdź rekordy lub Wykonaj kod

Jeśli masz tabelę z danymi, które chcesz sprawdzić, rozważ użycie karty Znajdź rekordy zamiast używania tabeli w KB. Dla osób z wiedzą techniczną, wykonywanie kodu może być jeszcze bardziej opłacalną metodą odpytywania tabeli. Można to zrobić, wykonując zapytanie do tabeli bezpośrednio z karty Wykonaj kod i przechowując dane wyjściowe w zmiennej przepływu pracy, do której można się później odwołać.

Wskazówka 6: Kontroluj kawałki

Mówiąc o fragmentach, mam na myśli liczbę fragmentów, które zostaną pobrane z Bazy Wiedzy w celu wygenerowania odpowiedzi. Ogólnie rzecz biorąc, im więcej pobranych fragmentów, tym dokładniejsza odpowiedź – ale wygenerowanie i koszt większej liczby tokenów AI zajmie więcej czasu. Eksperymentuj z rozmiarem porcji, aby ustalić najniższą ilość, która nadal prowadzi do dokładnych odpowiedzi.

Użyj karty Execute Code Card, aby obniżyć koszt AI Spend

Karta Execute Code może być odpowiednim, opłacalnym zamiennikiem dla niektórych kart AI. Oto kilka scenariuszy, w których można rozważyć ich użycie:

Inteligentniejsze alternatywy dla wiadomości

Jeśli chcesz, aby Twój bot wysyłał inną odpowiedź AI dla tego samego zapytania za każdym razem, musisz zapobiec buforowaniu (zobacz Dodatek, aby dowiedzieć się, jak to zrobić). Istnieją scenariusze, w których wzrost AI Spend może być uzasadniony poprawą doświadczenia konwersacji. Ale nie zawsze tak jest.

Pomyśl o czymś w rodzaju prostego powitania wygenerowanego za pomocą LLMs. Każde powitanie wiąże się z dodatkowym kosztem AI Spend. Czy jest to tego warte? Prawdopodobnie nie. Na szczęście istnieje opłacalne obejście: użyj tablicy z wieloma odpowiedziami i prostą funkcją, aby losowo pobrać wartość i ją zaprezentować. 

W zależności od ilości rozmów, kwota zaoszczędzona dzięki wdrożeniu tej metody może być warta wysiłku.

Więcej szczegółów na temat wdrażania alternatywnych komunikatów można znaleźć tutaj.

Wykonywanie kodu dla prostych zadań

W przypadku prostych zadań, takich jak formatowanie danych lub wyodrębnianie informacji z danych strukturalnych, korzystanie z karty Execute Code może być bardziej wydajne, tańsze i szybsze niż poleganie na LLM.

Alternatywy dla agenta podsumowującego

Kart Execute Code można używać do tworzenia własnych transkrypcji. Umieść kartę Execute Code w dowolnym miejscu, aby śledzić wiadomości użytkowników i botów w zmiennej tablicowej. Następnie można użyć tej tablicy i przekazać ją jako kontekst do KB.

Upraszczaj, gdy to możliwe

Wybierz prostszą metodę interakcji, która osiągnie ten sam cel bez pogarszania doświadczenia użytkownika. Na przykład, jeśli jesteś zainteresowany zbieraniem opinii użytkowników, prosty system oceny gwiazdkowej z komentarzami będzie bardziej opłacalny niż wykorzystanie sztucznej inteligencji do zbierania tych samych informacji.

Wskazówki dotyczące zadań AI, generowania tekstu przez AI i tłumaczeń

Wybierz odpowiedni model sztucznej inteligencji 

Tak, wybór odpowiedniego modelu sztucznej inteligencji jest tak ważny, że warto wspomnieć o nim dwa razy. Podobnie jak w przypadku KB, wybór modelu sztucznej inteligencji znacząco wpływa na koszty związane z zadaniami sztucznej inteligencji. Wybierz GPT-3.5 Turbo dla mniej skomplikowanych instrukcji. Przed rozważeniem aktualizacji do bardziej zaawansowanych wersji, dokładnie przetestuj swoją konfigurację z tym modelem. Pamiętaj, że GPT-4 Turbo kosztuje 20 razy więcej niż GPT-3.5 Turbo. Jeśli wyniki nie są znacznie lepsze, wybierz GPT-3.5 Turbo.

Oprócz powyższego możesz również oszczędzać wydatki na SI, zmniejszając liczbę tokenów zużywanych w każdym uruchomieniu zadania SI.

Zalecam, aby być świadomym zmniejszania tej liczby, ponieważ spowoduje to obcięcie wszelkich dodatkowych tokenów. Jeśli na przykład ograniczysz długość do 2000 tokenów, a monit i dane wyjściowe są większe niż 2000 tokenów, dane wejściowe zostaną odpowiednio obcięte.

Zadanie AI vs Generowanie tekstu przez AI

W przypadku prostych danych tekstowych karta AI Generate Text wykorzystuje mniej tokenów i jest łatwiejsza w konfiguracji niż karta AI Task. W przypadku zadań obejmujących analizowanie informacji, karta AI Task przewyższa kartę AI Generate Text. 

Dlatego zalecam korzystanie z karty AI Task, gdy chcesz użyć sztucznej inteligencji do przetwarzania informacji (np. jeśli chcesz wykryć intencję użytkownika lub jeśli chcesz, aby sztuczna inteligencja przeanalizowała dane wejściowe). Ale jeśli chcesz wykorzystać sztuczną inteligencję do generowania tekstu, użyj zamiast tego karty AI Generate Text (np. jeśli chcesz wziąć odpowiedź KB i rozwinąć ją lub jeśli chcesz kreatywnie wygenerować pytanie).

Więcej informacji na temat różnic między kartą AI Task i kartą AI Generate Text można znaleźć tutaj.

Tłumaczenia

Jeśli twój bot będzie obsługiwał dużą liczbę wielojęzycznych konwersacji, rozważ integrację haków z zewnętrznymi usługami tłumaczeniowymi, aby uzyskać bardziej opłacalną opcję.

Więcej informacji na temat haków można znaleźć tutaj.

Wnioski

Dzięki tym strategiom i wskazówkom będziesz w stanie zoptymalizować wydatki na sztuczną inteligencję w Botpress. Zrozumienie konsekwencji kosztowych różnych zadań i wybranie najbardziej wydajnych metod dla swoich potrzeb pozwoli zmniejszyć wydatki związane ze sztuczną inteligencją bez uszczerbku dla wydajności.

Nasz zespół jest tutaj, aby pomóc Ci poruszać się po tych opcjach i zapewnić, że Twój bot zapewnia użytkownikom najlepsze możliwe wrażenia przy najbardziej efektywnych kosztach. Odwiedź naszą stronę z cenami, aby uzyskać więcej informacji lub odwiedź nasz serwer Discord , aby uzyskać pomoc.

Dodatek

Jak zapobiegać buforowaniu

Jeśli chcesz przezwyciężyć buforowanie, aby zawsze otrzymywać wyniki na żywo, możesz wykonać jedną z poniższych opcji:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Aby tymczasowo zapobiec buforowaniu: opublikuj swojego bota i przetestuj go w oknie incognito.

Uwaga: przy założeniu, że wszystkie rzeczy są równe, usunięcie tej warstwy buforowania i nie wprowadzanie żadnych innych zmian do bota spowoduje wzrost kosztu AI Spend.

Zalecane kursy

• ‍ChatGPT Prompt Engineering dla programistów (chociaż tytuł mówi o programistach, nie-programiści również skorzystają!)
• ‍Budowaniesystemów za pomocą interfejsu API ChatGPT