Wie man die Kosten für AI-Ausgaben optimiert Botpress

Tipp 1: Wählen Sie das richtige AI-Modell

Die Wahl eines KI-Modells wirkt sich erheblich auf die Kosten aus. Da GPT-3.5 Turbo schneller und preiswerter ist als GPT-4 Turbo, empfehlen wir, Ihre Einrichtung mit GPT-3.5 Turbo gründlich zu testen, bevor Sie ein Upgrade auf eine fortschrittlichere Version in Betracht ziehen. 

Unser KB-Agent-Hybridmodus bietet einen hervorragenden Mittelweg, da wir zunächst GPT-3.5 Turbo verwenden, um eine Antwort auf eine Anfrage zu versuchen, und nur bei Bedarf zu GPT-4 Turbo eskalieren.

Tipp 2: Schützen Sie Ihre KB

Sie können Ihre KI-Ausgaben reduzieren, indem Sie Ihre KB von unnötigen typischen FAQs abschirmen, die keine KI oder intelligente Beantwortung benötigen, und zwar mit einer Karte "Find Records". So funktioniert es: Wenn Sie wissen, dass die Nutzer typischerweise eine Frage stellen, und wir 50 bekannte Fragen mit ihren Antworten haben, können wir sie einer Tabelle hinzufügen und diese Tabelle mit einer Karte "Find Records" abfragen. Falls wir keine Antwort finden, suchen wir erst dann in einer KB.

Tipp 3: Richtiges Ausmessen der KBs

Je nach Art der Informationen und der Menge der Informationen, die Sie einem KB hinzufügen möchten, ist es in der Regel am besten, zwei Dinge parallel zu tun, um die Kosten für KI-Spenden zu senken. Erstens: Organisieren Sie Ihre Informationen in kleinere KBs, wobei jede KB auf ein bestimmtes Produkt/Feature/Thema ausgerichtet ist. Zweitens: Führen Sie den Benutzer durch einen Workflow mit mehreren Fragen, um die Suche auf eine bestimmte KB einzugrenzen; das senkt nicht nur die Kosten, sondern liefert auch bessere Ergebnisse.

Tipp 4: Website-KB-Datenquelle vs. Suche im Web-KB-Datenquelle

Wenn Sie eine Website als KB-Datenquelle verwenden, aber keine ständigen Änderungen an der Website vornehmen, die in Echtzeit an Ihren Bot weitergegeben werden müssen, ist es eine gute und kostengünstige Alternative, die Web-Suche als KB-Datenquelle anstelle der Website-KB-Datenquelle zu verwenden. Testen Sie vor der Umstellung, ob die Leistung bei den Fragen, die Sie voraussichtlich stellen werden, durch die Umstellung nicht beeinträchtigt wird.

Tipp 5: Abfragen von Tabellen mit der Karte "Datensätze suchen" oder "Code ausführen".

Wenn Sie eine Tabelle mit Daten haben, die Sie abfragen möchten, sollten Sie die Karte Datensätze suchen verwenden, anstatt die Tabelle in einer KB zu verwenden. Für diejenigen, die über technisches Know-how verfügen, kann die Ausführung von Code eine noch kostengünstigere Methode zur Abfrage einer Tabelle sein. Dies geschieht, indem Sie die Tabelle direkt von der Karte Code ausführen aus abfragen und die Ausgabe in einer Workflow-Variablen speichern, auf die Sie später Bezug nehmen können.

Tipp 6: Kontrollieren Sie die Chunks

Mit Chunks beziehe ich mich auf die Anzahl der Chunks, die aus der Wissensdatenbank abgerufen werden, um eine Antwort zu generieren. Im Allgemeinen gilt: Je mehr Chunks abgerufen werden, desto genauer ist die Antwort – aber es wird länger dauern, mehr KI-Token zu generieren und zu kosten. Experimentieren Sie mit der Blockgröße, um den niedrigsten Wert zu ermitteln, der dennoch zu genauen Antworten führt.

Smarter Message-Alternativen

Wenn Sie möchten, dass Ihr Bot jedes Mal eine andere KI-Antwort auf dieselbe Anfrage sendet, müssen Sie die Zwischenspeicherung verhindern (siehe Anhang, um zu erfahren, wie). Es gibt Szenarien, in denen die Erhöhung der KI-Ausgaben durch die Verbesserung der Konversationserfahrung gerechtfertigt werden kann. Dies ist jedoch nicht immer der Fall.

Denken Sie an eine einfache Begrüßung, die mit LLMs erstellt wird. Bei jeder Begrüßung entstehen Ihnen zusätzliche Kosten für AI Spend. Ist es das wert? Wahrscheinlich nicht. Zum Glück gibt es eine kostengünstige Lösung: Verwenden Sie ein Array mit mehreren Antworten und eine einfache Funktion, die zufällig einen Wert abruft und ihn präsentiert. 

Je nach Gesprächsaufkommen kann sich die Einsparung durch diese Methode durchaus lohnen.

Weitere Einzelheiten zur Implementierung alternativer Nachrichten finden Sie hier.

Code-Ausführung für einfache Aufgaben

Für einfache Aufgaben wie die Neuformatierung von Daten oder die Extraktion von Informationen aus strukturierten Daten kann die Verwendung der Execute Code Card effizienter, kostengünstiger und schneller sein als die Verwendung einer LLM.

Alternativen zur Zusammenfassenden Meldung

Sie können Execute Code-Karten verwenden, um Ihr eigenes Transkript zu erstellen. Platzieren Sie eine Execute Code-Karte dort, wo Sie die Nachricht der Nutzer und des Bots in einer Array-Variablen verfolgen möchten. Anschließend können Sie dieses Array verwenden und es als Kontext in Ihre KB einspeisen.

Wählen Sie das richtige AI-Modell 

Ja, die Wahl des richtigen KI-Modells ist so wichtig, dass sie zweimal erwähnt werden sollte. Ähnlich wie bei KBs wirkt sich die Wahl des KI-Modells auch bei KI-Aufgaben erheblich auf die Kosten aus. Entscheiden Sie sich für GPT-3.5 Turbo für weniger komplizierte Anweisungen. Bevor Sie ein Upgrade auf fortgeschrittenere Versionen in Erwägung ziehen, sollten Sie Ihr System mit diesem Modell gründlich testen. Denken Sie daran, dass GPT-4 Turbo 20 Mal mehr kostet als GPT-3.5 Turbo. Wenn die Ergebnisse nicht wesentlich besser sind, entscheiden Sie sich für GPT-3.5 Turbo.

Darüber hinaus können Sie auch KI-Ausgaben sparen, indem Sie die Anzahl der Token reduzieren, die bei jeder Ausführung von KI-Aufgaben verbraucht werden.

Meine Empfehlung ist, sich bewusst zu sein, diese Zahl zu verringern, da dies dazu führt, dass alle zusätzlichen Token abgeschnitten werden. Wenn Sie beispielsweise die Länge auf 2000 Token beschränken und Ihre Eingabeaufforderung plus Ihre Ausgabe mehr als 2000 Token beträgt, wird Ihre Eingabe entsprechend abgeschnitten.

AI Aufgabe vs. AI Text generieren

Für einfache Textausgaben verwendet die Karte AI Generate Text weniger Token und ist einfacher einzurichten als die Karte AI Task. Bei Aufgaben, die das Parsen von Informationen beinhalten, übertrifft die AI Task-Karte die AI Generate Text-Karte. 

Daher empfehle ich, die Karte KI-Aufgabe zu verwenden, wenn Sie KI zur Verarbeitung von Informationen einsetzen möchten (z. B. wenn Sie die Absicht des Benutzers erkennen oder die KI die Eingabe analysieren soll). Wenn Sie jedoch KI zur Generierung von Text einsetzen möchten, verwenden Sie stattdessen die Karte KI-Text generieren (z. B. wenn Sie eine KB-Antwort nehmen und sie erweitern oder eine Frage kreativ generieren möchten).

Einen tieferen Einblick in die Unterschiede zwischen der KI-Aufgabenkarte und der KI-Text-Erzeugungskarte erhalten Sie hier.

Übersetzungen

Wenn Ihr Bot eine große Anzahl mehrsprachiger Konversationen bearbeiten soll, sollten Sie die Integration von Hooks in externe Übersetzungsdienste in Betracht ziehen, um eine kostengünstigere Option zu erhalten.

Weitere Informationen über Haken finden Sie hier.