Botpress CEO auf OpenAI o1 vs. Autonome Knotenpunkte

Es gibt einige große Ähnlichkeiten zwischen dem neuen o1-Modell von OpenAIund den Botpress Autonomous Nodes, richtig?

Es gibt sie, definitiv. Es war sehr lustig zu sehen, wie o1 herauskam. Aber ein wichtiger Punkt ist, dass wir hier nicht ganz Äpfel mit Äpfeln vergleichen. 

OpenAI o1 ist natürlich ein LLM, während Autonome Knoten eine Plattformfunktion sind. Sie können o1 sogar in Botpress einbinden und es mit Ihren Autonomen Knoten verwenden.  

Aber beide nutzen die Gedankenkette, einen Bottom-up-Ansatz, um zu entscheiden, was zu tun und zu sagen ist.

Könnten Sie das Denken in Gedankenketten erklären und wie es sich von der Art und Weise unterscheidet, wie Sprachmodelle normalerweise Antworten generieren?

Natürlich - die meisten LLMs generieren Antworten, indem sie das nächste Wort auf der Grundlage des vorherigen Wortes vorhersagen - sie generieren das erste Wort, dann verwenden sie dieses, um das nächste zu generieren, und so weiter und so fort. Das funktioniert bei der Beantwortung einfacher Fragen, versagt aber bei komplexeren Aufgaben mit mehrstufigen Überlegungen völlig.

Bei der Gedankenkette hingegen zerlegt eine KI eine Aufgabe in kleinere Schritte und überlegt sich explizit jeden einzelnen, bevor sie mit dem nächsten fortfährt. Das ist vergleichbar mit der Art und Weise, wie Studenten aufgefordert werden, eine Antwort in einer MINT-Prüfungsaufgabe zu finden. 

Wenn eine KI z. B. einen Lead in einem CRM-System erstellt und dabei auf Duplikate prüfen, den Lead zuordnen usw. muss sie jeden Schritt mit Hilfe der Gedankenkette durchdenken und eine vollständige Abfolge von Aktionen planen, bevor sie mit der Ausführung beginnt. Es fängt nicht an, ein Formular auszufüllen, bevor es weiß, dass es sich um ein Duplikat handelt, sondern es weiß es, bevor es beginnt.

So kann das System komplexere Aufgaben mit mehreren Abhängigkeiten bewältigen, aber es wird auch langsamer, weil es innehalten und nachdenken muss, anstatt sofort zu generieren.

Sowohl o1 als auch Autonome Knoten verwenden die Gedankenkette - ist es derselbe Prozess in beiden, oder gibt es Unterschiede zwischen den beiden?

Es gibt einige Ähnlichkeiten und einige Unterschiede. Wir verwenden nach wie vor das Chain-of-Thought-Prinzip, aber da wir für Kunden aus der Praxis entwickeln, optimieren wir die Geschwindigkeit und Effizienz auf verschiedene Weise. 

Mit Autonomous Nodes haben wir das System so konzipiert , dass es mehrere Aktionen in einem einzigen Aufruf von LLM verarbeiten kann. Die Idee ist, innerhalb desselben Prozesses zu denken und zu handeln, so dass wir keine Zeit verlieren. 

Autonome Nodes denken mit und geben dem Nutzer Updates, so dass der Nutzer nicht einfach darauf wartet, dass der Denkprozess abgeschlossen ist. Dies ähnelt eher natürlichen Unterhaltungen, bei denen eine Person nicht 30 Sekunden und länger in der Schwebe gehalten wird. Die Entwickler können die verborgenen Gedanken von LLM einsehen und Fehler beheben, die aufgetreten sind.

Andererseits gibt o1 nur eine Antwort zurück, und der Denkprozess ist nur begrenzt einsehbar. OpenAI bietet eine Zusammenfassung der Gedankenkette, ohne sie zu zeigen, was die Fehlerbehebung erschwert.

Gibt es weitere Unterschiede zwischen den beiden?

o1 erfordert einen Entwickler oder eine Plattform zum Hosten von Funktionen, die Tool-Aufrufe tätigen. Jeder Schritt erfordert einen separaten API-Aufruf, d. h. das Modell muss eine Aktion anfordern, auf das Ergebnis warten und dann die nächste aufrufen. Und dies muss immer wieder rekursiv aufgerufen werden. Dadurch wird die Hürde für die Nutzung höher, da Sie die zugrunde liegende Architektur für die Funktionsausführung bereitstellen müssen. 

Autonome Knoten tun dies automatisch im Hintergrund.

Wie sieht es bei o1 mit Kosten und Geschwindigkeit aus?

Nehmen wir an, Sie verwenden einen LLM oder einen KI-Agenten, der Sie bei Hubspot-Aufgaben unterstützt, z. B. beim Chatten mit Website-Besuchern, um KI-Lead-Generierung zu betreiben.

Wenn Sie o1 bitten würden, ein Lead-Formular auf Hubspot auszufüllen - ich meine, vorausgesetzt, Sie könnten es ohne einen Konnektor eines Drittanbieters verbinden - würde es 12 Sekunden dauern und 5x mehr kosten, als wenn Sie es auf Botpress tun würden.

Ein Teil der Geschwindigkeit ergibt sich aus dem schemabasierten Design unserer Plattform, was bedeutet, dass das System im Voraus weiß, welche Daten benötigt werden und wie die Struktur dieser Daten aussieht. 

Wenn Sie also mit einem Tool wie HubSpot oder Salesforce arbeiten, verfügt das System bereits über ein vordefiniertes JSON-Schema, das angibt, welche Eingaben erforderlich sind - Dinge wie Vorname, E-Mail-Adresse, Firmenname usw. 

Auf diese Weise können autonome Knoten die gesamte Aufgabe von Anfang an durchdenken, ohne bei jedem Schritt anhalten und nach weiteren Informationen fragen zu müssen.

Sie können die Geschwindigkeit und die Schritte reduzieren, indem Sie den Kontext selbst bereitstellen, aber zu dem Preis, dass Sie mehr Zeit für die Erstellung einer o1-basierten Anwendung aufwenden müssen. Das ist also auch eine Frage des erhöhten Wartungsaufwands. 

Sie sprechen von erhöhter Zuverlässigkeit. Was macht Autonome Knoten zuverlässiger als o1?

Am zuverlässigsten wurde die Ausgabe, indem wir die Gedankenkette mit dem von uns entwickelten Protokolltool kombinierten. 

Wir haben im Wesentlichen eine Umgebung geschaffen, in der es denken kann - und das alles in Code, nicht in einfachem Text. Ehrlich gesagt ist es schneller und zuverlässiger als die Version OpenAI , und zwar aus mehreren Gründen.

Eine davon ist, dass sie während der gesamten Abfolge von Aktionen gleichzeitig sprechen kann. Das ist etwas, was das Modell OpenAI nicht kann. 

Ein weiterer Grund ist, dass die KI das Ausgabeschema kennt. Sie weiß, welche Art von JSON sie auf der Grundlage der erhaltenen Abfrage ausspucken sollte. 

Und das können die Entwickler selbst tunen. Wenn sie dies verwenden und eine Menge ähnlicher Fragen von Nutzern erhalten, wie es bei den meisten der Fall ist, können sie die KI so einstellen, dass sie jedes Mal die beste und passendste Antwort gibt.  

Für welchen Teil des Prozesses wird JSON verwendet?

Einfaches Englisch ist einfach unzuverlässig, oder? Es ist nicht formell genug. Es ist nicht streng genug. 

Eine Programmiersprache ist eine Sprache, aber sie ist formal. Sie ist eine domänenspezifische Sprache; man kann sie nur innerhalb bestimmter Grenzen und Syntaxrollen verwenden.

Daher ruft unser Tool die Antwort in JSON statt in Englisch auf. Es ist eine JSON-Ausgabe mit einem JSON-Schema anstelle von einfachem Text.

Wenn Sie eine Anfrage zur Erstellung eines Lead-Formulars in Hubspot stellen, wird es in JSON geschrieben, und das Schema - ebenfalls in JSON - gibt alle Eigenschaften an, die es enthalten muss, wie Name, Unternehmen usw.

Was sind die Hauptunterschiede zwischen dem Werkzeugaufruf zwischen autonomen Knoten und dem o1-Modell?

Unser Tool Calling ist in hohem Maße kontextabhängig. Es versteht alle Ihre Systeme, alle Aktionen, die es ausführen kann, und wie diese Daten in das nächste Tool eingespeist werden können. Und wir können einen Code-Block generieren, der all dies zusammenfasst und eine Antwort liefert, alles in einem LLM Aufruf.

Theoretisch können Sie die o1-API verwenden, um Werkzeuge aufzurufen, aber es gibt Einschränkungen, mit denen Sie das Werkzeug aufrufen können. Aber Botpress ist dafür gebaut. Wir haben Leitplanken auf anderen LLMs, einschließlich GPT. 

Autonome Knoten können auch gleichzeitig sprechen, während sie Werkzeuge aufrufen, was OpenAI derzeit nicht unterstützt. Dies spart einen Roundtrip zum Server und bietet eine bessere Konversations-UX, da die Benutzer informiert werden, bevor eine lang laufende Aufgabe gestartet wird.

Die meisten Unternehmen werden davor gewarnt, ChatGPT mit sicheren Arbeitsdaten zu verwenden. Gibt es weniger Bedenken bei autonomen Knoten?

Unsere Plattform ist für Umgebungen mit hohem Datenvolumen und geringer Latenz konzipiert und wurde mit Blick auf die praktischen Anforderungen von Unternehmen entwickelt.

Der Vorteil von Autonomous Nodes liegt nicht darin, dass wir eine völlig neue Art von KI entwickelt haben, sondern darin, dass wir eine bestehende Technologie mit intelligenter Technik kombiniert haben, um sie besser auf die Bedürfnisse von Unternehmen abzustimmen. 

Wir haben sichere Sandkästen für die KI-erzeugende Kommunikation. Wenn Sie einen autonomen Knoten verwenden, führt er diese geheimen Sandboxen kostenlos aus. Sie sind sicher, sie sind skalierbar. Und danach wird die Sandbox zerstört. 

Es handelt sich um eine virtuelle Isolierung mit zwei Ebenen - Einchecken und Auschecken. Das ist ziemlich kompliziert. Aber es bedeutet, dass wir in großem Umfang LLM-generierten Code mit minimalen Sicherheitsrisiken ausführen können.

Was müssen Entwickler oder KI-Enthusiasten tun, wenn sie den Autonomous Node ausprobieren wollen?

Wir haben ein großzügiges Gratis-Tier. Alle unsere Nutzer können sie ausprobieren. Wir dachten, dass diese Funktion zu cool ist, um sie nicht anzubieten. Also, machen Sie einfach ein kostenloses Botpress Konto und sehen Sie selbst. 

Perfekt. Vielen Dank, dass Sie sich hingesetzt haben, um die Punkte zwischen den beiden Funktionen zu verbinden. o1 macht viele Schlagzeilen; es ist großartig, besser zu verstehen, wie es mit dem zusammenhängt, was Botpress entwickelt.