OpenAIs lang erwartete o1-Modellreihe sorgte für Schlagzeilen mit ihrer fortschrittlichen Fähigkeit zum logischen Denken – ein bedeutender Fortschritt in der künstlichen Intelligenz.
Die Denkfähigkeiten von o1 ähneln einer Funktion, die Botpress-Nutzern bereits vertraut ist – dem Autonomous Node. Dieser wurde im Juli 2024 eingeführt und war der erste seiner Art unter AI-Agent-Plattformen.
Sylvain Perron, CEO von Botpress und Hauptarchitekt hinter den Autonomous Nodes der Plattform, hat sich Zeit genommen, um die Gemeinsamkeiten und Unterschiede zwischen diesen beiden Denk-Engines zu erläutern.
Botpress-CEO Sylvain Perron vergleicht OpenAI o1 und den Autonomous Node
Es gibt einige große Ähnlichkeiten zwischen dem neuen o1-Modell von OpenAI und den Botpress Autonomous Nodes, richtig?
Ja, auf jeden Fall. Es war schon witzig, als o1 veröffentlicht wurde. Aber wichtig ist: Wir vergleichen hier nicht ganz das Gleiche.
OpenAI o1 ist natürlich ein LLM, während Autonomous Nodes eine Plattformfunktion sind. Man kann o1 sogar in Botpress einbinden und mit den Autonomous Nodes nutzen.
Aber beide nutzen Chain-of-Thought-Reasoning, also einen Bottom-up-Ansatz, um zu entscheiden, was zu tun und was zu sagen ist.
Könnten Sie Chain-of-Thought-Reasoning erklären und wie es sich von der typischen Antwortgenerierung von Sprachmodellen unterscheidet?
Natürlich – die meisten LLMs erzeugen Antworten, indem sie das nächste Wort auf Basis des vorherigen vorhersagen – sie generieren das erste Wort, dann das nächste, und so weiter. Das funktioniert bei einfachen Fragen, aber bei komplexeren Aufgaben mit mehreren Schritten versagt dieser Ansatz oft.
Chain-of-Thought-Reasoning hingegen bedeutet, dass eine KI eine Aufgabe in kleinere Schritte zerlegt und jeden Schritt einzeln durchdenkt, bevor sie weitermacht. Das ist ähnlich wie bei Schülern, die in einer Matheprüfung ihre Lösungswege aufschreiben müssen.
Wenn eine KI zum Beispiel einen Lead in einem CRM anlegt – also prüft, ob es Dubletten gibt, den Lead zuweist usw. – muss sie Chain-of-Thought-Reasoning nutzen, um jeden Schritt zu durchdenken und eine vollständige Abfolge von Aktionen planen, bevor sie mit der Ausführung beginnt. Sie füllt nicht einfach ein Formular aus, bevor sie erkannt hat, dass es sich um ein Duplikat handelt – sie weiß es vorher.
Das System kann dadurch komplexere Aufgaben mit mehreren Abhängigkeiten bearbeiten, aber es wird auch langsamer, weil es innehalten und nachdenken muss, statt sofort zu antworten.
Sowohl o1 als auch Autonomous Nodes nutzen Chain-of-Thought-Reasoning – ist es in beiden Fällen derselbe Prozess oder gibt es Unterschiede?
Es gibt Gemeinsamkeiten und Unterschiede. Wir setzen weiterhin auf Chain-of-Thought-Reasoning, aber da wir für reale Kunden entwickeln, optimieren wir an einigen Stellen für Geschwindigkeit und Effizienz.
Bei den Autonomous Nodes haben wir das System so konzipiert, dass mehrere Aktionen in einem einzigen LLM-Aufruf ausgeführt werden können. Die Idee ist, Denken und Handeln im selben Prozess zu vereinen, damit keine Zeit verloren geht.
Autonomous Nodes denken und geben dem Nutzer Rückmeldungen, sodass dieser nicht einfach nur wartet, bis der Denkprozess abgeschlossen ist. Das ähnelt eher natürlichen Gesprächen, bei denen niemand 30 Sekunden im Ungewissen gelassen wird. Entwickler können zudem die internen Gedanken des LLM einsehen und Fehler leichter nachvollziehen.
o1 hingegen gibt nur eine Antwort zurück, und der Einblick in den Denkprozess ist begrenzt. OpenAI liefert lediglich eine Zusammenfassung des Chain-of-Thought, ohne diesen offenzulegen, was die Fehlersuche erschwert.
Gibt es noch weitere Unterschiede zwischen den beiden?
o1 benötigt einen Entwickler oder eine Plattform, die Funktionen bereitstellt, um Tool-Calls auszuführen. Jeder Schritt erfordert einen separaten API-Aufruf – das Modell muss eine Aktion anfordern, auf das Ergebnis warten und dann den nächsten Schritt anstoßen. Und das muss immer wieder rekursiv erfolgen. Dadurch ist die Einstiegshürde höher, da die zugrundeliegende Funktionsarchitektur bereitgestellt werden muss.
Autonomous Nodes erledigen das automatisch im Hintergrund.
Wie schneidet o1 in Bezug auf Kosten und Geschwindigkeit ab?
Angenommen, Sie nutzen ein LLM oder einen KI-Agenten, um Aufgaben in Hubspot zu erledigen, etwa um mit Website-Besuchern zu chatten und AI-Leadgenerierung zu betreiben.
Wenn Sie o1 bitten würden, ein Lead-Formular in Hubspot auszufüllen – vorausgesetzt, Sie könnten es ohne Drittanbieter-Connector anbinden – würde das 12 Sekunden dauern und fünfmal so viel kosten wie mit Botpress.
Ein Teil der Geschwindigkeit kommt vom schema-basierten Design unserer Plattform, wodurch das System von Anfang an weiß, welche Daten benötigt werden und wie diese strukturiert sind.
Wenn Sie also mit Tools wie HubSpot oder Salesforce arbeiten, kennt das System bereits ein vordefiniertes JSON-Schema, das die erforderlichen Eingaben vorgibt – etwa Vorname, E-Mail-Adresse, Firmenname usw.
Dadurch können Autonomous Nodes die gesamte Aufgabe von Anfang an durchdenken, ohne bei jedem Schritt erneut nach Informationen fragen zu müssen.
Man kann die Geschwindigkeit und die Anzahl der Schritte reduzieren, indem man selbst mehr Kontext liefert – aber dann verbringt man mehr Zeit mit dem Aufbau einer o1-basierten Anwendung. Das erhöht auch die Wartungskosten.
Sie sprechen von einer höheren Zuverlässigkeit. Was macht Autonomous Nodes zuverlässiger als o1?
Wir haben die Zuverlässigkeit vor allem dadurch erhöht, dass wir Chain-of-Thought-Reasoning mit dem von uns entwickelten Protokoll für Tool-Calls kombiniert haben.
Im Grunde haben wir eine Umgebung geschaffen, in der die KI denken kann – und zwar komplett im Code, nicht in Fließtext. Das ist ehrlich gesagt schneller und zuverlässiger als die OpenAI-Variante, aus mehreren Gründen.
Zum einen kann die KI während der gesamten Aktionsabfolge parallel kommunizieren. Das kann das OpenAI-Modell nicht.
Außerdem kennt die KI das Ausgabeschema. Sie weiß, welches JSON sie je nach Anfrage erzeugen muss.
Und Entwickler können das System selbst anpassen. Wenn sie viele ähnliche Nutzerfragen bekommen – was oft der Fall ist – können sie die KI so einstellen, dass sie immer die beste und passendste Antwort gibt.
Wie viel des Prozesses wird mit JSON durchgeführt?
Reines Englisch ist einfach nicht zuverlässig genug. Es ist nicht formell genug, nicht streng genug.
Programmiersprachen sind auch Sprachen, aber sie sind formal. Es sind domänenspezifische Sprachen, die man nur innerhalb bestimmter Regeln und Syntax verwenden kann.
Unsere Tool-Calls antworten daher in JSON statt in Englisch. Die Ausgabe ist JSON mit einem JSON-Schema, nicht reiner Text.
Wenn Sie zum Beispiel ein Lead-Formular in Hubspot anlegen, wird dies in JSON geschrieben, und das Schema – ebenfalls in JSON – gibt alle erforderlichen Eigenschaften wie Name, Firma usw. vor.
Was sind die wichtigsten Unterschiede beim Tool-Calling zwischen Autonomous Nodes und dem o1-Modell?
Unser Tool-Calling ist sehr kontextsensitiv. Es kennt all Ihre Systeme, alle möglichen Aktionen und weiß, wie die Daten an das nächste Tool weitergegeben werden können. Wir können einen einzigen Codeblock generieren, der all das zusammenfasst und zusätzlich eine Antwort gibt – alles in einem LLM-Aufruf.
Theoretisch kann man mit der o1-API auch Tool-Calls machen, aber es gibt Einschränkungen, was man damit ansteuern kann. Botpress ist dafür gebaut. Wir haben zusätzliche Sicherheitsmechanismen für verschiedene LLMs, auch für GPT.
Autonomous Nodes können außerdem während des Tool-Callings gleichzeitig kommunizieren – das unterstützt OpenAI aktuell nicht. Dadurch spart man einen Server-Roundtrip und bietet eine bessere Nutzererfahrung, weil Nutzer schon vor dem Start einer langwierigen Aufgabe informiert werden.
Viele Unternehmen werden davor gewarnt, ChatGPT mit sensiblen Firmendaten zu nutzen. Gibt es bei Autonomous Nodes weniger Bedenken?
Unsere Plattform ist für Umgebungen mit hohem Datenvolumen und niedriger Latenz entwickelt und auf die praktischen Anforderungen von Unternehmen ausgelegt.
Der Vorteil der Autonomous Nodes ist nicht, dass wir eine völlig neue KI-Art geschaffen haben – sondern dass wir bestehende Technologie durch clevere Ingenieursarbeit so angepasst haben, dass sie besser für geschäftliche Anforderungen funktioniert.
Wir bieten sichere Sandboxes für KI-generierte Kommunikation. Wenn Sie einen Autonomous Node nutzen, werden diese geheimen Sandboxes kostenlos ausgeführt. Diese sind sicher und skalierbar. Nach der Nutzung wird die Sandbox wieder gelöscht.
Dies ist eine virtuelle Isolation mit zwei Ebenen – Ein- und Auschecken. Es ist ziemlich komplex. Aber das ermöglicht es uns, groß angelegten, von LLM generierten Code mit minimalen Sicherheitsrisiken auszuführen.
Wenn Entwickler oder KI-Interessierte den Autonomous Node ausprobieren möchten, was müssen sie tun?
Wir bieten ein großzügiges kostenloses Kontingent an. Alle unsere Nutzer können es ausprobieren. Wir fanden, das Feature ist zu cool, um es einzuschränken. Also einfach ein kostenloses Botpress-Konto erstellen und selbst testen.
.webp)
