De langverwachte o1-modelreeks van OpenAI haalde het nieuws vanwege het geavanceerde redeneervermogen, een belangrijke stap vooruit in kunstmatige intelligentie.
Het redeneervermogen van o1 lijkt op een functie die Botpress-gebruikers al kennen: de Autonomous Node. Deze werd in juli 2024 gelanceerd en was de eerste in zijn soort onder AI agent-platforms.
Sylvain Perron, CEO van Botpress en hoofdarchitect van de Autonomous Nodes, ging in gesprek om de overeenkomsten en verschillen tussen deze twee redeneersystemen uit te leggen.
Botpress CEO Sylvain Perron vergelijkt OpenAI o1 en de Autonomous Node
Er zijn grote overeenkomsten tussen het nieuwe o1-model van OpenAI en de Botpress Autonomous Nodes, klopt dat?
Die zijn er zeker. Het was best grappig om te zien dat o1 werd uitgebracht. Maar het is belangrijk om te beseffen dat we hier niet helemaal appels met appels vergelijken.
OpenAI o1 is uiteraard een LLM, terwijl Autonomous Nodes een platformfunctie zijn. Je kunt o1 zelfs koppelen aan Botpress en samen met je Autonomous Nodes gebruiken.
Maar beide maken gebruik van chain-of-thought reasoning, een bottom-up aanpak om te bepalen wat er moet gebeuren en wat er gezegd moet worden.
Kun je chain-of-thought redeneren uitleggen en hoe dat verschilt van de manier waarop taalmodellen normaal gesproken antwoorden genereren?
Natuurlijk – de meeste LLM’s genereren antwoorden door het volgende woord te voorspellen op basis van het vorige. Ze genereren eerst één woord, gebruiken dat om het volgende te maken, enzovoort. Dat werkt prima voor eenvoudige vragen, maar faalt bij complexere taken die uit meerdere stappen bestaan.
Chain-of-thought reasoning betekent dat een AI een taak opdeelt in kleinere stappen en bij elke stap bewust redeneert voordat het verdergaat. Het lijkt op hoe studenten in een STEM-examen hun antwoord stap voor stap moeten opbouwen.
Als een AI bijvoorbeeld een lead aanmaakt in een CRM – waarbij gecontroleerd moet worden op dubbelen, de lead toegewezen moet worden, enzovoort – moet het chain-of-thought reasoning gebruiken om elke stap te overwegen en een volledig actieplan maken voordat het begint. Het begint dus niet met het invullen van een formulier voordat het weet of het een dubbel is; het weet dat vooraf.
Het systeem kan daardoor complexere taken met meerdere afhankelijkheden aan, maar dat zorgt er ook voor dat het wat trager is omdat het moet pauzeren en nadenken, in plaats van direct te reageren.
Zowel o1 als Autonomous Nodes gebruiken chain-of-thought redenering – is het hetzelfde proces bij beide, of zijn er verschillen?
Er zijn overeenkomsten, maar ook verschillen. Wij gebruiken nog steeds chain-of-thought reasoning, maar omdat we voor echte klanten bouwen, optimaliseren we op verschillende manieren voor snelheid en efficiëntie.
Met Autonomous Nodes hebben we het systeem zo ontworpen dat het meerdere acties in één LLM-aanroep kan uitvoeren. Het idee is om denken en handelen in hetzelfde proces te laten plaatsvinden, zodat we geen tijd verliezen.
Autonomous Nodes denken en geven tussentijds updates aan de gebruiker, zodat die niet alleen maar hoeft te wachten tot het denkproces klaar is. Dat lijkt meer op een natuurlijk gesprek, waarbij je niet dertig seconden in spanning wordt gehouden. Ontwikkelaars kunnen bovendien meekijken in de interne gedachten van de LLM en zo fouten opsporen.
O1 daarentegen geeft één antwoord terug en er is weinig inzicht in het denkproces. OpenAI geeft alleen een samenvatting van de chain-of-thought, zonder die te tonen, wat het lastiger maakt om te troubleshooten.
Zijn er nog andere verschillen tussen de twee?
O1 vereist dat een ontwikkelaar of platform functies host die tool calls uitvoeren. Elke stap vereist een aparte API-aanroep, wat betekent dat het model één actie moet aanvragen, op het resultaat moet wachten en dan de volgende moet aanroepen. En dit moet je steeds opnieuw en opnieuw en opnieuw aanroepen. Dit maakt de drempel om het te gebruiken hoger, omdat je de onderliggende functie-architectuur moet leveren.
Autonomous Nodes regelen dit automatisch op de achtergrond.
Hoe verhoudt o1 zich qua kosten en snelheid?
Stel, je gebruikt een LLM of AI-agent om te helpen met Hubspot-taken, bijvoorbeeld door te chatten met websitebezoekers voor AI lead generation.
Als je o1 vraagt om een leadformulier in Hubspot in te vullen – ervan uitgaande dat je het zonder externe connector kunt koppelen – duurt dat 12 seconden en kost het vijf keer zoveel als wanneer je het via Botpress doet.
Een deel van die snelheid komt door het schema-gebaseerde ontwerp van ons platform, waardoor het systeem vooraf weet welke gegevens nodig zijn en hoe die gestructureerd zijn.
Dus als je werkt met een tool als HubSpot of Salesforce, heeft het systeem al een vooraf gedefinieerd JSON-schema dat aangeeft welke invoervelden vereist zijn – zoals voornaam, e-mailadres, bedrijfsnaam, enzovoort.
Hierdoor kunnen Autonomous Nodes vanaf het begin het hele proces overzien, zonder bij elke stap te hoeven stoppen om extra informatie te vragen.
Je kunt het proces versnellen en het aantal stappen verminderen door zelf context te geven, maar dan ben je meer tijd kwijt aan het bouwen van een o1-gebaseerde applicatie. Dat betekent dus ook hogere onderhoudskosten.
Je noemt een hogere betrouwbaarheid. Waarom zijn Autonomous Nodes betrouwbaarder dan o1?
De belangrijkste manier waarop we de output betrouwbaarder hebben gemaakt, is door chain-of-thought reasoning te combineren met het protocol voor tool calls dat we hebben ontwikkeld.
Wat we hebben gedaan is in feite een omgeving creëren waarin het kan nadenken – en dat allemaal in code, niet in gewone tekst. Eerlijk gezegd is het sneller en betrouwbaarder dan de OpenAI-versie, om een paar redenen.
Eén daarvan is dat het tijdens de hele actiesequentie tegelijk kan communiceren. Dat kan het OpenAI-model niet.
Een andere reden is dat de AI het outputschema kent. Het weet welk type JSON het moet genereren op basis van de ontvangen vraag.
En ontwikkelaars kunnen dit zelf afstemmen. Als ze veel soortgelijke vragen van gebruikers krijgen, kunnen ze de AI zo instellen dat die altijd het beste en meest passende antwoord geeft.
In hoeverre wordt JSON gebruikt in het proces?
Gewone Engelse tekst is gewoon niet betrouwbaar genoeg, toch? Het is niet formeel genoeg. Het is niet strikt genoeg.
Programmeertaal is ook een taal, maar dan formeel. Het is een domeinspecifieke taal; je kunt die alleen binnen bepaalde grenzen en syntaxisregels gebruiken.
Onze tool calls geven antwoord in JSON in plaats van Engels. Het is JSON-output met een JSON-schema, niet gewone tekst.
Als je een verzoek doet om een leadformulier in Hubspot aan te maken, gebeurt dat in JSON, en het schema – ook in JSON – geeft alle benodigde eigenschappen aan, zoals naam, bedrijf, enzovoort.
Wat zijn de belangrijkste verschillen in tool calling tussen Autonomous Nodes en het o1-model?
Onze tool calling is zeer contextbewust. Het begrijpt al je systemen, alle mogelijke acties en hoe die gegevens naar de volgende tool kunnen worden doorgegeven. We kunnen één codeblok genereren dat dit allemaal samen doet, inclusief het antwoord, in één LLM-aanroep.
In theorie kun je de o1 API gebruiken voor tool calling, maar er zijn beperkingen aan wat je ermee kunt aanroepen. Botpress is hiervoor gebouwd. We hebben extra waarborgen bovenop andere LLM’s, waaronder GPT.
Autonomous Nodes kunnen ook tegelijk communiceren terwijl ze tools aanroepen, iets wat OpenAI momenteel niet ondersteunt. Dit bespaart een extra serverronde en zorgt voor een betere gebruikerservaring, omdat gebruikers vooraf geïnformeerd worden als een taak langer duurt.
De meeste organisaties worden gewaarschuwd om ChatGPT niet te gebruiken met gevoelige bedrijfsdata. Zijn er minder zorgen bij Autonomous Nodes?
Ons platform is gebouwd voor omgevingen met hoge volumes en lage latentie, en we hebben het ontworpen met de praktische behoeften van bedrijven in gedachten.
Het voordeel van Autonomous Nodes is niet dat we een compleet nieuw type AI hebben gemaakt – maar dat we bestaande technologie slim hebben toegepast om het beter te laten werken voor zakelijke toepassingen.
We hebben veilige sandboxes voor AI-gegenereerde communicatie. Als je een Autonomous Node gebruikt, draait die gratis in deze beveiligde sandboxes. Ze zijn veilig, ze zijn schaalbaar. En na afloop wordt de sandbox vernietigd.
Dit is een virtuele isolatie met twee lagen – inchecken en uitchecken. Het is vrij ingewikkeld. Maar het zorgt ervoor dat we grootschalige LLM-gegenereerde code kunnen uitvoeren met minimale beveiligingsrisico's.
Wat moeten ontwikkelaars of AI-liefhebbers doen als ze de Autonomous Node willen uitproberen?
We hebben een royaal gratis instapniveau. Al onze gebruikers kunnen ze uitproberen. We vonden het te gaaf om deze functie achter een toegang te plaatsen. Dus maak gewoon een gratis Botpress-account aan en je kunt het zelf ervaren.
.webp)
