Botpress CEO op OpenAI o1 vs. Autonome knooppunten

Er zijn enkele grote overeenkomsten tussen OpenAI's nieuwe o1-model en de Botpress autonome knooppunten, klopt dat?

Die zijn er zeker. Het was erg grappig om o1 te zien verschijnen. Maar het is belangrijk om op te merken dat we hier geen appels met appels vergelijken. 

OpenAI o1 is duidelijk een LLM, terwijl Autonome knooppunten een platformfunctie zijn. Je kunt zelfs o1 in Botpress steken en het gebruiken met je Autonome Knooppunten.  

Maar ze gebruiken allebei een redenering in de denkketen, een bottom-up benadering om tot conclusies te komen over wat te doen en wat te zeggen.

Kunt u uitleggen wat chain-of-thought redeneren is en hoe het verschilt van de manier waarop taalmodellen antwoorden genereren?

Natuurlijk - de meeste LLMs genereren antwoorden door het volgende woord te voorspellen op basis van het vorige - ze genereren het eerste woord, gebruiken dat om het volgende te genereren, enzovoort. Dit werkt voor het beantwoorden van eenvoudige vragen, maar het faalt enorm bij complexere taken met redeneringen in meerdere stappen.

Bij chain-of-thought redeneren daarentegen splitst een AI een taak op in kleinere stappen en redeneert hij expliciet door elke stap heen voordat hij verder gaat met de volgende. Het is vergelijkbaar met de manier waarop studenten wordt gevraagd om op te bouwen naar een antwoord in een bèta/technisch examenprobleem. 

Als een AI bijvoorbeeld een lead aanmaakt in een CRM - waarbij hij moet controleren op duplicaten, de lead moet toewijzen, enzovoort - moet hij gebruikmaken van chain-of-thought redeneringen om na te denken over elke stap en een volledige reeks acties te plannen voordat hij begint met uitvoeren. Het begint niet met het invullen van een formulier voordat het zich realiseert dat het een duplicaat is, het weet het voordat het begint.

Het systeem kan dus complexere taken aan met meerdere afhankelijkheden, maar het vertraagt ook omdat het moet pauzeren en nadenken, in plaats van meteen te genereren.

Zowel o1 als Autonome Knooppunten gebruiken chain-of-thought redeneringen - is het in beide hetzelfde proces of zijn er verschillen tussen de twee?

Er zijn enkele overeenkomsten en enkele verschillen. We gebruiken nog steeds chain-of-thought redeneringen, maar omdat we voor echte klanten bouwen, optimaliseren we snelheid en efficiëntie op een paar verschillende manieren. 

Met Autonomous Nodes hebben we het systeem zo ontworpen dat het meerdere acties kan afhandelen in een enkele oproep op LLM . Het idee is om te denken en te handelen binnen hetzelfde proces, zodat we geen tijd verliezen. 

Autonome nodes denken en geven updates aan de gebruiker, zodat de gebruiker niet simpelweg hoeft te wachten tot het denkproces voorbij is. Dit lijkt meer op natuurlijke gesprekken, waarbij een persoon niet 30+ seconden in spanning hoeft te wachten. Ontwikkelaars kunnen in de verborgen gedachten van de LLM kijken en problemen oplossen.

Aan de andere kant geeft o1 één antwoord en is het denkproces beperkt zichtbaar. OpenAI geeft een samenvatting van de gedachtegang zonder deze te tonen, waardoor het lastiger is om problemen op te lossen.

Zijn er nog andere verschillen tussen de twee?

o1 vereist een ontwikkelaar of een platform om functies te hosten die tool calls aanroepen. Elke stap vereist een aparte API-aanroep, wat betekent dat het model een actie moet aanvragen, moet wachten op het resultaat en dan de volgende moet aanroepen. En je moet dit recursief opnieuw en opnieuw en opnieuw doen. Dit maakt de drempel om het te gebruiken hoger, omdat je de onderliggende architectuur voor het uitvoeren van functies moet leveren. 

Autonome Nodes doen dit automatisch op de achtergrond.

Hoe verhoudt o1 zich qua kosten en snelheid?

Laten we zeggen dat je een LLM of AI agent gebruikt om te helpen met Hubspot taken, zoals chatten met websitebezoekers om AI leadgeneratie te doen.

Als je o1 zou vragen om een leadformulier in te vullen op Hubspot - ik bedoel, ervan uitgaande dat je het zou kunnen verbinden zonder een connector van derden - zou het 12 seconden duren en 5x meer kosten dan wanneer je het zou doen op Botpress.

Een deel van de snelheid komt van het schema-gebaseerde ontwerp van ons platform, wat betekent dat het systeem van tevoren weet welke gegevens nodig zijn en hoe de structuur van die gegevens eruitziet. 

Dus als je werkt met een tool zoals HubSpot of Salesforce, heeft het systeem al een vooraf gedefinieerd JSON-schema dat aangeeft welke invoer vereist is - dingen zoals voornaam, e-mailadres, bedrijfsnaam, enz. 

Hierdoor kunnen autonome knooppunten de hele taak vanaf het begin doorlopen, zonder bij elke stap te hoeven stoppen en om meer informatie te vragen.

Je kunt de snelheid en het aantal stappen verminderen door zelf context aan te bieden, maar dat kost meer tijd om een o1-gebaseerde applicatie te bouwen. Dus dat is ook een kwestie van toenemende onderhoudskosten. 

Je hebt het over verhoogde betrouwbaarheid. Wat maakt autonome knooppunten betrouwbaarder dan o1?

De grootste manier waarop we de uitvoer betrouwbaarder hebben gemaakt, was door het combineren van redeneren met de protocollen die we hebben gemaakt. 

Wat we hebben gedaan is in wezen een omgeving creëren waarin het kan denken - en dat allemaal in code, niet in platte tekst. Eerlijk gezegd is het sneller en betrouwbaarder dan de OpenAI versie, om een paar redenen.

Een daarvan is dat het tegelijkertijd kan praten, gedurende de opeenvolging van acties. Dat is iets wat het OpenAI model niet doet. 

Een andere reden is dat de AI het uitvoerschema kent. Hij weet welk type JSON hij moet uitspugen op basis van de query die hij ontvangt. 

En het is iets dat ontwikkelaars zelf kunnen afstellen. Als ze dit gebruiken en ze krijgen veel dezelfde vragen van gebruikers, zoals de meeste, dan kunnen ze de AI zo afstellen dat het elke keer het beste en meest geschikte antwoord geeft.  

Voor hoeveel van het proces wordt JSON gebruikt?

Gewoon Engels is gewoon onbetrouwbaar, toch? Het is niet formeel genoeg. Het is niet streng genoeg. 

Programmeertaal is een taal, maar het is een formele taal. Het is een domeinspecifieke taal; je kunt het alleen gebruiken binnen bepaalde grenzen en syntaxisrollen.

Dus onze tool geeft antwoord in JSON in plaats van Engels. Het is JSON-uitvoer met een JSON-schema in plaats van platte tekst.

Wanneer je een aanvraag doet om een leadformulier te maken in Hubspot, wordt dit geschreven in JSON en het schema - ook in JSON - geeft alle eigenschappen die het moet bevatten, zoals naam, bedrijf, enz.

Wat zijn de belangrijkste verschillen tussen het aanroepen van gereedschap tussen Autonome knooppunten en het o1-model?

Onze tool calling is zeer contextbewust. Het begrijpt al je systemen, alle acties die het kan ondernemen en hoe die gegevens kunnen worden ingevoerd in de volgende tool. En we kunnen één codeblok genereren dat dit allemaal samen geeft, plus een antwoord geeft, allemaal in één oproep op LLM .

In theorie kun je de o1 API gebruiken om tools aan te roepen, maar er zijn beperkingen aan wat je met de tool kunt aanroepen. Maar Botpress is er voor gebouwd. We hebben vangrails bovenop andere LLMs, inclusief GPT. 

Autonome Nodes kunnen ook gelijktijdig praten terwijl ze tools aanroepen, iets wat OpenAI momenteel niet ondersteunt. Dit bespaart een round-trip naar de server en geeft een betere conversational UX, omdat gebruikers worden geïnformeerd voordat een langlopende taak wordt gestart.

De meeste organisaties worden gewaarschuwd voor het gebruik van ChatGPT met beveiligde werkgegevens. Zijn er minder zorgen voor autonome knooppunten?

Ons platform is gebouwd voor omgevingen met hoge volumes en lage latentie en we hebben het ontworpen met de praktische behoeften van bedrijven in gedachten.

Het voordeel van Autonomous Nodes is niet dat we een compleet nieuw type AI hebben gemaakt, maar dat we bestaande technologie hebben genomen en slimme engineering hebben toegepast om het beter te laten werken voor zakelijke behoeften. 

We hebben beveiligde sandboxes voor AI-genererende communicatie. Wanneer je een Autonome Node gebruikt, draait deze gratis deze geheime zandbakken. Ze zijn veilig en schaalbaar. En daarna wordt de zandbak vernietigd. 

Dit is een virtuele isolatie met twee lagen - inchecken en uitchecken. Het is behoorlijk ingewikkeld. Maar het betekent dat we op grote schaal LLM gegenereerde code kunnen draaien met minimale beveiligingsrisico's.

Als ontwikkelaars of AI-liefhebbers de Autonomous Node willen uitproberen, wat moeten ze dan doen?

We hebben een royaal gratis aanbod. Al onze gebruikers kunnen ze uitproberen. We vonden het een te coole functie om te laten schieten. Dus ja, maak gewoon een gratis Botpress account aan en je kunt het zelf zien. 

Perfect. Heel erg bedankt dat je de puntjes hebt weten te verbinden tussen de twee functies. o1 haalt veel krantenkoppen; het is geweldig om beter te begrijpen hoe het verband houdt met wat Botpress aan het ontwikkelen is.