Botpress CEO sur OpenAI o1 vs. Autonomous Nodes

Il existe de grandes similitudes entre le nouveau modèle o1 de OpenAIet les nœuds autonomes de Botpress , n'est-ce pas ?

Il y en a, c'est certain. Il était très amusant de voir o1 sortir. Mais il est important de noter que nous ne comparons pas tout à fait des pommes avec des pommes. 

OpenAI o1 est évidemment un LLM, tandis que les nœuds autonomes sont une caractéristique de la plate-forme. Vous pouvez même brancher o1 sur Botpress et l'utiliser avec vos nœuds autonomes.  

Mais tous deux utilisent un raisonnement en chaîne, une approche ascendante pour parvenir à des conclusions sur ce qu'il faut faire et ce qu'il faut dire.

Pourriez-vous expliquer le raisonnement par chaîne de pensée et en quoi il diffère de la manière dont les modèles linguistiques génèrent généralement des réponses ?

Bien sûr, la plupart des sites LLMs génèrent des réponses en prédisant le mot suivant sur la base du mot précédent - ils génèrent le premier mot, puis l'utilisent pour générer le suivant, et ainsi de suite. Cela fonctionne pour répondre à des questions simples, mais échoue lamentablement dans des tâches plus complexes avec un raisonnement en plusieurs étapes.

Le raisonnement par chaîne de pensée, quant à lui, consiste pour une IA à décomposer une tâche en plusieurs étapes et à raisonner explicitement sur chacune d'entre elles avant de passer à la suivante. Cela ressemble à la manière dont on demande aux étudiants d'élaborer une réponse dans un problème d'examen STEM. 

Par exemple, si une IA crée une piste dans un CRM - où elle doit vérifier qu'il n'y a pas de doublons, attribuer la piste, etc. - elle doit utiliser le raisonnement en chaîne pour réfléchir à chaque étape et planifier une séquence complète d'actions avant de commencer à s'exécuter. Il ne commence pas à remplir un formulaire avant de se rendre compte qu'il s'agit d'un doublon, il le sait avant de commencer.

Le système peut donc gérer des tâches plus complexes avec des dépendances multiples, mais cela le ralentit également parce qu'il doit faire une pause et réfléchir, au lieu de générer immédiatement.

o1 et les nœuds autonomes utilisent tous deux le raisonnement par chaîne de pensée - s'agit-il du même processus dans les deux cas ou existe-t-il des différences entre les deux ?

Il y a des similitudes et des différences. Nous utilisons toujours le raisonnement en chaîne, mais comme nous construisons pour des clients du monde réel, nous optimisons la vitesse et l'efficacité de plusieurs manières différentes. 

Avec les nœuds autonomes, nous avons conçu le système pour qu'il puisse gérer plusieurs actions en un seul appel LLM . L'idée est de penser et d'agir dans le cadre du même processus, afin de ne pas perdre de temps. 

Les nœuds autonomes réfléchissent et informent l'utilisateur de manière à ce que ce dernier n'attende pas simplement la fin du processus de réflexion. Cela s'apparente davantage à des conversations naturelles, où une personne ne sera pas laissée dans l'expectative pendant plus de 30 secondes. Les développeurs peuvent examiner les pensées cachées du site LLM et déterminer ce qui n'a pas fonctionné.

En revanche, o1 renvoie une seule réponse, et la visibilité de son processus de réflexion est limitée. OpenAI fournit un résumé de la chaîne de pensée sans la montrer, ce qui rend le dépannage plus délicat.

Y a-t-il d'autres différences entre les deux ?

o1 nécessite un développeur ou une plateforme pour héberger des fonctions qui font appel à des outils. Chaque étape nécessite un appel API distinct, ce qui signifie que le modèle doit demander une action, attendre le résultat, puis appeler la suivante. Et vous devez faire cet appel de manière récursive, encore et encore et encore. La barrière à l'utilisation est donc plus élevée, car vous devez fournir l'architecture d'exécution de la fonction sous-jacente. 

Les nœuds autonomes s'en chargent automatiquement en arrière-plan.

Quelle est la comparaison entre o1 et o2 en termes de coût et de vitesse ?

Imaginons que vous utilisiez un agent LLM ou un agent d'intelligence artificielle pour vous aider dans les tâches de Hubspot, par exemple en dialoguant avec les visiteurs du site Web afin de générer des leads par intelligence artificielle.

Si vous demandez à o1 de remplir un formulaire de prospect sur Hubspot - je veux dire, en supposant que vous puissiez le connecter sans un connecteur tiers - cela prendrait 12 secondes et coûterait 5 fois plus cher que si vous le faisiez sur Botpress.

Une partie de la rapidité provient de la conception de notre plateforme basée sur des schémas, ce qui signifie que le système sait d'emblée quelles données sont nécessaires et à quoi ressemble la structure de ces données. 

Ainsi, lorsque vous travaillez avec un outil comme HubSpot ou Salesforce, le système dispose déjà d'un schéma JSON prédéfini qui lui indique les entrées requises - comme le prénom, l'adresse électronique, le nom de l'entreprise, etc. 

Cela permet aux nœuds autonomes de raisonner sur l'ensemble de la tâche depuis le début, sans avoir à s'arrêter et à demander plus d'informations à chaque étape.

Vous pouvez réduire la vitesse et les étapes en fournissant vous-même le contexte, mais au prix d'une augmentation du temps consacré à la construction d'une application basée sur o1. Il s'agit donc également d'une question d'augmentation des coûts de maintenance. 

Vous évoquez une fiabilité accrue. Qu'est-ce qui rend les nœuds autonomes plus fiables que o1 ?

La principale façon de rendre les résultats plus fiables a été de combiner le raisonnement par chaîne de pensée avec l'appel à l'outil de protocole que nous avons créé. 

Ce que nous avons fait, c'est essentiellement créer un environnement dans lequel il peut penser - et tout cela en code, pas en texte brut. Honnêtement, c'est plus rapide et plus fiable que la version OpenAI , pour plusieurs raisons.

L'un d'eux est qu'il peut parler simultanément, tout au long de la séquence d'actions. C'est une chose que le modèle OpenAI ne permet pas. 

Une autre raison est que l'IA connaît le schéma de sortie. Elle sait quel type de JSON elle doit produire en fonction de la requête qu'elle reçoit. 

Et c'est quelque chose que les développeurs peuvent régler eux-mêmes. S'ils utilisent ce système et que les utilisateurs leur posent une multitude de questions similaires, comme c'est le cas pour la plupart d'entre eux, ils peuvent régler l'IA de manière à ce qu'elle donne à chaque fois la réponse la meilleure et la plus appropriée.  

Quelle est la part du processus qui utilise JSON ?

L'anglais simple n'est pas fiable, n'est-ce pas ? Il n'est pas assez formel. Il n'est pas assez strict. 

Le langage de programmation est un langage, mais il est formel. C'est un langage spécifique à un domaine ; vous ne pouvez l'utiliser qu'à l'intérieur de certaines limites et de certains rôles syntaxiques.

Notre outil appelle donc la réponse en JSON au lieu de l'anglais. Il s'agit d'une sortie JSON avec un schéma JSON au lieu d'un texte simple.

Lorsque vous demandez la création d'un formulaire de prospect dans Hubspot, celui-ci est écrit en JSON, et le schéma - également en JSON - donne toutes les propriétés qu'il doit inclure, comme le nom, la société, etc.

Quelles sont les principales différences entre l'appel d'outils entre les nœuds autonomes et le modèle o1 ?

Notre outil d'appel est très sensible au contexte. Il comprend tous vos systèmes, toutes les actions qu'il peut entreprendre et la manière dont ces données peuvent être introduites dans l'outil suivant. Et nous pouvons générer un bloc de code qui donne tout cela ensemble, ainsi qu'une réponse, le tout en un seul appel LLM .

En théorie, vous pouvez utiliser l'API o1 pour appeler un outil, mais il y a des contraintes quant à ce que vous pouvez appeler avec l'outil. Mais Botpress est conçu pour cela. Nous avons des garde-fous au-dessus d'autres LLMs, y compris GPT. 

Les nœuds autonomes peuvent également parler simultanément tout en appelant des outils, ce qui n'est pas quelque chose que OpenAI prend actuellement en charge. Cela permet d'économiser un aller-retour vers le serveur et d'améliorer l'interface utilisateur, car les utilisateurs sont informés avant qu'une tâche de longue durée ne soit lancée.

La plupart des organisations sont mises en garde contre l'utilisation de ChatGPT avec des données de travail sécurisées. Les nœuds autonomes posent-ils moins de problèmes ?

Notre plateforme est conçue pour des environnements à haut volume et à faible latence, et nous l'avons élaborée en tenant compte des besoins pratiques des entreprises.

L'avantage des nœuds autonomes n'est pas que nous avons créé un tout nouveau type d'IA, mais que nous avons pris une technologie existante et appliqué une ingénierie intelligente pour mieux l'adapter aux besoins des entreprises. 

Nous disposons de bacs à sable sécurisés pour les communications générées par l'IA. Lorsque vous utilisez un nœud autonome, il exécute gratuitement ces bacs à sable secrets. Ils sont sécurisés et évolutifs. Et par la suite, le bac à sable est détruit. 

Il s'agit d'un isolement virtuel à deux niveaux : le contrôle d'entrée et le contrôle de sortie. C'est assez compliqué. Mais cela signifie que nous pouvons exécuter à grande échelle le code généré par LLM avec des risques de sécurité minimes.

Si des développeurs ou des passionnés d'IA veulent essayer le nœud autonome, que doivent-ils faire ?

Nous proposons un tarif gratuit généreux. Tous nos utilisateurs peuvent les essayer. Nous avons pensé qu'il s'agissait d'une fonctionnalité trop cool pour être laissée de côté. Alors oui, créez un compte gratuit sur Botpress et vous verrez par vous-même. 

C'est parfait. Merci beaucoup d'avoir pris le temps de faire le lien entre ces deux fonctionnalités. o1 fait beaucoup parler de lui ; il est bon de mieux comprendre comment il est lié à ce que Botpress est en train de développer.

Construire des agents d'IA

Créer des agents autonomes personnalisés

Commencer maintenant

Aucune carte de crédit n'est requise