.webp)
OpenAILa tan esperada serie de modelos o1 de la compañía saltó a los titulares por su avanzada capacidad de razonamiento, un importante paso adelante en inteligencia artificial.
Las capacidades de razonamiento de o1 no son muy diferentes de las de una función familiar para los usuarios de Botpress : el Nodo Autónomo. Lanzado en julio de 2024, el Nodo Autónomo fue el primero de su clase entre las plataformas de agentes de IA.
Sylvain PerronCEO de Botpress y arquitecto jefe de los Nodos Autónomos de la plataforma, se sentó a explicar las similitudes y diferencias entre las dos entidades de razonamiento.
Botpress CEO Sylvain Perron compara OpenAI o1 y el Nodo Autónomo
Hay algunas similitudes importantes entre el nuevo modelo o1 de OpenAIy los Nodos Autónomos de Botpress , ¿correcto?
Los hay, sin duda. Fue muy divertido ver salir a o1. Pero hay que tener en cuenta que no estamos comparando manzanas con manzanas.
OpenAI o1 es, obviamente, un LLM, mientras que los Nodos Autónomos son una característica de la plataforma. Incluso puedes conectar o1 a Botpress y utilizarlo con tus Nodos Autónomos.
Pero ambos utilizan el razonamiento en cadena, un enfoque ascendente para llegar a conclusiones sobre qué hacer y qué decir.
¿Podría explicar el razonamiento en cadena y en qué se diferencia del modo en que los modelos lingüísticos suelen generar respuestas?
Por supuesto, la mayoría de los sitios LLMs generan respuestas prediciendo la siguiente palabra basándose en la anterior: generan la primera palabra, la utilizan para generar la siguiente, y así sucesivamente. Esto funciona para responder a preguntas sencillas, pero falla estrepitosamente en tareas más complejas con razonamientos de varios pasos.
En cambio, el razonamiento en cadena consiste en dividir una tarea en pasos más pequeños y razonar explícitamente cada uno de ellos antes de pasar al siguiente. Es similar a cómo se pide a los estudiantes que construyan una respuesta en un problema de un examen STEM.
Por ejemplo, si una IA está creando un cliente potencial en un CRM -donde necesita comprobar si hay duplicados, asignar el cliente potencial, etc.- necesita utilizar el razonamiento de cadena de pensamiento para pensar en cada paso y planificar una secuencia completa de acciones antes de empezar a ejecutar. No empieza a rellenar un formulario antes de darse cuenta de que es un duplicado, lo sabe antes de empezar.
Así, el sistema puede gestionar tareas más complejas con múltiples dependencias, pero también se ralentiza porque tiene que hacer una pausa y pensar, en lugar de limitarse a generar inmediatamente.
Tanto o1 como los Nodos Autónomos utilizan el razonamiento en cadena: ¿es el mismo proceso en ambos o hay diferencias entre ellos?
Hay algunas similitudes y algunas diferencias. Seguimos utilizando el razonamiento de cadena de pensamiento, pero como construimos para clientes del mundo real, optimizamos la velocidad y la eficiencia de varias formas distintas.
Con los Nodos Autónomos, diseñamos el sistema para gestionar múltiples acciones en una sola llamada a LLM . La idea es pensar y actuar dentro del mismo proceso, para no perder tiempo.
Los Nodos Autónomos piensan y dan actualizaciones al usuario para que éste no se limite a esperar a que termine su proceso de pensamiento. Esto es más parecido a las conversaciones naturales, en las que una persona no se queda esperando en suspense durante más de 30 segundos. Los desarrolladores pueden mirar en los pensamientos ocultos de la LLM y solucionar lo que salió mal.
Por otro lado, o1 devuelve una respuesta, y la visibilidad de su proceso de pensamiento es limitada. OpenAI proporciona un resumen de la cadena de pensamiento sin mostrarla, lo que dificulta la resolución de problemas.
¿Existen otras diferencias entre ambos?
o1 requiere que un desarrollador o una plataforma alojen funciones que llamen a las herramientas. Cada paso requiere una llamada separada a la API, lo que significa que el modelo tiene que solicitar una acción, esperar el resultado y luego llamar a la siguiente. Y tiene que llamar a esto recursivamente una y otra vez. Esto hace que la barrera para utilizarlo sea mayor, ya que debes proporcionar la arquitectura de ejecución de la función subyacente.
Los nodos autónomos lo hacen automáticamente en segundo plano.
¿Cómo se compara o1 en coste y velocidad?
Digamos que estás utilizando un LLM o agente de IA para ayudar con las tareas de Hubspot, como chatear con los visitantes del sitio web como una forma de hacer la generación de leads de IA.
Si le pidieras a o1 que rellenara un formulario de captación de clientes potenciales en Hubspot -es decir, suponiendo que pudieras conectarlo sin un conector de terceros-, tardaría 12 segundos y costaría 5 veces más que si lo hiciera en Botpress.
Parte de la velocidad se debe al diseño basado en esquemas de nuestra plataforma, lo que significa que el sistema sabe de antemano qué datos se necesitan y cómo es la estructura de esos datos.
Así, cuando trabajas con una herramienta como HubSpot o Salesforce, el sistema ya tiene un esquema JSON predefinido que indica qué entradas son necesarias, como el nombre, la dirección de correo electrónico, el nombre de la empresa, etc.
Esto permite a los nodos autónomos razonar toda la tarea desde el principio, sin tener que detenerse a pedir más información en cada paso.
Puedes reducir la velocidad y los pasos proporcionando tú mismo el contexto, pero a costa de dedicar más tiempo a crear una aplicación basada en o1. Así que también se trata de aumentar el coste de mantenimiento.
Usted menciona una mayor fiabilidad. ¿Qué hace que los Nodos Autónomos sean más fiables que o1?
La forma más importante de aumentar la fiabilidad de los resultados fue mezclar el razonamiento de la cadena de pensamiento con la llamada a la herramienta de protocolo que creamos.
Lo que hicimos fue esencialmente crear un entorno en el que puede pensar - y todo en código, no en texto plano. Honestamente, es más rápido y más fiable que la versión OpenAI , por varias razones.
Una es que puede hablar simultáneamente, a lo largo de toda la secuencia de acciones. Eso es algo que el modelo OpenAI no hace.
Otra razón es que la IA conoce el esquema de salida. Sabe qué tipo de JSON debe escupir en función de la consulta que recibe.
Y es algo que los propios desarrolladores pueden ajustar. Si lo utilizan y reciben un montón de preguntas similares de los usuarios, como es el caso de la mayoría, pueden ajustar la IA para que ofrezca siempre la respuesta mejor y más adecuada.
¿Qué parte del proceso utiliza JSON?
El inglés sencillo no es fiable, ¿verdad? No es lo suficientemente formal. No es lo suficientemente estricto.
El lenguaje de programación es un lenguaje, pero es formal. Es un lenguaje de dominio específico; sólo se puede utilizar dentro de ciertos límites y roles sintácticos.
Así que nuestra herramienta llama a responder en JSON en lugar de Inglés. Es una salida JSON con un esquema JSON en lugar de texto plano.
Cuando realizas una solicitud para crear un formulario de cliente potencial en Hubspot, se escribe en JSON, y el esquema -también en JSON- proporciona todas las propiedades que necesita incluir, como nombre, empresa, etc.
¿Cuáles son las principales diferencias entre la llamada a la herramienta entre Nodos Autónomos y el modelo o1?
Nuestra llamada a las herramientas es muy consciente del contexto. Entiende todos tus sistemas, todas las acciones que puede realizar y cómo esos datos pueden introducirse en la siguiente herramienta. Y podemos generar un bloque de código que proporcione todo esto junto, además de dar una respuesta, todo en una llamada a LLM .
En teoría, puede utilizar la API o1 para llamar a la herramienta, pero hay restricciones a lo que puede llamar a la herramienta con. Pero Botpress está construido para ello. Tenemos guardarraíles encima de otros LLMs, incluyendo GPT.
Los nodos autónomos también pueden hablar simultáneamente mientras llaman a las herramientas, algo que OpenAI no admite actualmente. Esto ahorra un viaje de ida y vuelta al servidor y ofrece una mejor experiencia de usuario conversacional, ya que se informa a los usuarios antes de iniciar una tarea de larga duración.
La mayoría de las organizaciones están prevenidas contra el uso de ChatGPT con datos de trabajo seguros. Hay menos preocupaciones en el caso de los nodos autónomos?
Nuestra plataforma está concebida para entornos de gran volumen y baja latencia, y la hemos diseñado teniendo en cuenta las necesidades prácticas de las empresas.
La ventaja de los Nodos Autónomos no es que hayamos creado un tipo de IA completamente nuevo, sino que hemos tomado la tecnología existente y le hemos aplicado ingeniería inteligente para que funcione mejor para las necesidades de las empresas.
Tenemos cajas de arena seguras para la comunicación que genera la IA. Cuando utilizas un Nodo Autónomo, ejecuta estas cajas de arena secretas de forma gratuita. Son seguros, son escalables. Y después, la caja de arena se destruye.
Se trata de un aislamiento virtual con dos capas: registro de entrada y registro de salida. Es bastante complicado. Pero significa que podemos ejecutar código generado a gran escala en LLM con riesgos de seguridad mínimos.
Si los desarrolladores o entusiastas de la IA quieren probar el Nodo Autónomo, ¿qué tienen que hacer?
Tenemos un generoso nivel gratuito. Todos nuestros usuarios pueden probarlos. Pensamos que era una función demasiado interesante como para dejarla pasar. Así que sí, hazte una cuenta gratuita en Botpress y podrás comprobarlo por ti mismo.
Perfecto. Muchas gracias por sentarse a conectar los puntos entre las dos características. o1 está haciendo un montón de titulares; es genial para entender mejor cómo se vincula con lo que Botpress está desarrollando.
.svg)
.webp)
