La tan esperada serie de modelos o1 de OpenAI fue noticia por su avanzada capacidad de razonamiento, un avance importante en inteligencia artificial.
Las capacidades de razonamiento de o1 no son tan diferentes de una función que los usuarios de Botpress ya conocen: el Autonomous Node. Lanzado en julio de 2024, el Autonomous Node fue el primero de su tipo entre las plataformas de agentes de IA.
Sylvain Perron, CEO de Botpress y principal arquitecto detrás de los Autonomous Nodes de la plataforma, se sentó a explicar las similitudes y diferencias entre estas dos entidades de razonamiento.
El CEO de Botpress, Sylvain Perron, compara OpenAI o1 y el Autonomous Node
¿Existen grandes similitudes entre el nuevo modelo o1 de OpenAI y los Autonomous Nodes de Botpress, correcto?
Sí, definitivamente. Fue curioso ver salir o1. Pero hay que destacar que no estamos comparando exactamente lo mismo.
OpenAI o1 es, evidentemente, un LLM, mientras que los Autonomous Nodes son una función de la plataforma. Incluso puedes conectar o1 a Botpress y usarlo junto con tus Autonomous Nodes.
Pero ambos utilizan razonamiento en cadena, un enfoque de abajo hacia arriba para llegar a conclusiones sobre qué hacer y qué decir.
¿Podrías explicar el razonamiento chain-of-thought y en qué se diferencia de la forma en que los modelos de lenguaje suelen generar respuestas?
Por supuesto: la mayoría de los LLM generan respuestas prediciendo la siguiente palabra a partir de la anterior; generan la primera palabra, luego usan esa para generar la siguiente, y así sucesivamente. Esto funciona para preguntas directas, pero falla estrepitosamente en tareas más complejas que requieren varios pasos de razonamiento.
El razonamiento en cadena, en cambio, es cuando una IA descompone una tarea en pasos más pequeños y razona explícitamente cada uno antes de pasar al siguiente. Es parecido a cuando a los estudiantes se les pide que expliquen cómo llegan a una respuesta en un examen de ciencias.
Por ejemplo, si una IA está creando un lead en un CRM —donde debe comprobar duplicados, asignar el lead, etc.— necesita usar razonamiento en cadena para pensar cada paso y planificar toda la secuencia de acciones antes de empezar a ejecutarlas. No empieza a rellenar un formulario antes de saber si es un duplicado; lo sabe antes de comenzar.
Así, el sistema puede manejar tareas más complejas con múltiples dependencias, pero también se vuelve más lento porque tiene que detenerse a pensar, en lugar de generar la respuesta de inmediato.
Tanto o1 como Autonomous Nodes usan razonamiento en cadena de pensamiento: ¿es el mismo proceso en ambos o hay diferencias?
Hay similitudes y también diferencias. Seguimos usando razonamiento en cadena, pero como construimos para clientes reales, optimizamos para velocidad y eficiencia de varias formas.
Con Autonomous Nodes, diseñamos el sistema para manejar múltiples acciones en una sola llamada al LLM. La idea es pensar y actuar en el mismo proceso, así no perdemos tiempo.
Los Autonomous Nodes piensan y dan actualizaciones al usuario, para que no esté simplemente esperando a que termine el proceso de pensamiento. Esto se parece más a una conversación natural, donde una persona no queda esperando en suspenso durante más de 30 segundos. Los desarrolladores pueden ver los pensamientos internos del LLM y solucionar problemas si algo falla.
En cambio, o1 devuelve una sola respuesta y hay poca visibilidad sobre su proceso de pensamiento. OpenAI proporciona un resumen del razonamiento en cadena sin mostrarlo, lo que complica la resolución de problemas.
¿Hay otras diferencias entre ambos?
o1 requiere que un desarrollador o una plataforma aloje funciones que llamen a llamadas de herramientas. Cada paso requiere una llamada API separada, lo que significa que el modelo debe solicitar una acción, esperar el resultado y luego solicitar la siguiente. Y tienes que llamar a esto recursivamente una y otra vez. Esto eleva la barrera para usarlo, ya que debes proporcionar la arquitectura subyacente que ejecuta las funciones.
Los Autonomous Nodes hacen esto automáticamente en segundo plano.
¿Cómo se compara o1 en cuanto a costo y velocidad?
Supongamos que usas un LLM o un agente de IA para ayudar con tareas en Hubspot, como conversar con visitantes del sitio web para generar leads con IA.
Si le pides a o1 que rellene un formulario de lead en Hubspot —suponiendo que pudieras conectarlo sin un conector externo— tardaría 12 segundos y costaría 5 veces más que hacerlo en Botpress.
Parte de la velocidad proviene del diseño basado en esquemas de nuestra plataforma, lo que significa que el sistema sabe de antemano qué datos necesita y cómo es la estructura de esos datos.
Así, cuando trabajas con una herramienta como HubSpot o Salesforce, el sistema ya tiene un esquema JSON predefinido que le indica qué datos son obligatorios: nombre, correo electrónico, nombre de la empresa, etc.
Esto permite que los Autonomous Nodes razonen sobre toda la tarea desde el principio, sin tener que detenerse a pedir más información en cada paso.
Puedes reducir el tiempo y los pasos proporcionando tú mismo el contexto, pero a costa de invertir más tiempo en construir una aplicación basada en o1. Así que también implica un mayor coste de mantenimiento.
Mencionas una mayor confiabilidad. ¿Qué hace que los Autonomous Nodes sean más confiables que o1?
La principal forma en que hicimos la salida más fiable fue mezclando el razonamiento en cadena con el sistema de llamadas a herramientas que creamos.
Lo que hicimos fue básicamente crear un entorno donde puede razonar, y todo en código, no en texto plano. Sinceramente, es más rápido y fiable que la versión de OpenAI, por varias razones.
Una es que puede comunicarse al mismo tiempo, durante toda la secuencia de acciones. Eso es algo que el modelo de OpenAI no hace.
Otra razón es que la IA conoce el esquema de salida. Sabe qué tipo de JSON debe generar según la consulta que recibe.
Y es algo que los desarrolladores pueden ajustar por sí mismos. Si lo usan y reciben muchas preguntas similares de los usuarios, como suele pasar, pueden ajustar la IA para que dé siempre la mejor y más adecuada respuesta.
¿Cuánto del proceso utiliza JSON?
El inglés común simplemente no es fiable, ¿verdad? No es lo suficientemente formal ni estricto.
Un lenguaje de programación es un lenguaje, pero es formal. Es un lenguaje específico de dominio; solo puedes usarlo dentro de ciertos límites y reglas de sintaxis.
Así que nuestras llamadas a herramientas responden en JSON en vez de en inglés. Es una salida en JSON con un esquema JSON, no texto plano.
Cuando solicitas crear un formulario de lead en Hubspot, se escribe en JSON, y el esquema —también en JSON— indica todas las propiedades que debe incluir, como nombre, empresa, etc.
¿Cuáles son las principales diferencias entre las llamadas a herramientas en Autonomous Nodes y en el modelo o1?
Nuestra llamada a herramientas es muy consciente del contexto. Entiende todos tus sistemas, todas las acciones posibles y cómo esos datos pueden usarse en la siguiente herramienta. Y podemos generar un solo bloque de código que incluya todo esto y además dé una respuesta, todo en una sola llamada al LLM.
En teoría, puedes usar la API de o1 para hacer llamadas a herramientas, pero hay limitaciones respecto a con qué puedes llamar a la herramienta. Pero Botpress está diseñado para ello. Tenemos protecciones adicionales sobre otros LLM, incluido GPT.
Los Autonomous Nodes también pueden comunicarse mientras llaman a herramientas, algo que OpenAI aún no permite. Esto ahorra una ida y vuelta al servidor y mejora la experiencia conversacional, ya que los usuarios son informados antes de que comience una tarea larga.
A la mayoría de las organizaciones se les advierte no usar ChatGPT con datos de trabajo confidenciales. ¿Hay menos preocupaciones con los Autonomous Nodes?
Nuestra plataforma está diseñada para entornos de alto volumen y baja latencia, y la hemos desarrollado pensando en las necesidades prácticas de las empresas.
La ventaja de los Autonomous Nodes no es que hayamos creado un tipo completamente nuevo de IA, sino que hemos tomado la tecnología existente y aplicado ingeniería inteligente para que funcione mejor para las necesidades empresariales.
Contamos con entornos seguros para la generación de comunicaciones por IA. Cuando usas un Autonomous Node, ejecuta estos entornos seguros de forma gratuita. Son seguros y escalables. Y después, el entorno se destruye.
Se trata de un aislamiento virtual con dos capas: entrada y salida. Es bastante complejo. Pero esto nos permite ejecutar código generado por LLM a gran escala con riesgos mínimos de seguridad.
Si los desarrolladores o entusiastas de la IA quieren probar el Autonomous Node, ¿qué deben hacer?
Tenemos un plan gratuito muy generoso. Todos nuestros usuarios pueden probarlo. Pensamos que era una función demasiado interesante como para limitar su acceso. Así que solo tienes que crear una cuenta gratuita en Botpress y podrás verlo por ti mismo.
.webp)
