A tão aguardada série de modelos o1 da OpenAI ganhou destaque por sua avançada capacidade de raciocínio, um grande avanço na inteligência artificial.
As habilidades de raciocínio do o1 não são tão diferentes de um recurso já conhecido pelos usuários da Botpress – o Autonomous Node. Lançado em julho de 2024, o Autonomous Node foi o primeiro do tipo entre as plataformas de agentes de IA.
Sylvain Perron, CEO da Botpress e principal arquiteto por trás dos Autonomous Nodes da plataforma, concedeu uma entrevista para explicar as semelhanças e diferenças entre essas duas formas de raciocínio.
CEO da Botpress, Sylvain Perron, compara OpenAI o1 e o Autonomous Node
Existem algumas semelhanças importantes entre o novo modelo o1 da OpenAI e os Nós Autônomos do Botpress, certo?
Sim, com certeza. Foi até engraçado ver o lançamento do o1. Mas é importante notar que não estamos exatamente comparando coisas idênticas aqui.
O OpenAI o1 é, obviamente, um LLM, enquanto os Autonomous Nodes são um recurso da plataforma. Você pode até conectar o o1 na Botpress e usá-lo junto com seus Autonomous Nodes.
Mas ambos utilizam raciocínio em cadeia, uma abordagem de baixo para cima para chegar a conclusões sobre o que fazer e o que dizer.
Poderia explicar o raciocínio chain-of-thought e como ele difere da forma como modelos de linguagem normalmente geram respostas?
Claro – a maioria dos LLMs gera respostas prevendo a próxima palavra com base na anterior – eles geram a primeira palavra, depois usam essa para gerar a próxima, e assim por diante. Isso funciona para perguntas simples, mas falha bastante em tarefas mais complexas que exigem raciocínio em várias etapas.
O raciocínio em cadeia, por outro lado, é quando uma IA divide uma tarefa em etapas menores e raciocina explicitamente sobre cada uma antes de passar para a próxima. É parecido com o que acontece quando estudantes precisam construir a resposta de um problema em uma prova de disciplinas de exatas.
Por exemplo, se uma IA está criando um lead em um CRM – onde precisa verificar duplicidade, atribuir o lead, etc. – ela precisa usar raciocínio em cadeia para pensar em cada etapa e planejar toda a sequência de ações antes de começar a executar. Ela não começa a preencher um formulário antes de perceber que é um duplicado, ela já sabe disso antes de iniciar.
Assim, o sistema consegue lidar com tarefas mais complexas e com múltiplas dependências, mas isso também o deixa mais lento, pois precisa pausar e pensar, em vez de simplesmente gerar a resposta imediatamente.
Tanto o o1 quanto os Autonomous Nodes usam raciocínio chain-of-thought – é o mesmo processo nos dois ou existem diferenças?
Existem algumas semelhanças e algumas diferenças. Ainda usamos raciocínio em cadeia, mas como estamos desenvolvendo para clientes reais, otimizamos para velocidade e eficiência de algumas formas diferentes.
Com os Autonomous Nodes, projetamos o sistema para lidar com várias ações em uma única chamada ao LLM. A ideia é pensar e agir no mesmo processo, para não perder tempo.
Os Autonomous Nodes pensam e dão atualizações ao usuário, para que ele não fique apenas esperando o processo de pensamento terminar. Isso é mais parecido com conversas naturais, onde a pessoa não fica esperando em suspense por mais de 30 segundos. Os desenvolvedores podem ver os pensamentos internos do LLM e identificar o que deu errado.
Por outro lado, o o1 retorna uma única resposta e há pouca visibilidade sobre seu processo de pensamento. A OpenAI fornece um resumo do raciocínio em cadeia, mas sem mostrar o processo, o que dificulta a análise de problemas.
Existem outras diferenças entre os dois?
O o1 exige que o desenvolvedor ou a plataforma hospede funções que façam as chamadas de ferramentas. Cada etapa requer uma chamada de API separada, ou seja, o modelo precisa solicitar uma ação, esperar o resultado e depois pedir a próxima. E você precisa repetir isso recursivamente várias vezes. Isso aumenta a barreira de uso, pois é necessário fornecer toda a arquitetura de execução das funções.
Os Nós Autônomos fazem isso automaticamente em segundo plano.
Como o o1 se compara em termos de custo e velocidade?
Vamos supor que você está usando um LLM ou agente de IA para ajudar em tarefas do Hubspot, como conversar com visitantes do site para fazer geração de leads com IA.
Se você pedir para o o1 preencher um formulário de lead no Hubspot – supondo que fosse possível conectar sem um conector de terceiros – levaria 12 segundos e custaria 5 vezes mais do que se fosse feito na Botpress.
Parte da velocidade vem do design baseado em esquemas da nossa plataforma, o que significa que o sistema já sabe de antemão quais dados são necessários e qual é a estrutura desses dados.
Então, ao trabalhar com uma ferramenta como HubSpot ou Salesforce, o sistema já tem um esquema JSON pré-definido que indica quais campos são obrigatórios – como nome, e-mail, nome da empresa, etc.
Isso permite que os Autonomous Nodes raciocinem sobre toda a tarefa desde o início, sem precisar parar e pedir mais informações a cada etapa.
Você pode reduzir o tempo e o número de etapas fornecendo contexto por conta própria, mas isso aumenta o tempo de desenvolvimento de uma aplicação baseada no o1. Ou seja, também aumenta o custo de manutenção.
Você mencionou maior confiabilidade. O que torna os Nós Autônomos mais confiáveis do que o o1?
A principal forma de tornar o resultado mais confiável foi misturar o raciocínio em cadeia com o protocolo de chamadas de ferramentas que criamos.
O que fizemos foi basicamente criar um ambiente onde ela pode pensar – e tudo em código, não em texto simples. Sinceramente, é mais rápido e confiável que a versão da OpenAI, por alguns motivos.
Um deles é que pode se comunicar ao longo de toda a sequência de ações. Isso é algo que o modelo da OpenAI não faz.
Outro motivo é que a IA conhece o esquema de saída. Ela sabe qual tipo de JSON deve gerar com base na solicitação recebida.
E é algo que os desenvolvedores podem ajustar. Se estiverem usando e recebendo muitas perguntas parecidas dos usuários, como acontece na maioria dos casos, podem ajustar a IA para que ela sempre dê a melhor e mais adequada resposta.
Ele utiliza JSON em qual parte do processo?
Inglês simples é pouco confiável, certo? Não é formal o suficiente. Não é rigoroso o suficiente.
Linguagem de programação é uma linguagem, mas é formal. É uma linguagem específica de domínio; só pode ser usada dentro de certos limites e regras de sintaxe.
Então nossas chamadas de ferramenta respondem em JSON em vez de inglês. É uma saída em JSON com um esquema JSON, não texto simples.
Quando você faz uma solicitação para criar um formulário de lead no Hubspot, ela é feita em JSON, e o esquema – também em JSON – traz todas as propriedades que precisam ser incluídas, como nome, empresa, etc.
Quais são as principais diferenças entre as chamadas de ferramenta dos Autonomous Nodes e do modelo o1?
Nossas chamadas de ferramenta são altamente conscientes do contexto. Entendem todos os seus sistemas, todas as ações possíveis e como esses dados podem ser usados na próxima ferramenta. E conseguimos gerar um bloco de código que traz tudo isso junto, além de já dar uma resposta, tudo em uma única chamada ao LLM.
Na teoria, você pode usar a API do o1 para chamadas de ferramenta, mas há restrições sobre o que pode ser chamado. Mas a Botpress foi feita para isso. Temos proteções adicionais sobre outros LLMs, incluindo o GPT.
Os Autonomous Nodes também podem falar simultaneamente enquanto fazem chamadas de ferramentas, algo que a OpenAI ainda não oferece. Isso economiza uma ida e volta ao servidor e melhora a experiência de conversa, pois os usuários são informados antes de uma tarefa demorada começar.
A maioria das organizações é alertada para não usar o ChatGPT com dados de trabalho confidenciais. Existem menos preocupações com os Autonomous Nodes?
Nossa plataforma foi criada para ambientes de alto volume e baixa latência, projetada com as necessidades práticas das empresas em mente.
A vantagem dos Autonomous Nodes não é que criamos um tipo totalmente novo de IA – é que pegamos a tecnologia existente e aplicamos engenharia inteligente para que ela funcione melhor para as necessidades das empresas.
Temos sandboxes seguros para geração de comunicação por IA. Ao usar um Autonomous Node, ele executa esses sandboxes secretos gratuitamente. Eles são seguros, escaláveis. E depois, o sandbox é destruído.
Esta é uma isolação virtual com duas camadas – check-in e check-out. É um processo bastante complexo. Mas isso significa que podemos executar código gerado por LLM em grande escala com riscos mínimos de segurança.
Se desenvolvedores ou entusiastas de IA quiserem experimentar o Nó Autônomo, o que precisam fazer?
Temos um plano gratuito bem generoso. Todos os nossos usuários podem testar. Achamos que era um recurso legal demais para limitar o acesso. Então, basta criar uma conta gratuita na Botpress e conferir por si mesmo.
.webp)
