La tanto attesa serie di modelli o1 di OpenAI ha fatto notizia per la sua avanzata capacità di ragionamento, un passo avanti significativo nell’intelligenza artificiale.
Le capacità di ragionamento di o1 non sono molto diverse da una funzione già nota agli utenti Botpress – l’Autonomous Node. Lanciato a luglio 2024, l’Autonomous Node è stato il primo del suo genere tra le piattaforme di agenti AI.
Sylvain Perron, CEO di Botpress e principale architetto degli Autonomous Nodes della piattaforma, si è seduto per spiegare le somiglianze e le differenze tra le due entità di ragionamento.
Il CEO di Botpress Sylvain Perron confronta OpenAI o1 e l’Autonomous Node
Ci sono alcune importanti somiglianze tra il nuovo modello o1 di OpenAI e i Botpress Autonomous Nodes, giusto?
Sì, ce ne sono sicuramente. È stato molto divertente vedere uscire o1. Ma è importante notare che non stiamo proprio confrontando mele con mele.
OpenAI o1 è, ovviamente, un LLM, mentre gli Autonomous Nodes sono una funzionalità della piattaforma. Puoi anche collegare o1 a Botpress e usarlo con i tuoi Autonomous Nodes.
Entrambi utilizzano il ragionamento a catena, un approccio dal basso verso l’alto per arrivare a conclusioni su cosa fare e cosa dire.
Puoi spiegare il ragionamento chain-of-thought e come si differenzia dal modo in cui i modelli linguistici generano normalmente le risposte?
Certo – la maggior parte degli LLM genera risposte prevedendo la parola successiva in base a quella precedente: genera la prima parola, poi la usa per generare la successiva, e così via. Questo funziona per risposte semplici, ma fallisce facilmente in compiti complessi che richiedono ragionamento su più passaggi.
Il chain-of-thought reasoning, invece, è quando un’AI suddivide un compito in passaggi più piccoli e ragiona esplicitamente su ciascuno prima di procedere al successivo. È simile a come agli studenti viene chiesto di arrivare gradualmente a una risposta in un problema d’esame STEM.
Ad esempio, se un'IA deve creare un lead in un CRM – dove deve controllare i duplicati, assegnare il lead, e così via – deve utilizzare un ragionamento a catena per valutare ogni passaggio e pianificare l'intera sequenza di azioni prima di iniziare. Non compila un modulo prima di aver capito se si tratta di un duplicato: lo sa già prima di cominciare.
Quindi il sistema può gestire compiti più complessi con molte dipendenze, ma questo lo rallenta perché deve fermarsi a ragionare, invece di generare subito una risposta.
Sia o1 che Autonomous Nodes usano il ragionamento chain-of-thought – è lo stesso processo in entrambi o ci sono differenze?
Ci sono alcune somiglianze e alcune differenze. Usiamo ancora il ragionamento a catena, ma poiché costruiamo per clienti reali, ottimizziamo per velocità ed efficienza in alcuni modi diversi.
Con gli Autonomous Node, abbiamo progettato il sistema per gestire più azioni in una singola chiamata LLM. L’idea è pensare e agire nello stesso processo, così non perdiamo tempo.
I Nod Autonomi pensano e aggiornano l’utente, così che l’utente non debba semplicemente aspettare la fine del processo. Questo si avvicina di più a una conversazione naturale, dove una persona non resta in sospeso per oltre 30 secondi. Gli sviluppatori possono vedere i pensieri nascosti del LLM e capire cosa non ha funzionato.
Al contrario, o1 restituisce una sola risposta e offre visibilità limitata sul suo processo decisionale. OpenAI fornisce un riassunto della catena logica senza mostrarla, rendendo più difficile la risoluzione dei problemi.
Ci sono altre differenze tra i due?
o1 richiede uno sviluppatore o una piattaforma per ospitare funzioni che chiamano tool. Ogni passaggio richiede una chiamata API separata, quindi il modello deve richiedere un’azione, attendere il risultato e poi chiedere la successiva. E devi ripetere questo processo più e più volte. Questo aumenta la difficoltà d’uso, perché devi fornire l’architettura sottostante per l’esecuzione delle funzioni.
I Nodi Autonomi lo fanno automaticamente in background.
Come si confronta o1 in termini di costi e velocità?
Supponiamo che tu stia usando un LLM o un agente AI per aiutare con attività su Hubspot, come chattare con i visitatori del sito per fare lead generation AI.
Se chiedessi a o1 di compilare un modulo lead su Hubspot – ammesso che tu possa collegarlo senza un connettore di terze parti – ci vorrebbero 12 secondi e costerebbe 5 volte di più rispetto a farlo su Botpress.
Parte della velocità deriva dal design schema-based della nostra piattaforma, che permette al sistema di sapere in anticipo quali dati sono necessari e qual è la loro struttura.
Quindi, quando lavori con uno strumento come HubSpot o Salesforce, il sistema ha già uno schema JSON predefinito che indica quali input sono richiesti – come nome, email, nome azienda, ecc.
Questo consente ai Nodi Autonomi di ragionare sull’intero compito dall’inizio, senza dover interrompersi per chiedere ulteriori informazioni a ogni passaggio.
Puoi ridurre la velocità e i passaggi fornendo tu stesso il contesto, ma a costo di impiegare più tempo per costruire un’applicazione basata su o1. Anche questo comporta un aumento dei costi di manutenzione.
Hai menzionato una maggiore affidabilità. Cosa rende gli Autonomous Nodes più affidabili di o1?
Il modo principale in cui abbiamo reso i risultati più affidabili è stato combinare il ragionamento a catena con il protocollo di chiamata agli strumenti che abbiamo creato.
Quello che abbiamo fatto è stato sostanzialmente creare un ambiente in cui può ragionare – e tutto in codice, non solo testo. Onestamente è più veloce e affidabile della versione OpenAI, per diversi motivi.
Una delle differenze è che può parlare contemporaneamente durante la sequenza di azioni. Questo il modello OpenAI non lo fa.
Un altro motivo è che l’AI conosce lo schema di output. Sa che tipo di JSON deve generare in base alla richiesta che riceve.
Ed è qualcosa che gli sviluppatori possono regolare autonomamente. Se lo usano e ricevono molte domande simili dagli utenti, come spesso accade, possono ottimizzare l’AI affinché fornisca sempre la risposta migliore e più adatta.
Quanto del processo utilizza JSON?
L’inglese semplice è solo inaffidabile, giusto? Non è abbastanza formale. Non è abbastanza rigoroso.
Un linguaggio di programmazione è un linguaggio, ma formale. È un linguaggio specifico di dominio; puoi usarlo solo entro certi limiti e regole sintattiche.
Quindi il nostro strumento chiama reply in JSON invece che in inglese. L’output è in JSON con uno schema JSON invece che testo semplice.
Quando richiedi la creazione di un modulo lead in Hubspot, viene scritto in JSON, e lo schema — anch’esso in JSON — specifica tutte le proprietà da includere, come nome, azienda, ecc.
Quali sono le principali differenze tra l’uso degli strumenti nei Nodi Autonomi e nel modello o1?
La nostra chiamata agli strumenti è altamente contestuale. Comprende tutti i tuoi sistemi, tutte le azioni che può eseguire e come quei dati possono essere utilizzati nel prossimo strumento. E possiamo generare un unico blocco di codice che include tutto questo insieme, oltre a fornire una risposta, tutto in una sola chiamata LLM.
In teoria, puoi usare l’API o1 per chiamare strumenti, ma ci sono limiti su cosa puoi inviare allo strumento. Botpress invece è progettato per questo. Abbiamo sistemi di controllo aggiuntivi sopra altri LLM, incluso GPT.
I Nodi Autonomi possono anche parlare contemporaneamente mentre utilizzano strumenti, cosa che OpenAI attualmente non supporta. Questo evita un passaggio aggiuntivo verso il server e migliora l’esperienza conversazionale, informando l’utente prima dell’avvio di un’attività lunga.
Alla maggior parte delle organizzazioni viene sconsigliato l'uso di ChatGPT con dati di lavoro sensibili. Ci sono meno preoccupazioni per i Nodi Autonomi?
La nostra piattaforma è progettata per ambienti ad alto volume e bassa latenza, ed è stata ingegnerizzata pensando alle esigenze pratiche delle aziende.
Il vantaggio degli Autonomous Nodes non è aver creato un nuovo tipo di AI, ma aver applicato un’ingegneria intelligente alla tecnologia esistente per renderla più efficace per le esigenze aziendali.
Abbiamo sandbox sicure per la generazione AI della comunicazione. Quando usi un Nodo Autonomo, esegue queste sandbox segrete gratuitamente. Sono sicure, sono scalabili. E dopo, la sandbox viene distrutta.
Si tratta di un isolamento virtuale a due livelli – check-in e check-out. È piuttosto complesso. Ma significa che possiamo eseguire codice generato da LLM su larga scala con rischi di sicurezza minimi.
Se sviluppatori o appassionati di AI vogliono provare l'Autonomous Node, cosa devono fare?
Abbiamo un piano gratuito molto generoso. Tutti i nostri utenti possono provarlo. Pensavamo fosse una funzione troppo interessante per limitarla. Quindi sì, basta creare un account gratuito Botpress e puoi provarlo tu stesso.
.webp)
