Botpress CEO su OpenAI o1 vs. Nodi autonomi

Ci sono alcune importanti somiglianze tra il nuovo modello o1 di OpenAIe i nodi autonomi di Botpress , giusto?

Ci sono, sicuramente. È stato molto divertente vedere l'uscita di o1. Ma una cosa importante da notare è che non stiamo confrontando mele con mele. 

OpenAI o1 è, ovviamente, un LLM, mentre i Nodi autonomi sono una caratteristica della piattaforma. È possibile inserire o1 in Botpress e utilizzarlo con i nodi autonomi.  

Ma entrambi utilizzano il ragionamento a catena, un approccio dal basso verso l'alto per giungere a conclusioni su cosa fare e cosa dire.

Potrebbe spiegare il ragionamento a catena di pensieri e come si differenzia dal modo in cui i modelli linguistici generano tipicamente le risposte?

Naturalmente - la maggior parte di LLMs genera risposte prevedendo la parola successiva sulla base della precedente: genera la prima parola, poi la usa per generare la successiva, e così via. Questo funziona per rispondere a domande semplici, ma fallisce clamorosamente in compiti più complessi con ragionamenti in più fasi.

Il ragionamento a catena, invece, è quando un'intelligenza artificiale suddivide un compito in fasi più piccole e ragiona esplicitamente su ciascuna di esse prima di procedere alla successiva. È simile al modo in cui agli studenti viene chiesto di costruire una risposta in un problema d'esame STEM. 

Ad esempio, se un'intelligenza artificiale sta creando un lead in un CRM, dove deve verificare la presenza di duplicati, assegnare il lead e così via, deve utilizzare il ragionamento a catena per pensare a ogni fase e pianificare una sequenza completa di azioni prima di iniziare l'esecuzione. Non inizia a compilare un modulo prima di aver capito che si tratta di un duplicato, lo sa prima di iniziare.

In questo modo il sistema è in grado di gestire attività più complesse con dipendenze multiple, ma anche di rallentare perché deve fermarsi a riflettere, invece di generare immediatamente.

Sia o1 che i Nodi Autonomi utilizzano il ragionamento a catena di pensiero: si tratta dello stesso processo in entrambi o ci sono differenze tra i due?

Ci sono alcune somiglianze e alcune differenze. Utilizziamo ancora il ragionamento a catena, ma poiché costruiamo per clienti reali, ottimizziamo la velocità e l'efficienza in modi diversi. 

Con i Nodi autonomi, abbiamo progettato il sistema in modo da gestire più azioni con una singola chiamata a LLM . L'idea è di pensare e agire all'interno dello stesso processo, in modo da non perdere tempo. 

I nodi autonomi pensano e forniscono aggiornamenti all'utente, in modo che quest'ultimo non stia semplicemente aspettando che il processo di pensiero si concluda. Questo è più simile alle conversazioni naturali, dove una persona non viene lasciata in attesa per oltre 30 secondi. Gli sviluppatori possono esaminare i pensieri nascosti di LLM e risolvere i problemi che si sono verificati.

D'altra parte, o1 restituisce una sola risposta e la visibilità del suo processo di pensiero è limitata. OpenAI fornisce un riassunto della catena di pensiero senza mostrarlo, rendendo più complicata la risoluzione dei problemi.

Ci sono altre differenze tra i due?

o1 richiede che uno sviluppatore o una piattaforma ospitino le funzioni che richiamano le chiamate agli strumenti. Ogni fase richiede una chiamata API separata, il che significa che il modello deve richiedere un'azione, attendere il risultato e poi chiamare la successiva. E questo deve avvenire in modo ricorsivo, ancora e ancora e ancora. Questo fa sì che la barriera all'uso sia più alta, poiché è necessario fornire l'architettura di esecuzione della funzione sottostante. 

I nodi autonomi eseguono questa operazione automaticamente in background.

Come si comporta o1 in termini di costi e velocità?

Supponiamo che stiate utilizzando un agente LLM o AI per assistere le attività di Hubspot, come la chat con i visitatori del sito web per generare lead generation.

Se si chiedesse a o1 di compilare un modulo di lead su Hubspot - supponendo di poterlo collegare senza un connettore di terze parti - ci vorrebbero 12 secondi e costerebbe 5 volte di più che se lo facesse su Botpress.

Parte della velocità deriva dalla progettazione della nostra piattaforma basata su schemi, il che significa che il sistema sa in anticipo quali sono i dati necessari e la loro struttura. 

Quando si lavora con uno strumento come HubSpot o Salesforce, il sistema ha già uno schema JSON predefinito che indica quali sono gli input richiesti, come nome, indirizzo e-mail, nome dell'azienda, ecc. 

Questo permette ai nodi autonomi di ragionare sull'intero compito dall'inizio, senza doversi fermare e chiedere ulteriori informazioni a ogni passo.

È possibile ridurre la velocità e i passaggi fornendo autonomamente il contesto, ma a costo di spendere più tempo per costruire un'applicazione basata su o1. Quindi si tratta anche di un aumento dei costi di manutenzione. 

Lei parla di maggiore affidabilità. Cosa rende i nodi autonomi più affidabili di o1?

Il modo più importante per rendere più affidabile l'output è stato quello di combinare il ragionamento della catena di pensiero con lo strumento di chiamata del protocollo che abbiamo creato. 

Quello che abbiamo fatto è stato essenzialmente creare un ambiente in cui possa pensare - e tutto in codice, non in testo semplice. Onestamente è più veloce e più affidabile della versione OpenAI , per alcuni motivi.

Uno è che può parlare simultaneamente, durante tutta la sequenza di azioni. Questo è qualcosa che il modello OpenAI non fa. 

Un altro motivo è che l'intelligenza artificiale conosce lo schema di output. Sa quale tipo di JSON deve sputare in base alla query ricevuta. 

Ed è qualcosa che gli sviluppatori possono mettere a punto da soli. Se utilizzano questo sistema e ricevono un sacco di domande simili dagli utenti, come la maggior parte di loro, possono mettere a punto l'intelligenza artificiale in modo che dia sempre la risposta migliore e più appropriata.  

Utilizza JSON per quanta parte del processo?

L'inglese semplice non è affidabile, giusto? Non è abbastanza formale. Non è abbastanza rigoroso. 

Il linguaggio di programmazione è un linguaggio, ma è formale. È un linguaggio specifico per il dominio; si può usare solo entro certi limiti e ruoli sintattici.

Quindi il nostro strumento chiama la risposta in JSON invece che in inglese. Si tratta di un output JSON con uno schema JSON invece di un testo semplice.

Quando si effettua una richiesta di creazione di un modulo di lead in Hubspot, questo viene scritto in JSON e lo schema - anch'esso in JSON - fornisce tutte le proprietà da includere, come nome, azienda, ecc.

Quali sono le principali differenze tra la chiamata degli strumenti tra i Nodi autonomi e il modello o1?

Il nostro strumento di chiamata è altamente consapevole del contesto. Comprende tutti i vostri sistemi, tutte le azioni che possono intraprendere e il modo in cui i dati possono essere inseriti nello strumento successivo. E possiamo generare un blocco di codice che fornisce tutto questo insieme, oltre a dare una risposta, il tutto in un'unica chiamata a LLM .

In teoria, si può usare l'API di o1 per chiamare gli strumenti, ma ci sono dei vincoli su cosa si può chiamare lo strumento. Ma Botpress è costruito per questo. Abbiamo dei guardrail in cima ad altri LLMs, compreso GPT. 

I nodi autonomi possono anche parlare simultaneamente mentre chiamano gli strumenti, cosa che OpenAI non supporta attualmente. In questo modo si risparmia un viaggio di andata e ritorno verso il server e si ottiene una migliore esperienza di conversazione, in quanto gli utenti vengono informati prima che venga avviata un'attività di lunga durata.

La maggior parte delle organizzazioni è avvertita di non utilizzare ChatGPT con dati di lavoro protetti. Ci sono meno preoccupazioni per i nodi autonomi?

La nostra piattaforma è costruita per ambienti ad alto volume e bassa latenza e l'abbiamo progettata tenendo conto delle esigenze pratiche delle aziende.

Il vantaggio dei Nodi autonomi non è quello di aver creato un tipo di intelligenza artificiale completamente nuovo, ma di aver preso la tecnologia esistente e di aver applicato un'ingegneria intelligente per farla funzionare meglio per le esigenze aziendali. 

Disponiamo di sandbox sicure per le comunicazioni generate dall'intelligenza artificiale. Quando si utilizza un Nodo Autonomo, questo esegue queste sandbox segrete gratuitamente. Sono sicure e scalabili. E dopo, la sandbox viene distrutta. 

Si tratta di un isolamento virtuale con due livelli: check-in e check-out. È piuttosto complicato. Ma significa che possiamo eseguire codice generato da LLM su larga scala con rischi di sicurezza minimi.

Se gli sviluppatori o gli appassionati di IA vogliono provare l'Autonomous Node, cosa devono fare?

Abbiamo un generoso free-tier. Tutti i nostri utenti possono provarli. Abbiamo pensato che fosse una funzione troppo bella per non cancellarla. Quindi sì, basta creare un account gratuito su Botpress per poterlo provare di persona. 

Perfetto. Grazie mille per esservi seduti a collegare i punti tra le due funzioni. o1 sta facendo molto parlare di sé; è bello capire meglio come si collega a ciò che Botpress sta sviluppando.