Botpress Naka-on ang CEO OpenAI o1 kumpara sa Autonomous Nodes

Mayroong ilang mga pangunahing pagkakatulad sa pagitan OpenAI ang bagong modelo ng o1 at ang Botpress Autonomous Nodes, tama ba?

Mayroon, tiyak. Nakakatuwa na makitang lumabas si o1. Ngunit isang malaking bagay na dapat tandaan ay hindi namin lubos na ikinukumpara ang mga mansanas sa mga mansanas dito. 

OpenAI o1 ay, malinaw naman, isang LLM , habang ang Autonomous Nodes ay isang feature ng platform. Maaari mo ring isaksak ang o1 Botpress at gamitin ito sa iyong Autonomous Nodes.  

Ngunit pareho silang gumagamit ng chain-of-thought na pangangatwiran , isang bottom-up na diskarte upang magkaroon ng mga konklusyon tungkol sa kung ano ang gagawin, at kung ano ang sasabihin.

Maaari mo bang ipaliwanag ang chain-of-thought na pangangatwiran at kung paano ito naiiba sa paraan ng karaniwang pagbuo ng mga tugon ng mga modelo ng wika?

Siyempre – karamihan LLMs makabuo ng mga tugon sa pamamagitan ng paghula sa susunod na salita batay sa nauna – bubuo sila ng unang salita, pagkatapos ay ginagamit iyon upang makabuo ng susunod, at patuloy. Gumagana ito para sa pagsagot sa mga tuwirang tanong, ngunit ito ay nabigo nang husto sa mas kumplikadong mga gawain na may multi-step na pangangatwiran.

Ang chain-of-thought na pangangatwiran, sa kabilang banda, ay kapag hinati ng AI ang isang gawain sa mas maliliit na hakbang at tahasang nangangatuwiran sa bawat isa bago magpatuloy sa susunod. Ito ay katulad ng kung paano hinihiling sa mga mag-aaral na bumuo ng isang sagot sa isang problema sa pagsusulit sa STEM. 

Halimbawa, kung ang isang AI ay gumagawa ng lead sa isang CRM – kung saan kailangan nitong suriin kung may mga duplicate, italaga ang lead, at iba pa – kailangan nitong gumamit ng chain-of-thought reasoning para pag-isipan ang bawat hakbang , at magplano ng buong pagkakasunud-sunod ng mga aksyon bago ito magsimulang magsagawa. Hindi ito magsisimulang punan ang isang form bago ito napagtanto na ito ay isang duplicate, alam nito bago ito magsimula.

Kaya't ang system ay maaaring humawak ng mas kumplikadong mga gawain na may maraming mga dependency, ngunit ito rin ay nagpapabagal dahil kailangan itong mag-pause at mag-isip, sa halip na makabuo lamang kaagad.

Ang parehong o1 at Autonomous Nodes ay gumagamit ng chain-of-thought na pangangatwiran - ito ba ay parehong proseso sa pareho, o may mga pagkakaiba sa pagitan ng dalawa?

Mayroong ilang pagkakatulad at ilang pagkakaiba. Gumagamit pa rin kami ng chain-of-thought na pangangatwiran, ngunit dahil nagtatayo kami para sa mga real-world na kliyente, nag-o-optimize kami para sa bilis at kahusayan sa ilang iba't ibang paraan. 

Sa Autonomous Nodes, idinisenyo namin ang system para pangasiwaan ang maraming pagkilos sa isang tawag LLM . Ang ideya ay mag-isip at kumilos sa loob ng parehong proseso, para hindi tayo mawalan ng oras. 

Ang mga Autonomous Node ay nag-iisip at nagbibigay ng mga update sa user upang ang user ay hindi lamang naghihintay na matapos ang proseso ng pag-iisip nito. Ito ay mas katulad ng mga natural na pag-uusap, kung saan ang isang tao ay hindi maiiwang naghihintay sa suspense sa loob ng 30+ segundo. Maaaring tingnan ng mga developer ang mga nakatagong kaisipan ng LLM at i-troubleshoot kung ano ang nangyari.

Sa kabilang banda, ang o1 ay nagbabalik ng isang sagot, at may limitadong kakayahang makita sa proseso ng pag-iisip nito. OpenAI nagbibigay ng buod ng chain-of-thought nang hindi ito ipinapakita, na ginagawang mas mahirap i-troubleshoot.

Mayroon bang iba pang pagkakaiba sa pagitan ng dalawa?

Ang o1 ay nangangailangan ng isang developer o isang platform upang mag-host ng mga function na tumatawag sa mga tawag sa tool. Ang bawat hakbang ay nangangailangan ng isang hiwalay na tawag sa API, ibig sabihin, ang modelo ay kailangang humiling ng isang aksyon, maghintay para sa resulta, at pagkatapos ay tumawag para sa susunod. At kailangan mong tawagan ito nang paulit-ulit at muli at muli. Ginagawa nitong mas mataas ang hadlang na gamitin ito, dahil dapat mong ibigay ang pinagbabatayan na function na tumatakbo sa arkitektura. 

Awtomatikong ginagawa ito ng mga Autonomous Node sa background.

Paano maihahambing ang o1 sa gastos at bilis?

Sabihin nating gumagamit ka ng isang LLM o ahente ng AI upang tumulong sa mga gawain sa Hubspot, tulad ng pakikipag-chat sa mga bisita sa website bilang isang paraan upang makagawa ng AI lead generation .

Kung hiniling mo sa o1 na punan ang isang form ng lead sa Hubspot – ang ibig kong sabihin, sa pag-aakalang maaari mo itong ikonekta nang walang third-party na connector – aabutin ito ng 12 segundo at nagkakahalaga ng 5x na mas mataas kaysa kung gagawin mo ito sa Botpress .

Ang bahagi ng bilis ay nagmumula sa schema-based na disenyo ng aming platform, na nangangahulugang alam ng system nang maaga kung ano ang kailangan ng data at kung ano ang hitsura ng istruktura ng data na iyon. 

Kaya kapag nagtatrabaho ka sa isang tool tulad ng HubSpot o Salesforce, ang system ay mayroon nang paunang natukoy na JSON schema na nagsasabi dito kung anong mga input ang kinakailangan – mga bagay tulad ng unang pangalan, email address, pangalan ng kumpanya, atbp. 

Nagbibigay-daan ito sa Autonomous Nodes na mangatuwiran sa buong gawain mula sa simula , nang hindi kinakailangang huminto at humingi ng higit pang impormasyon sa bawat hakbang.

Maaari mong bawasan ang bilis at ang mga hakbang sa pamamagitan ng pagbibigay ng konteksto sa iyong sarili, ngunit sa gastos ng paggastos ng mas maraming oras sa pagbuo ng isang o1-based na application. Kaya iyon din ay isang bagay ng pagtaas ng gastos sa pagpapanatili. 

Binanggit mo ang pinataas na pagiging maaasahan. Ano ang ginagawang mas maaasahan ang Autonomous Nodes kaysa sa o1?

Ang pinakamalaking paraan na ginawa naming mas maaasahan ang output ay sa pamamagitan ng paghahalo ng chain of thought reasoning sa protocol tool na pagtawag na ginawa namin. 

Ang ginawa namin ay talagang lumikha ng isang kapaligiran kung saan maaari itong mag-isip - at lahat sa code, hindi plain text. Sa totoo lang ito ay mas mabilis at mas maaasahan kaysa sa OpenAI bersyon, para sa ilang kadahilanan.

Ang isa ay maaari itong makipag-usap nang sabay-sabay, sa buong pagkakasunud-sunod ng mga aksyon. Iyon ay isang bagay OpenAI hindi ginagawa ng modelo. 

Ang isa pang dahilan ay alam ng AI ang tungkol sa output schema. Alam nito kung anong uri ng JSON ang dapat nitong ilabas batay sa query na natatanggap nito. 

At ito ay isang bagay na maaaring ibagay ng mga developer sa kanilang sarili. Kung ginagamit nila ito, at nakakakuha sila ng maraming katulad na tanong mula sa mga user, tulad ng karamihan, maaari nilang ibagay ang AI upang maibigay nito ang pinakamahusay at pinakaangkop na sagot sa bawat oras.  

Gumagamit ito ng JSON para sa kung gaano karami ang proseso?

Ang simpleng Ingles ay hindi mapagkakatiwalaan, tama ba? Ito ay hindi sapat na pormal. Ito ay hindi sapat na mahigpit. 

Ang programming language ay isang wika, ngunit ito ay pormal. Ito ay isang wikang tukoy sa domain; maaari mo lamang itong gamitin sa loob ng ilang partikular na hangganan at syntax na tungkulin.

Kaya ang aming tool ay tumatawag ng tugon sa JSON sa halip na English . Ito ay JSON output na may JSON schema sa halip na plain text.

Kapag humiling ka na gumawa ng lead form sa Hubspot, nakasulat ito sa JSON, at ang schema – sa JSON din – ay nagbibigay ng lahat ng property na kailangan nitong isama, tulad ng pangalan, kumpanya, atbp.

Ano ang mga pangunahing pagkakaiba sa pagitan ng tool calling sa pagitan ng Autonomous Nodes at ng o1 na modelo?

Ang aming tool calling ay lubos na nakakaalam sa konteksto. Nauunawaan nito ang lahat ng iyong system, ang lahat ng pagkilos na maaari nitong gawin, at kung paano maipapadala ang data na iyon sa susunod na tool. At maaari kaming bumuo ng isang bloke ng code na nagbibigay ng lahat ng ito nang sama-sama, at nagbibigay ng sagot, lahat sa isa LLM tawag.

Sa teorya, maaari mong gamitin ang o1 API upang gawin ang tool calling, ngunit may mga hadlang sa kung ano ang maaari mong tawagan ang tool. Pero Botpress ay binuo para dito. Mayroon kaming mga guardrail sa ibabaw ng iba pa LLMs , kasama ang GPT . 

Ang Autonomous Nodes ay maaari ding makipag-usap nang sabay-sabay habang tumatawag sa mga tool , na hindi ganoong bagay OpenAI kasalukuyang sumusuporta. Ito ay nakakatipid ng isang round-trip sa server at nagbibigay ng isang mas mahusay na pakikipag-usap na UX, dahil ang mga gumagamit ay alam bago magsimula ang isang matagal na gawain.

Karamihan sa mga organisasyon ay binabalaan laban sa paggamit ChatGPT na may secure na data sa trabaho. Mayroon bang mas kaunting mga alalahanin para sa Autonomous Nodes?

Ang aming platform ay binuo para sa mataas na volume, mababang latency na kapaligiran, at ginawa namin ito nang nasa isip ang mga praktikal na pangangailangan ng mga negosyo.

Ang bentahe ng Autonomous Nodes ay hindi dahil nakagawa kami ng ganap na bagong uri ng AI – ito ay ang paggamit namin ng kasalukuyang teknolohiya at inilapat ang matalinong engineering upang gawin itong mas mahusay para sa mga pangangailangan ng negosyo. 

Mayroon kaming mga secure na sandbox para sa pagbuo ng AI na komunikasyon. Kapag gumamit ka ng Autonomous Node, pinapatakbo nito ang mga lihim na sandbox na ito nang libre. Sila ay ligtas, sila ay nasusukat. At pagkatapos, ang sandbox ay nawasak. 

Ito ay isang virtual na paghihiwalay na may dalawang layer - pag-check in at pag-check out. Ito ay medyo kumplikado. Ngunit nangangahulugan ito na maaari tayong magpatakbo ng malakihan LLM -generated code na may kaunting panganib sa seguridad.

Kung gustong subukan ng mga developer o AI enthusiast ang Autonomous Node, ano ang kailangan nilang gawin?

Mayroon kaming isang mapagbigay na free-tier. Lahat ng aming mga gumagamit ay maaaring subukan ang mga ito. Naisip namin na ito ay masyadong cool ng isang tampok sa gate. Kaya oo, gumawa lang ng libre Botpress account at makikita mo mismo. 

Perpekto. Maraming salamat sa pag-upo upang ikonekta ang mga tuldok sa pagitan ng dalawang feature. Ang o1 ay gumagawa ng maraming headline; napakahusay na mas maunawaan kung paano ito naka-link sa kung ano Botpress ay umuunlad.