Nag-ingay ang matagal nang hinihintay na o1 model series ng OpenAI dahil sa napakahusay nitong kakayahan sa pangangatwiran, isang malaking hakbang sa larangan ng artipisyal na intelihensiya.
Ang kakayahan ng o1 sa pangangatwiran ay hindi nalalayo sa tampok na pamilyar na sa mga gumagamit ng Botpress – ang Autonomous Node. Inilunsad noong Hulyo 2024, ang Autonomous Node ang kauna-unahan sa ganitong uri sa mga AI agent platform.
Si Sylvain Perron, CEO ng Botpress at pangunahing arkitekto ng Autonomous Nodes ng platform, ay nagbigay-linaw tungkol sa mga pagkakatulad at pagkakaiba ng dalawang sistemang ito ng pangangatwiran.
Ikinumpara ni Botpress CEO Sylvain Perron ang OpenAI o1 at ang Autonomous Node
May ilang malalaking pagkakatulad ang bagong o1 model ng OpenAI at ang Botpress Autonomous Nodes, tama?
Oo, meron talaga. Nakakatuwang makita na lumabas ang o1. Pero mahalagang tandaan na hindi talaga magkapareho ang pinagkukumpara natin dito.
Ang OpenAI o1 ay, malinaw naman, isang LLM, habang ang Autonomous Nodes ay bahagi ng platform. Pwede mo pa ngang ikabit ang o1 sa Botpress at gamitin ito kasama ng iyong Autonomous Nodes.
Pero pareho silang gumagamit ng chain-of-thought reasoning, isang paraan ng pag-iisip mula sa maliliit na hakbang pataas para magpasya kung ano ang dapat gawin at sabihin.
Maaari mo bang ipaliwanag ang chain-of-thought reasoning at paano ito naiiba sa karaniwang paraan ng pagbuo ng sagot ng mga language model?
Siyempre – karamihan sa mga LLM ay bumubuo ng sagot sa pamamagitan ng paghula ng susunod na salita base sa nauna – inuuna ang unang salita, tapos susunod ang kasunod, at paulit-ulit. Epektibo ito sa mga simpleng tanong, pero hindi ito sapat kapag mas kumplikado na ang gawain na may maraming hakbang.
Ang chain-of-thought reasoning naman ay kapag hinahati ng AI ang isang gawain sa maliliit na bahagi at malinaw na pinag-iisipan ang bawat isa bago magpatuloy. Parang sa mga estudyante na kailangang ipaliwanag ang bawat hakbang sa isang problema sa STEM exam.
Halimbawa, kung ang AI ay gagawa ng lead sa CRM – kailangan nitong mag-check ng duplicate, magtalaga ng lead, at iba pa – kailangan nitong gamitin ang chain-of-thought reasoning para pag-isipan ang bawat hakbang at magplano ng buong sunod-sunod na aksyon bago magsimula. Hindi ito agad maglalagay ng impormasyon sa form hangga't hindi nito natitiyak kung duplicate ito o hindi – alam na nito bago pa magsimula.
Kaya kayang gawin ng sistema ang mas komplikadong gawain na may maraming ugnayan, pero bumabagal din ito dahil kailangang huminto at mag-isip, hindi lang basta bumubuo ng sagot agad.
Parehong gumagamit ng chain-of-thought reasoning ang o1 at Autonomous Nodes – pareho ba ang proseso, o may mga pagkakaiba?
May mga pagkakatulad at may mga pagkakaiba rin. Patuloy naming ginagamit ang chain-of-thought reasoning, pero dahil para sa totoong kliyente ang ginagawa namin, in-optimize namin ito para sa bilis at episyensya sa iba't ibang paraan.
Sa Autonomous Nodes, dinisenyo namin ang sistema para kayang gawin ang maraming aksyon sa isang tawag lang sa LLM. Ang ideya ay mag-isip at kumilos sa iisang proseso para hindi nasasayang ang oras.
Nagbibigay ng update ang Autonomous Nodes habang nag-iisip, kaya hindi lang naghihintay ang user na matapos ang proseso. Mas kahawig ito ng natural na usapan, kung saan hindi basta pinaghihintay ang tao ng matagal. Puwedeng silipin ng mga developer ang 'nakatagong' iniisip ng LLM at ayusin kung may mali.
Samantalang ang o1 ay nagbibigay lang ng isang sagot, at limitado ang makita sa proseso ng pag-iisip nito. Nagbibigay ang OpenAI ng buod ng chain-of-thought pero hindi ipinapakita, kaya mas mahirap i-troubleshoot.
May iba pa bang pagkakaiba sa dalawa?
Kailangan ng o1 na may developer o platform na magho-host ng mga function para sa tool calls. Bawat hakbang ay hiwalay na API call, ibig sabihin, kailangang mag-request ang model ng isang aksyon, maghintay ng resulta, tapos tatawag ulit para sa susunod. At kailangan mong ulit-ulitin ito. Mas mataas ang hadlang sa paggamit nito dahil kailangan mong magbigay ng underlying function running architecture.
Ginagawa ito ng Autonomous Nodes nang awtomatiko sa background.
Paano ikinukumpara ang o1 sa gastos at bilis?
Halimbawa, gumagamit ka ng LLM o AI agent para tumulong sa mga gawain sa Hubspot, gaya ng pakikipag-chat sa mga bisita ng website para sa AI lead generation.
Kung ipapagawa mo sa o1 na punan ang lead form sa Hubspot – kung sakaling kaya mo itong ikonekta nang walang third-party connector – aabutin ito ng 12 segundo at limang beses na mas mahal kumpara kung gagawin mo ito sa Botpress.
Bahagi ng bilis ay dahil sa schema-based na disenyo ng aming platform, kaya alam na agad ng sistema kung anong datos ang kailangan at ano ang itsura ng datos na iyon.
Kaya kung gagamit ka ng tool tulad ng HubSpot o Salesforce, may nakahanda nang JSON schema ang sistema na nagsasabi kung anong mga input ang kailangan – gaya ng pangalan, email address, pangalan ng kumpanya, atbp.
Dahil dito, kayang pag-isipan ng Autonomous Nodes ang buong gawain mula umpisa, nang hindi kailangang huminto at magtanong ng dagdag na impormasyon sa bawat hakbang.
Puwede mong pabilisin at bawasan ang mga hakbang kung magbibigay ka ng context mismo, pero kapalit nito ay mas matagal ang paggawa ng o1-based na application. Kaya tataas din ang maintenance cost.
Binanggit mo ang mas mataas na pagiging maaasahan. Ano ang dahilan kung bakit mas maaasahan ang Autonomous Nodes kaysa sa o1?
Pinakamalaking paraan na pinatibay namin ang output ay sa pamamagitan ng pagsasama ng chain of thought reasoning at ng protocol tool calling na ginawa namin.
Ang ginawa namin ay gumawa ng kapaligiran kung saan makakapag-isip ito – at lahat ay nasa code, hindi plain text. Sa totoo lang, mas mabilis at mas maaasahan ito kaysa bersyon ng OpenAI, sa ilang dahilan.
Isa na rito, kaya nitong magsalita habang ginagawa ang sunod-sunod na aksyon. Hindi ito nagagawa ng OpenAI model.
Isa pa, alam ng AI ang output schema. Alam nito kung anong uri ng JSON ang dapat ilabas base sa query na natanggap.
At puwedeng i-tune ito ng mga developer mismo. Kung ginagamit nila ito at paulit-ulit ang tanong ng mga user, gaya ng karamihan, puwede nilang i-tune ang AI para laging magbigay ng pinakamahusay at pinaka-angkop na sagot.
Gaano kalaki ang bahagi ng proseso na gumagamit ng JSON?
Hindi talaga maaasahan ang plain English, di ba? Hindi ito pormal. Hindi ito mahigpit.
Ang programming language ay isang wika, pero pormal ito. Isa itong domain-specific na wika; may hangganan at tiyak na sintaks na sinusunod.
Kaya ang mga tool call namin ay sumasagot gamit ang JSON imbes na English. JSON output na may JSON schema, hindi plain text.
Kapag humiling ka na gumawa ng lead form sa Hubspot, nakasulat ito sa JSON, at ang schema – na JSON din – ay nagsasabi ng lahat ng property na kailangang isama, gaya ng pangalan, kumpanya, atbp.
Ano ang mga pangunahing pagkakaiba ng tool calling sa pagitan ng Autonomous Nodes at o1 model?
Ang tool calling namin ay napaka-context-aware. Naiintindihan nito ang lahat ng sistema mo, lahat ng aksyon na puwedeng gawin, at paano puwedeng gamitin ang datos sa susunod na tool. At kaya naming bumuo ng isang code block na kasama na lahat ng ito, pati ang sagot, sa isang tawag lang sa LLM.
Sa teorya, puwede mong gamitin ang o1 API para sa tool calling, pero may limitasyon kung ano ang puwedeng ipatawag. Pero ang Botpress ay talagang ginawa para dito. May mga guardrail kami sa ibabaw ng ibang LLM, kasama ang GPT.
Kaya rin ng Autonomous Nodes na magsalita habang tumatawag ng mga tool, na hindi sinusuportahan ng OpenAI sa ngayon. Nakakatipid ito ng isang round-trip sa server at nagbibigay ng mas maganda at tuloy-tuloy na karanasan sa user, dahil alam agad ng user kung may matagal na gawain na magsisimula.
Karamihan sa mga organisasyon ay pinapayuhang huwag gamitin ang ChatGPT sa sensitibong datos ng trabaho. Mas kaunti ba ang alalahanin sa Autonomous Nodes?
Ang platform namin ay ginawa para sa malakihang operasyon at mababang pagkaantala, at inangkop namin ito para sa praktikal na pangangailangan ng mga negosyo.
Ang bentahe ng Autonomous Nodes ay hindi dahil gumawa kami ng bagong uri ng AI – kundi dahil ginamit namin ang umiiral na teknolohiya at matalinong inhenyeriya para mas umangkop ito sa pangangailangan ng negosyo.
Mayroon kaming secure na sandbox para sa komunikasyong nililikha ng AI. Kapag gumamit ka ng Autonomous Node, tumatakbo ito sa mga lihim na sandbox nang libre. Ligtas ito, madaling palawakin. At pagkatapos, winawasak ang sandbox.
Ito ay isang virtual na paghihiwalay na may dalawang antas – pag-check in at pag-check out. Medyo komplikado ito. Pero ibig sabihin nito, makakapagpatakbo tayo ng malalaking LLM-generated na code na may kaunting panganib sa seguridad.
Kung gusto ng mga developer o AI enthusiast na subukan ang Autonomous Node, ano ang kailangang gawin?
Mayroon kaming malaking libreng bahagi. Lahat ng aming user ay puwedeng sumubok nito. Sa tingin namin, masyadong astig ang tampok na ito para hadlangan. Kaya, gumawa lang ng libreng Botpress account at puwede mo nang makita mismo.
.webp)
