Siri model o1 OpenAI yang telah lama dinantikan menjadi tajuk utama kerana keupayaannya membuat penaakulan yang canggih, satu langkah besar dalam kecerdasan buatan.
Keupayaan penaakulan o1 tidak jauh berbeza daripada ciri yang sudah biasa bagi pengguna Botpress – Autonomous Node. Dilancarkan pada Julai 2024, Autonomous Node merupakan yang pertama seumpamanya di kalangan platform agen AI.
Sylvain Perron, CEO Botpress dan arkitek utama di sebalik Autonomous Nodes platform ini, duduk berbincang untuk menerangkan persamaan dan perbezaan antara kedua-dua entiti penaakulan ini.
CEO Botpress Sylvain Perron membandingkan OpenAI o1 dan Autonomous Node
Ada beberapa persamaan utama antara model o1 baharu OpenAI dan Botpress Autonomous Nodes, betul?
Memang ada. Ia agak lucu apabila o1 dilancarkan. Tapi satu perkara penting untuk diingat ialah kita sebenarnya tidak membandingkan dua perkara yang sama sepenuhnya di sini.
OpenAI o1 jelas merupakan LLM, manakala Autonomous Nodes ialah satu ciri dalam platform. Malah, anda boleh sambungkan o1 ke Botpress dan gunakannya bersama Autonomous Nodes anda.
Namun kedua-duanya menggunakan penaakulan berantai, iaitu pendekatan dari bawah ke atas untuk membuat keputusan tentang apa yang perlu dilakukan dan apa yang perlu dikatakan.
Bolehkah anda terangkan penalaran chain-of-thought dan bagaimana ia berbeza daripada cara model bahasa biasanya menjana respons?
Sudah tentu – kebanyakan LLM menjana respons dengan meramalkan perkataan seterusnya berdasarkan perkataan sebelumnya – mereka jana satu perkataan, kemudian gunakan itu untuk jana perkataan berikutnya, dan seterusnya. Ini berkesan untuk soalan mudah, tapi gagal teruk untuk tugasan lebih kompleks yang perlukan penaakulan berbilang langkah.
Penaakulan berantai pula berlaku apabila AI memecahkan satu tugasan kepada langkah-langkah kecil dan secara jelas berfikir melalui setiap satu sebelum meneruskan ke langkah seterusnya. Ia serupa dengan cara pelajar diminta membina jawapan dalam soalan peperiksaan STEM.
Sebagai contoh, jika AI sedang mencipta satu lead dalam CRM – di mana ia perlu semak pendua, tetapkan lead, dan sebagainya – ia perlu menggunakan penaakulan berantai untuk fikir setiap langkah, dan merancang urutan tindakan penuh sebelum mula melaksanakannya. Ia tidak mula mengisi borang sebelum menyedari ia adalah pendua, ia tahu sebelum bermula.
Jadi sistem boleh mengendalikan tugasan lebih kompleks dengan pelbagai kebergantungan, tetapi ia juga memperlahankan proses kerana perlu berhenti dan berfikir, bukan sekadar menjana serta-merta.
Kedua-dua o1 dan Autonomous Nodes menggunakan penaakulan chain-of-thought – adakah prosesnya sama atau ada perbezaan antara keduanya?
Ada persamaan dan juga perbezaan. Kami masih gunakan penaakulan berantai, tapi kerana kami membina untuk pelanggan sebenar, kami mengoptimumkan untuk kelajuan dan kecekapan dengan beberapa cara berbeza.
Dengan Autonomous Nodes, kami mereka sistem untuk mengendalikan pelbagai tindakan dalam satu panggilan LLM. Idenya ialah berfikir dan bertindak dalam proses yang sama, jadi kami tidak membuang masa.
Autonomous Nodes berfikir dan memberi kemas kini kepada pengguna supaya pengguna tidak sekadar menunggu proses fikirannya selesai. Ini lebih mirip perbualan semula jadi, di mana seseorang tidak dibiarkan menunggu dalam ketidaktentuan selama 30+ saat. Pembangun boleh melihat pemikiran tersembunyi LLM dan menyelesaikan masalah jika ada yang tidak kena.
Sebaliknya, o1 hanya mengembalikan satu jawapan, dan keterlihatan terhadap proses fikirannya terhad. OpenAI hanya menyediakan ringkasan penaakulan berantai tanpa menunjukkannya, jadi lebih sukar untuk menyelesaikan masalah.
Adakah terdapat perbezaan lain antara keduanya?
o1 memerlukan pembangun atau platform untuk menjadi hos fungsi yang memanggil tool call. Setiap langkah memerlukan panggilan API berasingan, bermakna model perlu meminta satu tindakan, menunggu hasilnya, kemudian memanggil untuk langkah seterusnya. Dan anda perlu memanggil ini secara rekursif berulang kali. Ini menjadikan halangan untuk menggunakannya lebih tinggi kerana anda mesti menyediakan seni bina fungsi asas yang menjalankan proses tersebut.
Autonomous Nodes melakukan semua ini secara automatik di belakang tabir.
Bagaimana perbandingan o1 dari segi kos dan kelajuan?
Katakan anda menggunakan LLM atau agen AI untuk membantu tugasan Hubspot, seperti berbual dengan pelawat laman web untuk penjanaan lead AI.
Jika anda meminta o1 mengisi borang lead di Hubspot – dengan andaian anda boleh menyambungkannya tanpa penyambung pihak ketiga – ia akan mengambil masa 12 saat dan kosnya 5 kali ganda berbanding jika anda lakukan di Botpress.
Sebahagian daripada kelajuan ini datang daripada reka bentuk platform kami yang berasaskan skema, bermakna sistem tahu lebih awal data apa yang diperlukan dan bagaimana strukturnya.
Jadi bila anda bekerja dengan alat seperti HubSpot atau Salesforce, sistem sudah ada skema JSON yang telah ditetapkan yang memberitahu input apa yang diperlukan – seperti nama pertama, alamat emel, nama syarikat dan sebagainya.
Ini membolehkan Autonomous Nodes berfikir untuk keseluruhan tugasan dari awal, tanpa perlu berhenti dan minta maklumat tambahan pada setiap langkah.
Anda boleh mengurangkan masa dan bilangan langkah dengan menyediakan konteks sendiri, tetapi ini akan menyebabkan anda mengambil lebih banyak masa untuk membina aplikasi berasaskan o1. Jadi, ini juga bermakna kos penyelenggaraan akan meningkat.
Anda menyebut tentang kebolehpercayaan yang lebih tinggi. Apa yang menjadikan Autonomous Nodes lebih boleh dipercayai berbanding o1?
Cara utama kami meningkatkan kebolehpercayaan output ialah dengan menggabungkan penaakulan berantai dengan protokol pemanggilan tool yang kami cipta.
Apa yang kami lakukan ialah mewujudkan persekitaran di mana ia boleh berfikir – dan semuanya dalam kod, bukan teks biasa. Sejujurnya ia lebih pantas dan boleh dipercayai berbanding versi OpenAI, atas beberapa sebab.
Salah satunya ialah ia boleh berkomunikasi secara serentak sepanjang urutan tindakan. Itu sesuatu yang model OpenAI tidak lakukan.
Satu lagi sebab ialah AI tahu tentang skema output. Ia tahu jenis JSON apa yang perlu dihasilkan berdasarkan pertanyaan yang diterima.
Dan ini boleh ditala oleh pembangun sendiri. Jika mereka menggunakan ini dan menerima banyak soalan serupa daripada pengguna, seperti kebanyakan orang, mereka boleh menala AI supaya ia sentiasa memberikan jawapan yang terbaik dan paling sesuai.
Ia menggunakan JSON untuk berapa banyak bahagian dalam proses itu?
Bahasa Inggeris biasa tidak boleh dipercayai, kan? Ia tidak cukup formal. Ia tidak cukup ketat.
Bahasa pengaturcaraan ialah satu bahasa, tetapi ia formal. Ia bahasa khusus domain; hanya boleh digunakan dalam batasan dan peraturan sintaks tertentu.
Jadi pemanggilan tool kami membalas dalam JSON dan bukan Inggeris. Ia output JSON dengan skema JSON, bukan teks biasa.
Apabila anda buat permintaan untuk cipta borang lead di Hubspot, ia ditulis dalam JSON, dan skemanya – juga dalam JSON – menyenaraikan semua sifat yang perlu dimasukkan, seperti nama, syarikat dan sebagainya.
Apa perbezaan utama antara pemanggilan tool dalam Autonomous Nodes dan model o1?
Pemanggilan tool kami sangat peka dengan konteks. Ia faham semua sistem anda, semua tindakan yang boleh diambil, dan bagaimana data itu boleh digunakan untuk tool seterusnya. Kami boleh jana satu blok kod yang merangkumi semua ini, serta memberikan jawapan, semuanya dalam satu panggilan LLM.
Secara teori, anda boleh gunakan API o1 untuk pemanggilan tool, tetapi ada had pada apa yang boleh dipanggil. Tetapi Botpress memang dibina untuk tujuan ini. Kami ada kawalan tambahan di atas LLM lain, termasuk GPT.
Autonomous Nodes juga boleh bercakap serentak semasa memanggil tool, sesuatu yang belum disokong oleh OpenAI. Ini menjimatkan satu pusingan ke pelayan dan memberikan pengalaman perbualan yang lebih baik, kerana pengguna dimaklumkan sebelum tugasan yang mengambil masa lama dimulakan.
Kebanyakan organisasi diingatkan supaya tidak menggunakan ChatGPT dengan data kerja yang selamat. Adakah terdapat kurang kebimbangan untuk Autonomous Nodes?
Platform kami dibina untuk persekitaran trafik tinggi dan kependaman rendah, dan kami merekanya dengan mengambil kira keperluan praktikal perniagaan.
Kelebihan Autonomous Nodes bukanlah kerana kami mencipta AI jenis baharu sepenuhnya – sebaliknya kami mengambil teknologi sedia ada dan mengaplikasikan kejuruteraan yang bijak supaya ia berfungsi lebih baik untuk keperluan perniagaan.
Kami ada sandbox selamat untuk AI menjana komunikasi. Bila anda gunakan Autonomous Node, ia jalankan sandbox rahsia ini secara percuma. Ia selamat, ia boleh diskala. Dan selepas itu, sandbox tersebut akan dimusnahkan.
Ini adalah pengasingan maya dengan dua lapisan – daftar masuk dan daftar keluar. Ia agak rumit. Tetapi ini membolehkan kami menjalankan kod yang dijana LLM secara besar-besaran dengan risiko keselamatan yang minimum.
Jika pembangun atau peminat AI ingin mencuba Autonomous Node, apa yang perlu mereka lakukan?
Kami menawarkan pelan percuma yang sangat bermurah hati. Semua pengguna kami boleh mencubanya. Kami rasa ciri ini terlalu menarik untuk dihadkan. Jadi, hanya perlu membuat akaun Botpress secara percuma dan anda boleh mencubanya sendiri.
.webp)
