Seri model o1 dari OpenAI yang telah lama dinantikan menjadi sorotan berkat kemampuannya dalam bernalar yang sangat maju, sebuah langkah besar dalam kecerdasan buatan.
Kemampuan bernalar pada o1 tidak jauh berbeda dengan fitur yang sudah dikenal oleh pengguna Botpress – Autonomous Node. Diluncurkan pada Juli 2024, Autonomous Node adalah yang pertama di antara platform agen AI.
Sylvain Perron, CEO Botpress sekaligus arsitek utama di balik Autonomous Nodes, duduk untuk menjelaskan persamaan dan perbedaan antara kedua entitas penalaran ini.
CEO Botpress Sylvain Perron membandingkan OpenAI o1 dan Autonomous Node
Ada beberapa kesamaan utama antara model o1 baru dari OpenAI dan Botpress Autonomous Nodes, benar begitu?
Benar, memang ada. Lucu juga melihat o1 akhirnya dirilis. Tapi yang perlu dicatat, kita sebenarnya tidak benar-benar membandingkan dua hal yang sama persis di sini.
OpenAI o1 jelas merupakan LLM, sedangkan Autonomous Nodes adalah fitur di platform. Bahkan, Anda bisa menghubungkan o1 ke Botpress dan menggunakannya bersama Autonomous Nodes Anda.
Namun keduanya sama-sama menggunakan penalaran chain-of-thought, yaitu pendekatan bottom-up untuk menentukan apa yang harus dilakukan dan dikatakan.
Bisa jelaskan apa itu chain-of-thought reasoning dan bagaimana bedanya dengan cara model bahasa biasanya menghasilkan respons?
Tentu – kebanyakan LLM menghasilkan respons dengan memprediksi kata berikutnya berdasarkan kata sebelumnya – mereka mulai dari kata pertama, lalu lanjut ke kata berikutnya, dan seterusnya. Cara ini cocok untuk pertanyaan sederhana, tapi sering gagal pada tugas yang lebih rumit dengan penalaran bertahap.
Penalaran chain-of-thought, sebaliknya, adalah ketika AI memecah tugas menjadi langkah-langkah kecil dan secara eksplisit bernalar di setiap langkah sebelum melanjutkan ke langkah berikutnya. Mirip seperti siswa yang diminta membangun jawaban secara bertahap di soal ujian STEM.
Misalnya, jika AI membuat lead di CRM – di mana ia harus memeriksa duplikasi, menetapkan lead, dan sebagainya – AI perlu menggunakan penalaran chain-of-thought untuk memikirkan setiap langkah, dan merencanakan seluruh urutan tindakan sebelum mulai mengeksekusi. AI tidak langsung mengisi formulir sebelum tahu itu duplikat; ia sudah tahu sebelum mulai.
Jadi sistem ini bisa menangani tugas yang lebih kompleks dengan banyak ketergantungan, tapi juga membuat prosesnya lebih lambat karena harus berhenti sejenak untuk berpikir, bukan langsung menghasilkan jawaban.
Baik o1 maupun Autonomous Nodes menggunakan penalaran chain-of-thought – apakah prosesnya sama di keduanya, atau ada perbedaan?
Ada beberapa persamaan dan juga perbedaan. Kami tetap menggunakan penalaran chain-of-thought, tapi karena kami membangun untuk kebutuhan nyata klien, kami mengoptimalkan kecepatan dan efisiensi dengan beberapa cara berbeda.
Pada Autonomous Nodes, kami merancang sistem untuk menangani beberapa aksi dalam satu panggilan LLM. Idenya adalah berpikir dan bertindak dalam satu proses, jadi tidak ada waktu yang terbuang.
Autonomous Nodes berpikir dan memberikan pembaruan kepada pengguna sehingga pengguna tidak hanya menunggu proses berpikirnya selesai. Ini lebih mirip percakapan alami, di mana seseorang tidak dibiarkan menunggu dalam ketidakpastian selama lebih dari 30 detik. Pengembang juga dapat melihat proses berpikir tersembunyi dari LLM dan menelusuri jika ada yang salah.
Sebaliknya, o1 hanya mengembalikan satu jawaban, dan visibilitas ke proses berpikirnya terbatas. OpenAI hanya memberikan ringkasan chain-of-thought tanpa memperlihatkannya, sehingga lebih sulit untuk menelusuri masalah.
Apakah ada perbedaan lain antara keduanya?
o1 membutuhkan pengembang atau platform untuk meng-host fungsi yang memanggil tool call. Setiap langkah memerlukan panggilan API terpisah, artinya model harus meminta satu aksi, menunggu hasilnya, lalu meminta aksi berikutnya. Dan Anda harus memanggil ini secara rekursif berulang kali. Ini membuat hambatan penggunaannya lebih tinggi, karena Anda harus menyediakan arsitektur fungsi yang menjalankan proses tersebut.
Autonomous Nodes melakukan semua ini secara otomatis di latar belakang.
Bagaimana perbandingan o1 dalam hal biaya dan kecepatan?
Misalkan Anda menggunakan LLM atau agen AI untuk membantu tugas di Hubspot, seperti mengobrol dengan pengunjung situs sebagai bagian dari AI lead generation.
Jika Anda meminta o1 mengisi formulir lead di Hubspot – misal, jika bisa terhubung tanpa konektor pihak ketiga – prosesnya akan memakan waktu 12 detik dan biayanya 5 kali lipat dibandingkan jika dilakukan di Botpress.
Sebagian kecepatan ini berasal dari desain platform kami yang berbasis skema, sehingga sistem sudah tahu sejak awal data apa yang dibutuhkan dan seperti apa strukturnya.
Jadi saat Anda bekerja dengan alat seperti HubSpot atau Salesforce, sistem sudah punya skema JSON yang telah ditentukan sebelumnya yang memberi tahu input apa saja yang diperlukan – seperti nama depan, email, nama perusahaan, dan sebagainya.
Ini memungkinkan Autonomous Nodes untuk bernalar sepanjang tugas dari awal, tanpa harus berhenti dan meminta informasi tambahan di setiap langkah.
Anda bisa mempercepat proses dan mengurangi langkah dengan memberikan konteks sendiri, tapi konsekuensinya Anda akan menghabiskan lebih banyak waktu membangun aplikasi berbasis o1. Jadi, itu juga berarti biaya pemeliharaan meningkat.
Anda menyebutkan keandalan yang lebih tinggi. Apa yang membuat Autonomous Nodes lebih andal dibandingkan o1?
Cara utama kami meningkatkan keandalan output adalah dengan menggabungkan penalaran chain-of-thought dengan protokol pemanggilan alat yang kami kembangkan.
Yang kami lakukan pada dasarnya adalah menciptakan lingkungan di mana AI bisa berpikir – dan semuanya dalam kode, bukan teks biasa. Sejujurnya, ini lebih cepat dan lebih andal daripada versi OpenAI, karena beberapa alasan.
Salah satunya, AI bisa berbicara secara bersamaan selama urutan aksi berlangsung. Ini tidak dilakukan oleh model OpenAI.
Alasan lain, AI tahu tentang skema output. Ia tahu jenis JSON apa yang harus dihasilkan berdasarkan permintaan yang diterima.
Dan ini bisa disesuaikan oleh pengembang sendiri. Jika mereka sering mendapat pertanyaan serupa dari pengguna, mereka bisa mengatur AI agar selalu memberikan jawaban terbaik dan paling sesuai.
Seberapa besar bagian dari prosesnya yang menggunakan JSON?
Bahasa Inggris biasa kurang andal, bukan? Tidak cukup formal. Tidak cukup ketat.
Bahasa pemrograman adalah bahasa, tapi sifatnya formal. Ini adalah bahasa khusus domain; hanya bisa digunakan dalam batasan dan aturan sintaks tertentu.
Jadi pemanggilan alat kami merespons dalam format JSON, bukan bahasa Inggris. Output-nya berupa JSON dengan skema JSON, bukan teks biasa.
Saat Anda meminta pembuatan formulir lead di Hubspot, permintaannya ditulis dalam JSON, dan skemanya – juga dalam JSON – berisi semua properti yang harus disertakan, seperti nama, perusahaan, dan sebagainya.
Apa perbedaan utama antara pemanggilan alat di Autonomous Nodes dan model o1?
Pemanggilan alat kami sangat peka terhadap konteks. Ia memahami semua sistem Anda, semua aksi yang bisa dilakukan, dan bagaimana data bisa diteruskan ke alat berikutnya. Kami bisa menghasilkan satu blok kode yang mencakup semuanya sekaligus, plus memberikan jawaban, hanya dalam satu panggilan LLM.
Secara teori, Anda bisa menggunakan API o1 untuk pemanggilan alat, tapi ada batasan pada apa yang bisa dipanggil. Namun Botpress memang dirancang untuk ini. Kami punya pengaman tambahan di atas LLM lain, termasuk GPT.
Autonomous Nodes juga bisa berbicara secara bersamaan saat memanggil alat, sesuatu yang saat ini belum didukung oleh OpenAI. Ini menghemat waktu komunikasi ke server dan memberikan pengalaman percakapan yang lebih baik, karena pengguna sudah diberi tahu sebelum tugas yang memakan waktu lama dimulai.
Kebanyakan organisasi diperingatkan untuk tidak menggunakan ChatGPT dengan data kerja yang aman. Apakah ada kekhawatiran yang lebih sedikit untuk Autonomous Nodes?
Platform kami dirancang untuk lingkungan dengan volume tinggi dan latensi rendah, serta dibangun dengan kebutuhan praktis bisnis sebagai prioritas.
Keunggulan Autonomous Nodes bukan karena kami menciptakan jenis AI baru sama sekali – tapi kami memanfaatkan teknologi yang sudah ada dan merekayasa dengan cerdas agar lebih sesuai untuk kebutuhan bisnis.
Kami menyediakan sandbox yang aman untuk komunikasi yang dihasilkan AI. Saat Anda menggunakan Autonomous Node, ia berjalan di sandbox rahasia ini secara gratis. Sandbox ini aman, bisa diskalakan. Dan setelah selesai, sandbox akan dihancurkan.
Ini adalah isolasi virtual dengan dua lapisan – check-in dan check-out. Cukup rumit memang. Tapi ini memungkinkan kami menjalankan kode yang dihasilkan LLM dalam skala besar dengan risiko keamanan yang minimal.
Jika pengembang atau penggemar AI ingin mencoba Autonomous Node, apa yang harus mereka lakukan?
Kami menyediakan paket gratis yang cukup besar. Semua pengguna kami bisa mencobanya. Kami merasa fitur ini terlalu keren untuk dibatasi. Jadi, cukup buat akun Botpress gratis dan Anda bisa mencobanya sendiri.
.webp)
