Botpress CEO di OpenAI o1 vs. Simpul Otonom

Ada beberapa kesamaan utama antara model o1 baru OpenAIdan Botpress Autonomous Nodes, bukan?

Tentu saja ada. Sangat lucu melihat o1 keluar. Tetapi satu hal penting yang perlu diperhatikan, bahwa kita tidak sedang membandingkan apel dengan apel di sini. 

OpenAI o1, jelas, adalah sebuah LLM, sedangkan Autonomous Node adalah fitur platform. Anda bahkan dapat mencolokkan o1 ke Botpress dan menggunakannya dengan Autonomous Node Anda.  

Namun keduanya menggunakan penalaran berantai, pendekatan dari bawah ke atas untuk mencapai kesimpulan tentang apa yang harus dilakukan, dan apa yang harus dikatakan.

Dapatkah Anda menjelaskan penalaran rantai pemikiran dan bagaimana hal ini berbeda dari cara model bahasa biasanya menghasilkan tanggapan?

Tentu saja - sebagian besar LLMs menghasilkan jawaban dengan memprediksi kata berikutnya berdasarkan kata sebelumnya - mereka menghasilkan kata pertama, lalu menggunakannya untuk menghasilkan kata berikutnya, dan seterusnya. Ini berhasil untuk menjawab pertanyaan-pertanyaan yang mudah, tetapi gagal total pada tugas-tugas yang lebih kompleks dengan penalaran multi-langkah.

Di sisi lain, penalaran rantai pemikiran adalah ketika AI memecah tugas menjadi langkah-langkah yang lebih kecil dan secara eksplisit memberikan alasan untuk setiap langkah sebelum melanjutkan ke langkah berikutnya. Hal ini mirip dengan bagaimana siswa diminta untuk membangun jawaban dalam soal ujian STEM. 

Misalnya, jika AI membuat prospek di CRM - di mana ia perlu memeriksa duplikasi, menetapkan prospek, dan seterusnya - AI perlu menggunakan penalaran berantai untuk memikirkan setiap langkah, dan merencanakan urutan tindakan lengkap sebelum mulai mengeksekusi. Ia tidak mulai mengisi formulir sebelum menyadari bahwa formulir tersebut adalah duplikat, ia tahu sebelum memulai.

Jadi sistem dapat menangani tugas yang lebih kompleks dengan banyak ketergantungan, tetapi juga memperlambatnya karena harus berhenti sejenak dan berpikir, daripada langsung menghasilkan dengan segera.

Baik o1 maupun Autonomous Node menggunakan penalaran rantai pemikiran - apakah prosesnya sama pada keduanya, atau apakah ada perbedaan di antara keduanya?

Ada beberapa kesamaan dan beberapa perbedaan. Kami masih menggunakan penalaran berantai, tetapi karena kami membangun untuk klien di dunia nyata, kami mengoptimalkan kecepatan dan efisiensi dengan beberapa cara yang berbeda. 

Dengan Autonomous Node, kami merancang sistem untuk menangani beberapa tindakan dalam satu panggilan LLM . Idenya adalah untuk berpikir dan bertindak dalam proses yang sama, sehingga kita tidak kehilangan waktu. 

Autonomous Node berpikir dan memberikan pembaruan kepada pengguna sehingga pengguna tidak hanya menunggu proses berpikirnya selesai. Hal ini lebih mirip dengan percakapan alami, di mana seseorang tidak akan dibiarkan menunggu dalam ketegangan selama lebih dari 30 detik. Pengembang dapat melihat ke dalam pikiran tersembunyi dari LLM dan memecahkan masalah apa yang salah.

Di sisi lain, o1 mengembalikan satu jawaban, dan hanya ada sedikit visibilitas ke dalam proses pemikirannya. OpenAI menyediakan ringkasan rantai pemikiran tanpa menunjukkannya, membuatnya lebih sulit untuk dipecahkan.

Apakah ada perbedaan lain di antara keduanya?

o1 membutuhkan pengembang atau platform untuk meng-host fungsi-fungsi yang memanggil pemanggilan alat. Setiap langkah memerlukan panggilan API terpisah, yang berarti model harus meminta satu tindakan, menunggu hasilnya, dan kemudian memanggil tindakan berikutnya. Dan Anda perlu memanggilnya secara rekursif lagi dan lagi dan lagi. Hal ini membuat penghalang untuk menggunakannya menjadi lebih tinggi, karena Anda harus menyediakan arsitektur yang mendasari fungsi yang berjalan. 

Autonomous Node melakukan hal ini secara otomatis di latar belakang.

Bagaimana perbandingan o1 dalam hal biaya dan kecepatan?

Katakanlah Anda menggunakan LLM atau agen AI untuk membantu tugas-tugas Hubspot, seperti mengobrol dengan pengunjung situs web sebagai cara untuk melakukan perolehan prospek AI.

Jika Anda meminta o1 untuk mengisi formulir prospek di Hubspot - maksud saya, dengan asumsi Anda dapat menghubungkannya tanpa konektor pihak ketiga - akan memakan waktu 12 detik dan biayanya 5x lebih mahal daripada jika Anda melakukannya di Botpress.

Sebagian dari kecepatan ini berasal dari desain berbasis skema platform kami, yang berarti sistem mengetahui sejak awal data apa yang dibutuhkan dan seperti apa struktur data tersebut. 

Jadi, ketika Anda bekerja dengan alat seperti HubSpot atau Salesforce, sistem sudah memiliki skema JSON yang sudah ditentukan sebelumnya yang memberitahukan input apa yang diperlukan - seperti nama depan, alamat email, nama perusahaan, dan lain-lain. 

Hal ini memungkinkan Autonomous Node untuk menalar seluruh tugas dari awal, tanpa harus berhenti dan meminta lebih banyak informasi di setiap langkah.

Anda bisa mengurangi kecepatan dan langkah-langkahnya dengan menyediakan konteks sendiri, tetapi dengan biaya lebih banyak menghabiskan waktu untuk membangun aplikasi berbasis o1. Jadi, itu juga merupakan masalah peningkatan biaya pemeliharaan. 

Anda menyebutkan keandalan yang tinggi. Apa yang membuat Autonomous Node lebih dapat diandalkan daripada o1?

Cara terbesar kami membuat output yang lebih dapat diandalkan adalah dengan memadukan rantai pemikiran penalaran dengan pemanggilan alat protokol yang kami buat. 

Apa yang kami lakukan pada dasarnya adalah menciptakan lingkungan di mana ia dapat berpikir - dan semuanya dalam bentuk kode, bukan teks biasa. Sejujurnya, ini lebih cepat dan lebih dapat diandalkan daripada versi OpenAI , karena beberapa alasan.

Salah satunya adalah ia dapat berbicara secara bersamaan, di seluruh rangkaian tindakan. Itu adalah sesuatu yang tidak dilakukan oleh model OpenAI . 

Alasan lainnya adalah karena AI tahu tentang skema keluaran. AI tahu jenis JSON apa yang harus dikeluarkan berdasarkan kueri yang diterimanya. 

Dan ini adalah sesuatu yang dapat disetel sendiri oleh pengembang. Jika mereka menggunakan ini, dan mereka mendapatkan banyak pertanyaan serupa dari pengguna, seperti kebanyakan orang, mereka dapat menyetel AI sehingga memberikan jawaban terbaik dan paling tepat setiap saat.  

Ini menggunakan JSON untuk berapa banyak prosesnya?

Bahasa Inggris biasa saja tidak bisa diandalkan, bukan? Tidak cukup formal. Tidak cukup ketat. 

Bahasa pemrograman adalah sebuah bahasa, tetapi formal. Ini adalah bahasa yang spesifik untuk domain tertentu; Anda hanya dapat menggunakannya dalam batas-batas tertentu dan peran sintaksis.

Jadi, alat kami memanggil balasan dalam JSON, bukan bahasa Inggris. Ini adalah keluaran JSON dengan skema JSON, bukan teks biasa.

Saat Anda membuat permintaan untuk membuat formulir prospek di Hubspot, formulir ini ditulis dalam JSON, dan skema - juga dalam JSON - memberikan semua properti yang perlu disertakan, seperti nama, perusahaan, dll.

Apa perbedaan utama antara pemanggilan alat antara Autonomous Node dan model o1?

Pemanggilan alat kami sangat sadar konteks. Alat ini memahami semua sistem Anda, semua tindakan yang dapat dilakukan, dan bagaimana data tersebut dapat dimasukkan ke dalam alat berikutnya. Dan kami dapat menghasilkan satu blok kode yang memberikan semua ini secara bersamaan, plus memberikan jawaban, semuanya dalam satu panggilan LLM .

Secara teori, Anda dapat menggunakan API o1 untuk melakukan pemanggilan alat, tetapi ada batasan-batasan yang dapat Anda gunakan untuk memanggil alat tersebut. Tetapi Botpress dibangun untuk itu. Kami memiliki pagar pembatas di atas LLMs lainnya, termasuk GPT. 

Autonomous Node juga dapat berbicara secara bersamaan saat memanggil alat, yang saat ini tidak didukung oleh OpenAI . Hal ini menghemat perjalanan pulang pergi ke server dan memberikan UX percakapan yang lebih baik, karena pengguna diberi tahu sebelum tugas yang sedang berjalan dimulai.

Sebagian besar organisasi diperingatkan agar tidak menggunakan ChatGPT dengan data pekerjaan yang aman. Apakah ada kekhawatiran yang lebih sedikit untuk Autonomous Node?

Platform kami dibuat untuk lingkungan bervolume tinggi, latensi rendah, dan kami telah merekayasa platform ini dengan mempertimbangkan kebutuhan praktis bisnis.

Keuntungan dari Autonomous Nodes bukanlah karena kami telah menciptakan jenis AI yang sama sekali baru - melainkan karena kami telah mengambil teknologi yang sudah ada dan menerapkan rekayasa cerdas untuk membuatnya bekerja lebih baik untuk kebutuhan bisnis. 

Kami memiliki sandbox yang aman untuk komunikasi yang menghasilkan AI. Ketika Anda menggunakan Autonomous Node, ia akan menjalankan kotak pasir rahasia ini secara gratis. Sandbox ini aman dan dapat diskalakan. Dan setelah itu, sandbox dihancurkan. 

Ini adalah isolasi virtual dengan dua lapisan - check-in dan check-out. Ini cukup rumit. Tetapi ini berarti kita bisa menjalankan kode yang dihasilkan LLM dalam skala besar dengan risiko keamanan minimal.

Jika pengembang atau penggemar AI ingin mencoba Autonomous Node, apa yang harus mereka lakukan?

Kami memiliki tingkat gratis yang murah hati. Semua pengguna kami dapat mencobanya. Kami pikir ini adalah fitur yang terlalu keren untuk ditutup-tutupi. Jadi ya, buat saja akun Botpress gratis dan Anda bisa melihatnya sendiri. 

Sempurna. Terima kasih banyak telah duduk untuk menghubungkan titik-titik di antara kedua fitur tersebut. o1 membuat banyak berita utama; sangat menyenangkan untuk lebih memahami bagaimana hal ini terkait dengan apa yang sedang dikembangkan oleh Botpress .