Botpress CEO pada OpenAI o1 lwn. Nod Autonomi

Terdapat beberapa persamaan utama antara OpenAI model o1 baharu dan Botpress Nod Autonomi, betul?

Ada, pasti. Sangat kelakar melihat o1 keluar. Tetapi perkara besar yang perlu diperhatikan ialah kami tidak membandingkan epal dengan epal di sini. 

OpenAI o1 adalah, jelas, an LLM , manakala Nod Autonomi ialah ciri platform. Anda juga boleh pasangkan o1 ke dalam Botpress dan gunakannya dengan Nod Autonomi anda.  

Tetapi kedua-duanya menggunakan penaakulan rantaian pemikiran , pendekatan dari bawah ke atas untuk mencapai kesimpulan tentang perkara yang perlu dilakukan dan perkara yang perlu dikatakan.

Bolehkah anda menerangkan penaakulan rantaian pemikiran dan bagaimana ia berbeza daripada cara model bahasa biasanya menjana respons?

Sudah tentu - kebanyakannya LLMs hasilkan respons dengan meramalkan perkataan seterusnya berdasarkan yang sebelumnya – mereka menjana perkataan pertama, kemudian menggunakannya untuk menjana perkataan seterusnya, dan seterusnya dan seterusnya. Ini berfungsi untuk menjawab soalan mudah, tetapi ia gagal dalam tugas yang lebih kompleks dengan penaakulan berbilang langkah.

Penalaran rantaian pemikiran, sebaliknya, ialah apabila AI membahagikan tugasan kepada langkah-langkah yang lebih kecil dan membuat alasan secara eksplisit setiap satu sebelum meneruskan ke langkah seterusnya. Ia serupa dengan cara pelajar diminta untuk membina jawapan dalam masalah peperiksaan STEM. 

Contohnya, jika AI mencipta petunjuk dalam CRM – di mana ia perlu menyemak pendua, menetapkan petunjuk dan sebagainya – ia perlu menggunakan penaakulan rantaian pemikiran untuk memikirkan setiap langkah dan merancang keseluruhan urutan tindakan sebelum ia mula dilaksanakan. Ia tidak mula mengisi borang sebelum ia menyedari ia adalah pendua, ia tahu sebelum ia bermula.

Jadi sistem boleh mengendalikan tugas yang lebih kompleks dengan pelbagai kebergantungan, tetapi ia juga memperlahankannya kerana ia perlu berhenti seketika dan berfikir, dan bukannya menjana dengan segera.

Kedua-dua o1 dan Nod Autonomi menggunakan penaakulan rantaian pemikiran - adakah proses yang sama dalam kedua-duanya, atau adakah terdapat perbezaan antara keduanya?

Terdapat beberapa persamaan dan beberapa perbezaan. Kami masih menggunakan penaakulan rantaian pemikiran, tetapi kerana kami membina untuk pelanggan dunia sebenar, kami mengoptimumkan kelajuan dan kecekapan dalam beberapa cara yang berbeza. 

Dengan Nod Autonomi, kami mereka bentuk sistem untuk mengendalikan berbilang tindakan dalam satu panggilan LLM . Ideanya adalah untuk berfikir dan bertindak dalam proses yang sama, supaya kita tidak kehilangan masa. 

Nod Autonomi berfikir dan memberi kemas kini kepada pengguna supaya pengguna tidak hanya menunggu proses pemikirannya selesai. Ini lebih mirip dengan perbualan semula jadi, di mana seseorang tidak akan dibiarkan menunggu dalam ketegangan selama 30+ saat. Pembangun boleh melihat ke dalam pemikiran tersembunyi LLM dan selesaikan masalah yang berlaku.

Sebaliknya, o1 mengembalikan satu jawapan, dan terdapat keterlihatan terhad ke dalam proses pemikirannya. OpenAI menyediakan ringkasan rantaian pemikiran tanpa menunjukkannya, menjadikannya lebih sukar untuk menyelesaikan masalah.

Adakah terdapat perbezaan lain antara keduanya?

o1 memerlukan pembangun atau platform untuk mengehoskan fungsi yang memanggil panggilan alat. Setiap langkah memerlukan panggilan API yang berasingan, bermakna model perlu meminta satu tindakan, menunggu hasilnya, dan kemudian memanggil yang seterusnya. Dan anda perlu memanggil ini secara rekursif lagi dan lagi dan lagi. Ini menjadikan halangan untuk menggunakannya lebih tinggi, kerana anda mesti menyediakan fungsi asas yang menjalankan seni bina. 

Nod Autonomi melakukan ini secara automatik di latar belakang.

Bagaimanakah o1 membandingkan kos dan kelajuan?

Katakan anda menggunakan a LLM atau ejen AI untuk membantu dengan tugas Hubspot, seperti berbual dengan pelawat tapak web sebagai cara untuk melakukan penjanaan petunjuk AI .

Jika anda meminta o1 mengisi borang petunjuk di Hubspot – maksud saya, andaikan anda boleh menyambungkannya tanpa penyambung pihak ketiga – ia akan mengambil masa 12 saat dan kos 5x lebih mahal daripada jika anda melakukannya pada Botpress .

Sebahagian daripada kelajuan datang daripada reka bentuk berasaskan skema platform kami, yang bermaksud sistem mengetahui terlebih dahulu data yang diperlukan dan rupa struktur data tersebut. 

Oleh itu, apabila anda bekerja dengan alat seperti HubSpot atau Salesforce, sistem sudah mempunyai skema JSON yang dipratentukan yang memberitahunya input yang diperlukan – perkara seperti nama pertama, alamat e-mel, nama syarikat, dsb. 

Ini membolehkan Nod Autonomi membuat alasan melalui keseluruhan tugasan dari awal , tanpa perlu berhenti dan meminta maklumat lanjut pada setiap langkah.

Anda boleh mengurangkan kelajuan dan langkah dengan menyediakan konteks sendiri, tetapi dengan kos menghabiskan lebih banyak masa membina aplikasi berasaskan o1. Jadi itu juga soal peningkatan kos penyelenggaraan. 

Anda menyebut kebolehpercayaan yang lebih tinggi. Apakah yang menjadikan Nod Autonomi lebih dipercayai daripada o1?

Cara terbesar kami menjadikan output lebih dipercayai adalah dengan mencampurkan rantaian penaakulan pemikiran dengan panggilan alat protokol yang kami buat. 

Apa yang kami lakukan pada dasarnya adalah mewujudkan persekitaran yang boleh berfikir - dan semuanya dalam kod, bukan teks biasa. Sejujurnya ia lebih pantas dan lebih dipercayai daripada OpenAI versi, atas beberapa sebab.

Satu ialah ia boleh bercakap secara serentak, sepanjang urutan tindakan. Itu sesuatu OpenAI model tidak berfungsi. 

Sebab lain ialah AI mengetahui tentang skema output. Ia mengetahui jenis JSON yang sepatutnya dikeluarkan berdasarkan pertanyaan yang diterimanya. 

Dan ia adalah sesuatu yang boleh ditala sendiri oleh pembangun. Jika mereka menggunakan ini, dan mereka mendapat banyak soalan serupa daripada pengguna, seperti kebanyakannya, mereka boleh menala AI supaya ia memberikan jawapan yang terbaik dan paling sesuai setiap masa.  

Ia menggunakan JSON untuk berapa banyak proses?

Bahasa Inggeris biasa tidak boleh dipercayai, bukan? Ia tidak cukup formal. Ia tidak cukup ketat. 

Bahasa pengaturcaraan adalah bahasa, tetapi ia formal. Ia adalah bahasa khusus domain; anda hanya boleh menggunakannya dalam sempadan tertentu dan peranan sintaks.

Jadi alat kami memanggil balasan dalam JSON dan bukannya bahasa Inggeris . Ia adalah output JSON dengan skema JSON dan bukannya teks biasa.

Apabila anda membuat permintaan untuk membuat borang petunjuk dalam Hubspot, ia ditulis dalam JSON dan skema – juga dalam JSON – memberikan semua sifat yang perlu disertakan, seperti nama, syarikat, dsb.

Apakah perbezaan utama antara panggilan alat antara Nod Autonomi dan model o1?

Panggilan alat kami sangat memahami konteks. Ia memahami semua sistem anda, semua tindakan yang boleh diambil dan cara data itu boleh dimasukkan ke dalam alat seterusnya. Dan kita boleh menjana satu blok kod yang memberikan semua ini bersama-sama, serta memberikan jawapan, semuanya dalam satu LLM panggil.

Secara teorinya, anda boleh menggunakan API o1 untuk melakukan panggilan alat, tetapi terdapat kekangan untuk apa yang anda boleh panggil alat itu. Tetapi Botpress dibina untuknya. Kami mempunyai pagar di atas yang lain LLMs , termasuk GPT . 

Nod Autonomi juga boleh bercakap serentak semasa memanggil alat , yang bukan sesuatu yang begitu OpenAI kini menyokong. Ini menjimatkan perjalanan pergi dan balik ke pelayan dan memberikan UX perbualan yang lebih baik, kerana pengguna dimaklumkan sebelum tugas yang sudah lama dijalankan.

Kebanyakan organisasi diberi amaran supaya tidak menggunakan ChatGPT dengan data kerja yang selamat. Adakah terdapat kurang kebimbangan untuk Nod Autonomi?

Platform kami dibina untuk persekitaran volum tinggi, kependaman rendah, dan kami telah mereka bentuknya dengan mengambil kira keperluan praktikal perniagaan.

Kelebihan Nod Autonomi bukanlah kerana kami telah mencipta jenis AI yang benar-benar baharu – tetapi kami telah menggunakan teknologi sedia ada dan menggunakan kejuruteraan pintar untuk menjadikannya berfungsi dengan lebih baik untuk keperluan perniagaan. 

Kami mempunyai kotak pasir selamat untuk komunikasi penjanaan AI. Apabila anda menggunakan Nod Autonomi, ia menjalankan kotak pasir rahsia ini secara percuma. Ia selamat, ia boleh berskala. Dan selepas itu, kotak pasir dimusnahkan. 

Ini ialah pengasingan maya dengan dua lapisan - daftar masuk dan daftar keluar. Ia agak rumit. Tetapi ini bermakna kita boleh menjalankan secara besar-besaran LLM -kod yang dihasilkan dengan risiko keselamatan yang minimum.

Jika pembangun atau peminat AI ingin mencuba Nod Autonomi, apakah yang perlu mereka lakukan?

Kami mempunyai peringkat percuma yang murah hati. Semua pengguna kami boleh mencubanya. Kami fikir ia terlalu hebat bagi ciri untuk dipindah. Jadi ya, buat percuma sahaja Botpress akaun dan anda boleh lihat sendiri. 

Sempurna. Terima kasih banyak kerana duduk untuk menyambungkan titik antara dua ciri. o1 membuat banyak tajuk berita; ia bagus untuk memahami dengan lebih baik cara ia dipautkan kepada apa Botpress sedang membangun.