Salah satu soalan paling kerap kami terima daripada bakal pelanggan dan pengguna ialah “Di manakah penentu niat anda?”
Kami memang tidak ada. Dan ya, itu memang disengajakan.
Botpress menggunakan LLM untuk mengenal pasti niat pengguna. Kenapa? Jika anda membina chatbot atau agen AI, ia jauh lebih baik untuk pembangun dan juga pengguna.
Kami sangat yakin dengan pendirian ini, jadi saya ingin luangkan sedikit masa untuk jelaskan mengapa kami tidak menggunakan pengelas niat.
Ringkasan; Ia lebih mudah dibina, lebih tepat, dan lebih senang diselenggara.
Zaman Dahulu (sebelum LLM)
(Jika anda sudah tahu apa itu pengelas niat dan fungsinya, anda boleh abaikan bahagian ini.)
Pengelas niat ialah alat yang mengkategorikan input pengguna kepada niat yang telah ditetapkan berdasarkan data latihan.
Pembangun perlu mengumpul dan melabel banyak contoh untuk setiap kemungkinan niat, dengan harapan sistem dapat memadankan input pengguna dengan contoh-contoh ini.
Sebagai contoh, untuk chatbot e-dagang, pembangun mungkin tetapkan niat seperti "TrackOrder". Contoh ayat mereka mungkin termasuk: "Di mana bungkusan saya?" "Jejak pesanan saya," dan "Boleh semak status penghantaran untuk saya?"
Mereka sebenarnya melatih agen AI untuk mengenal pasti niat pengguna dengan memberikan contoh. Dan ya, semua itu perlu dimasukkan secara manual.
Nasib baik, keperluan untuk pemetaan manual ayat kepada niat ini hampir hilang apabila LLM semakin maju.
Namun, masih banyak platform AI perbualan yang menggunakannya. Kenapa? Kami akan terangkan nanti.
4 Kekurangan Pengelas Niat
Bukan sekadar prosesnya lebih panjang – pengelas niat bermasalah atas banyak sebab. Berikut beberapa daripadanya:
1. Kebergantungan pada data
Pengelas niat memerlukan data yang banyak. Ia perlukan set data contoh pengguna yang besar dan mewakili untuk setiap niat supaya berfungsi dengan tepat. Tanpanya, ia sukar untuk mengklasifikasikan input dengan betul.
Dan membina set data ini sangat memenatkan. Pembangun habiskan masa berjam-jam mengumpul dan melabel contoh, yang jelas sekali bukan penggunaan masa yang baik.
2. Sukar untuk diskalakan
Pengelas niat juga tidak direka untuk diskalakan. Menambah niat baru bermaksud perlu kumpul lebih banyak data dan latih semula model, yang cepat menjadi halangan dalam pembangunan. Selain itu, ia juga menyusahkan untuk diselenggara – kerana penggunaan bahasa sentiasa berubah, begitu juga ayat-ayat pengguna.
3. Kefahaman bahasa yang lemah
Pengelas niat tidak benar-benar memahami bahasa. Ia sukar dengan variasi bahasa, seperti:
- Sinonim
- Parafrasa
- Ayat yang samar-samar
- Kesalahan ejaan
- Ungkapan slanga yang tidak dikenali
- Input yang terputus-putus
Ia juga biasanya memproses setiap ayat secara berasingan, jadi ia tidak dapat mengekalkan konteks sepanjang perbualan.
4. Overfitting
Pengelas niat mudah mengalami overfitting, di mana ia hanya menghafal contoh latihan dan bukannya belajar corak umum.
Ini bermakna ia hanya berfungsi baik untuk ayat yang sama seperti dalam latihan, tetapi sukar untuk input baru atau berbeza. Ini menjadikannya terlalu rapuh untuk kegunaan profesional.
6 Sebab LLM Lebih Baik
LLM hampir menyelesaikan semua isu ini. Ia memahami konteks dan nuansa, dan pembangun tidak perlu isikan data latihan untuk mula menggunakannya. Agen berasaskan LLM boleh mula berbual sebaik sahaja ia dicipta.
1. Keupayaan pembelajaran tanpa contoh
LLM tidak perlukan contoh untuk belajar. Latihan awal yang meluas membolehkan ia memahami konteks, nuansa, dan niat tanpa perlu pembangun berikan contoh khusus.
2. Memahami nuansa
LLM sangat bagus di mana pengelas niat gagal. Ia boleh mentafsir peribahasa, sindiran, dan bahasa yang samar dengan mudah.
Latihan yang meluas pada pelbagai set data membolehkan ia memahami nuansa komunikasi manusia yang sering terlepas oleh pengelas niat.
3. Konteks yang lebih baik
LLM tidak lupa perbualan. Ia ingat apa yang telah disebut sebelum ini, menjadikan interaksi lebih lancar dan terasa lebih semula jadi.
Konteks ini juga membantu ia menyelesaikan kekeliruan. Walaupun input tidak jelas atau rumit, ia boleh memahami maksud dengan melihat keseluruhan perbualan.
4. Skalabiliti
LLM jauh lebih baik untuk diskalakan. Ia tidak perlu dilatih semula untuk topik baru, kerana pemahamannya tentang bahasa sangat luas.
Ini menjadikannya bersedia untuk hampir apa sahaja kegunaan terus dari awal. Untuk sistem berbilang agen, memang jelas LLM lebih sesuai berbanding pengelas niat.
5. Fleksibiliti
LLM tidak bergantung pada templat yang kaku. Fleksibilitinya membolehkan respons terasa semula jadi, pelbagai, dan sesuai dengan perbualan. Ia jauh lebih baik untuk pengguna berbanding pengelas niat yang rapuh.
6. Kurang data latihan diperlukan
LLM tidak perlukan data berlabel khusus untuk tugas untuk berfungsi. Keupayaannya datang daripada latihan awal yang besar pada pelbagai teks, jadi ia tidak bergantung pada set data yang dilabel dengan teliti.
Jika perlu, pembangun sentiasa boleh sesuaikan LLM untuk projek mereka. Contohnya, LLM boleh ditala dengan hanya sedikit data, jadi ia boleh cepat menyesuaikan diri untuk kegunaan atau industri tertentu.
Mengapa syarikat lain menggunakan penentu niat?
Jika LLM jauh lebih baik dalam mengklasifikasikan niat, mengapa masih banyak syarikat menggunakan penentu niat?
Jawapannya tidak begitu menyenangkan, dan mungkin kurang diplomatik: ia masalah teknologi lama.
Kebanyakan syarikat mempunyai kepentingan dalam menggunakan pengelas niat. Mereka telah membina pangkalan pemasangan yang besar yang bergantung padanya. Tiada sebab untuk mereka menggalakkan pengguna beralih daripada sistem yang telah dibina.
Tetapi Botpress utamakan LLM
LLM jauh lebih baik dalam mengenal pasti niat berbanding pengelas niat lama. Sebab itulah kami membina semula dari awal untuk utamakan LLM pada tahun 2020.
Kami tahu teknologi yang lebih baik telah tiba, dan daripada terus bergantung pada teknologi lama, kami memilih untuk melangkah ke hadapan.
Adakah kami akan menambah penentu niat?
Tidak. Kami sangat mementingkan pengalaman pembangun dan pengguna mereka.
Masa depan klasifikasi niat
Pengelas niat ialah alat masa lalu. Sebab itulah kami sepenuhnya menggunakan LLM.
Apabila LLM terus bertambah baik, begitu juga agen AI yang dibina di atas Botpress. Kami bersedia dan teruja untuk terus meningkatkan tahap AI perbualan.
Jika anda ingin membina agen AI fleksibel yang dikuasakan LLM, anda boleh mula membina di Botpress. Ia percuma.
