Mengapa kami menyingkirkan pengklasifikasi maksud

Salah satu pertanyaan paling umum yang kami terima dari calon pelanggan dan pengguna adalah, "Di mana pengklasifikasi maksud Anda?"

Kami tidak punya. Dan ya, itu memang sengaja. 

Botpress menggunakan LLMs untuk mengidentifikasi maksud pengguna. Mengapa? Ini jauh lebih baik bagi pembuat dan pengguna agen AI. 

Kami merasa sangat yakin dengan pendirian ini, jadi saya ingin meluangkan waktu beberapa menit untuk menjelaskan kurangnya pengklasifikasian niat kami. 

TLDR; Lebih mudah dibuat, lebih akurat, dan lebih sederhana dalam pemeliharaannya. 

Masa lalu (sebelumLLM)

(Jika Anda sudah mengetahui apa itu pengklasifikasi maksud dan apa fungsinya, silakan lewati bagian ini). 

Pengklasifikasi maksud adalah alat yang mengkategorikan input pengguna ke dalam maksud yang telah ditentukan berdasarkan data pelatihan.

Pengembang harus mengkurasi dan memberi label pada contoh-contoh yang tak terhitung jumlahnya untuk setiap tujuan yang mungkin, dengan harapan sistem dapat mencocokkan input pengguna dengan contoh-contoh ini. 

Misalnya, dengan chatbot e-commerce, pengembang dapat mendefinisikan maksud seperti "TrackOrder". Contoh ucapan mereka mungkin termasuk: "Di mana paket saya?" "Lacak pesanan saya," dan "Dapatkah Anda memeriksa status pengiriman untuk saya?"

Pada dasarnya, mereka melatih agen AI untuk mengenali maksud pengguna dengan memberikan contoh. Dan ya, mereka harus memasukkan semua itu dengan tangan.

Untungnya, kebutuhan untuk melakukan pemetaan manual dari kemungkinan ucapan ke suatu maksud telah lenyap seiring dengan semakin majunya LLMs .

Namun, banyak platform AI percakapan yang masih menggunakannya. Mengapa? Kita akan membahasnya. 

4 kelemahan dari pengklasifikasi maksud

Bukan hanya karena prosesnya yang lebih lama - pengklasifikasi maksud tidak bagus karena banyak alasan. Berikut ini beberapa di antaranya:

1. Ketergantungan data

Pengklasifikasi maksud sangat membutuhkan data. Mereka membutuhkan kumpulan data yang besar dan representatif dari contoh pengguna untuk setiap maksud agar dapat bekerja secara akurat. Tanpa itu, mereka akan kesulitan mengklasifikasikan input dengan benar.

Dan membangun kumpulan data ini adalah pekerjaan yang berat. Pengembang menghabiskan waktu berjam-jam untuk mengumpulkan dan melabeli contoh-contoh, yang - tidak diragukan lagi - bukan penggunaan waktu yang baik.

2. Skalabilitas terbatas 

Pengklasifikasi maksud juga tidak dibuat untuk skala besar. Menambahkan maksud baru berarti mengumpulkan lebih banyak data dan melatih ulang model, yang dengan cepat menjadi hambatan bagi pengembangan. Plus Selain itu, hal ini dapat menjadi masalah pemeliharaan - karena seiring dengan perkembangan penggunaan bahasa, begitu pula dengan ujarannya.

3. Pemahaman bahasa yang buruk 

Pengklasifikasi maksud tidak memiliki pemahaman bahasa yang benar. Mereka kesulitan dengan variasi bahasa, seperti:

• Sinonim
• Parafrase
• Frasa yang ambigu
• Kesalahan ketik 
• Ekspresi sehari-hari yang tidak dikenal
• Input yang terfragmentasi

Mereka juga biasanya memproses setiap ujaran secara terpisah, yang berarti mereka tidak memiliki kemampuan untuk mempertahankan konteks sepanjang percakapan. 

4. Pemasangan yang berlebihan

Pengklasifikasi intensi rentan terhadap overfitting, di mana mereka menghafal contoh-contoh pelatihan alih-alih mempelajari pola umum. 

Artinya, mereka bekerja dengan baik pada frasa yang sama persis dengan yang pernah mereka lihat, tetapi kesulitan dengan input yang baru atau bervariasi. Hal ini membuat mereka jauh lebih rapuh daripada yang sesuai untuk kasus penggunaan profesional.

6 alasan LLMs lebih baik 

LLMs menyelesaikan semua masalah ini. Mereka memahami konteks dan nuansa, dan para pengembang tidak perlu mengisinya dengan data pelatihan untuk memulainya. Agen berbasis LLM dapat mulai berbicara sejak dibuat. 

1. Kemampuan belajar tanpa hambatan 

LLMs tidak membutuhkan contoh untuk belajar. Pelatihan awal yang ekstensif berarti mereka sudah memahami konteks, nuansa, dan maksud tanpa perlu pengembang memberikan contoh spesifik.

2. Hal kecil yang disebut nuansa

LLMs unggul di mana pengklasifikasi maksud gagal. Mereka dapat menafsirkan idiom, sarkasme, dan bahasa yang ambigu dengan mudah. 

Pelatihan ekstensif mereka pada beragam set data memberi mereka kemampuan untuk memahami nuansa halus komunikasi manusia yang sering terlewatkan oleh pengklasifikasi maksud.

3. Konteks yang lebih baik

LLMs tidak kehilangan jejak percakapan. Mereka mengingat apa yang dikatakan sebelumnya, yang membuat interaksi mengalir secara alami dan terasa lebih koheren.

Konteks ini juga membantu mereka menjernihkan ambiguitas. Bahkan ketika masukan tidak jelas atau rumit, mereka dapat menyatukannya dengan melihat percakapan yang lebih luas.

4. Skalabilitas

LLMs 100% lebih baik dalam penskalaan. Mereka tidak perlu pelatihan ulang untuk mengambil topik baru, berkat pemahaman bahasa yang luas. 

Hal ini membuat mereka siap untuk menangani hampir semua kasus penggunaan langsung dari kotaknya. Untuk sistem multi-agen, sangat mudah untuk menggunakan LLM daripada pengklasifikasi maksud.

5. Fleksibilitas

LLMs tidak bergantung pada templat yang kaku. Fleksibilitasnya berarti tanggapan terasa alami, bervariasi, dan disesuaikan dengan percakapan. Ini adalah pengalaman yang jauh lebih baik bagi pengguna daripada pengklasifikasi maksud yang rapuh.

6. Lebih sedikit data pelatihan

LLMs tidak memerlukan data berlabel tugas khusus untuk menyelesaikan pekerjaan. Kekuatannya berasal dari pelatihan awal yang masif pada teks yang beragam, sehingga tidak bergantung pada kumpulan data yang dianotasi dengan susah payah.

Jika diperlukan, para pengembang selalu dapat menyesuaikan LLM untuk proyek mereka. Sebagai contoh, LLMs dapat disesuaikan dengan data yang minimal, sehingga dapat dengan cepat beradaptasi dengan kasus penggunaan atau industri khusus.

Mengapa perusahaan lain menggunakan pengklasifikasi maksud?

Pertanyaan yang bagus. Jika LLMs jauh lebih baik dalam mengklasifikasikan maksud, lalu mengapa begitu banyak perusahaan masih menggunakan pengklasifikasi maksud? 

Jawabannya tidak terlalu bagus, dan bukan jawaban yang paling diplomatis untuk dikatakan: ini adalah masalah teknologi lama. 

Sebagian besar perusahaan memiliki kepentingan untuk menggunakan pengklasifikasi maksud. Mereka telah membangun basis instalasi besar yang berjalan di atasnya. Mereka tidak memiliki alasan untuk menghalangi pengguna mereka dari sistem yang telah mereka bangun.

Tapi Botpress adalah LLM-pertama

LLMs jauh lebih baik dalam mengidentifikasi maksud daripada pengklasifikasi maksud kuno. Itulah mengapa kami menulis ulang dari awal menjadi LLM-pertama kali pada tahun 2020. 

Kami tahu bahwa teknologi yang lebih baik telah tiba, dan alih-alih berpegang teguh pada teknologi lama, kami berinvestasi untuk melakukan lompatan.

Apakah kita akan menambahkan pengklasifikasi maksud?

Tidak. Kami sangat peduli dengan pengalaman pembangun kami dan pengalaman pengguna.

Masa depan klasifikasi maksud

Pengklasifikasi maksud adalah alat bantu di masa lalu. Itulah mengapa kami menggunakan semuanya di LLMs. 

Seiring dengan LLMs yang terus menjadi lebih baik, begitu pula dengan agen AI yang dibangun di atas Botpress. Kami siap dan bersemangat untuk terus meningkatkan standar yang dapat dilakukan oleh AI percakapan.

Jika Anda ingin membangun agen AI fleksibel yang didukung oleh LLMs, jangan ragu untuk mulai membangunnya di Botpress. Ini gratis. 

Membangun Agen AI

Membangun agen otonom khusus

Mulai sekarang

Tidak diperlukan kartu kredit