- Agen LLM menggabungkan pemahaman bahasa, memori, penggunaan alat, dan perencanaan untuk menjalankan tugas kompleks secara mandiri, melampaui sekadar percakapan sederhana.
- Meningkatkan agen LLM melibatkan teknik seperti RAG, fine-tuning, n-shot prompting, dan rekayasa prompt lanjutan untuk akurasi dan keandalan yang lebih baik.
- Membangun agen LLM memerlukan tujuan yang jelas, platform yang tepat, konfigurasi model, integrasi, pengujian, dan pemantauan berkelanjutan.
- Meskipun sangat canggih, agen LLM tetap memiliki keterbatasan seperti halusinasi, risiko privasi, dan batasan konteks, sehingga desain dan pengawasan yang cermat tetap penting.
Anda mungkin sudah akrab dengan topik terpanas tahun ini: agen AI.
Sebagian besar agen AI ini adalah agen LLM. Mengapa?
"Dalam beberapa tahun terakhir, agen otonom telah berubah," jelas CEO Botpress Sylvain Perron. "Model dasarnya telah berkembang. LLM membuka lapisan baru penalaran dan abstraksi."
Dengan kekuatan LLM, agen AI dapat dibuat untuk menyelesaikan berbagai tugas berbasis bahasa atau penalaran.
Berkat kemampuan bahasa dan analitiknya, mereka perlahan mulai mengambil alih pekerjaan kantoran, dengan lebih dari 80% perusahaan berencana menggunakan agen AI dalam beberapa tahun ke depan.
Sementara kategori agen AI secara umum mencakup aplikasi non-linguistik (sistem rekomendasi konten, pengenalan gambar, kontrol robotik, dll.), agen LLM biasanya berupa perangkat lunak AI percakapan.
Apa itu agen LLM?
Agen LLM adalah alat berbasis AI yang menggunakan model bahasa besar untuk memahami bahasa, melakukan percakapan, dan menjalankan tugas.
Agen ini dibangun di atas algoritma kompleks yang dilatih dengan sejumlah besar data teks, sehingga mampu memahami dan menghasilkan bahasa yang menyerupai komunikasi manusia.
Agen LLM dapat diintegrasikan ke dalam agen AI, chatbot AI, asisten virtual, perangkat lunak pembuat konten, dan alat terapan lainnya.
Bagaimana cara kerja agen LLM?
Agen LLM menggabungkan kekuatan LLM dengan pengambilan data, penalaran, memori, dan penggunaan alat untuk menyelesaikan tugas secara mandiri. Mari kita uraikan fungsi masing-masing komponen ini.
Gabungan kemampuan ini memungkinkan agen LLM menjalankan alur kerja kompleks dan multi-langkah secara mandiri.
Contohnya:
- Seorang agen penjualan B2B mengambil data CRM tentang prospek, menganalisis perkembangan transaksi, mengingat interaksi sebelumnya dengan prospek agar dapat mempersonalisasi tindak lanjut, dan menggunakan API email serta kalender untuk mengirim dan menjadwalkan.
- Agen IT mengambil log sistem untuk mendiagnosis error, menganalisis langkah pemecahan masalah untuk strategi terbaik, mengingat solusi yang berhasil pada masalah pengguna sebelumnya, dan menjalankan skrip untuk me-restart layanan atau membuat tiket.
Apa 4 fitur utama agen LLM?
Ada empat fitur utama dari agen LLM:
1. Model Bahasa
Model bahasa sering dianggap sebagai "otak" dari agen LLM. Kualitas dan skalanya sangat memengaruhi performa agen LLM.
Ini adalah algoritma canggih yang dilatih pada dataset teks yang sangat besar, sehingga mampu memahami konteks, mengenali pola, dan menghasilkan respons yang koheren serta relevan.
- Mengidentifikasi dan mempelajari pola bahasa
- Memperoleh tingkat pemahaman konteks (berkat data pelatihan yang luas)
- Beradaptasi di berbagai domain dan menangani beragam topik
Model bahasa menentukan kedalaman, akurasi, dan relevansi respons, yang menjadi dasar kemampuan bahasa agen.
2. Memori
Memori mengacu pada kemampuan menyimpan informasi dari interaksi sebelumnya, seperti fakta, preferensi pengguna, atau topik lintas sesi.
Ini meningkatkan pemahaman konteks agen dan membuat percakapan lebih berkesinambungan dan relevan.
Dalam beberapa pengaturan, memori memungkinkan agen menyimpan informasi dari waktu ke waktu. Ini mendukung interaksi jangka panjang di mana agen "belajar" dari perilaku atau preferensi pengguna yang berulang – meskipun biasanya diatur demi privasi dan relevansi.
3. Penggunaan Alat
Penggunaan alat mengubah agen LLM dari sekadar percakapan menjadi aksi nyata.
Agen LLM dapat terintegrasi dengan aplikasi eksternal, basis data, atau API untuk menjalankan fungsi tertentu.
Artinya, mereka dapat mengambil informasi waktu nyata, menjalankan aksi eksternal, atau mengakses basis data khusus, sehingga mampu memberikan informasi terkini. Ini mencakup:
- Memanggil API
- Mengambil data langsung, seperti pembaruan cuaca atau harga saham
- Menjadwalkan pertemuan atau janji
- Menanyakan basis data, seperti katalog produk atau dokumen kebijakan HR
Penggunaan alat memungkinkan agen LLM bertransformasi dari sistem pasif berbasis pengetahuan menjadi peserta aktif yang dapat berinteraksi dengan sistem lain.
4. Perencanaan
Perencanaan adalah kemampuan agen LLM untuk memecah tugas kompleks menjadi serangkaian langkah yang dapat dikelola.
Agen LLM dapat merencanakan dengan atau tanpa umpan balik. Apa bedanya?
- Perencanaan tanpa umpan balik berarti agen LLM membuat rencana berdasarkan pemahaman awalnya. Ini lebih cepat dan sederhana, tapi kurang adaptif.
- Perencanaan dengan umpan balik berarti agen LLM dapat terus menyempurnakan rencana dengan mengambil masukan dari lingkungannya. Ini lebih kompleks, tapi jauh lebih fleksibel dan meningkatkan performa seiring waktu.
Dengan perencanaan, agen LLM dapat membuat alur logis yang bergerak secara bertahap menuju solusi, sehingga lebih efektif menangani permintaan kompleks.
Apa 4 tipe agen LLM?
.webp)
1. Agen Percakapan (misal, dukungan pelanggan & penghasil prospek)
Agen jenis ini berinteraksi dalam dialog alami dengan pengguna – biasanya memberikan informasi, menjawab pertanyaan, dan membantu berbagai tugas.
Agen ini mengandalkan LLM untuk memahami dan menghasilkan respons yang menyerupai manusia.
Contoh: Agen dukungan pelanggan dan chatbot kesehatan
2. Agen Berorientasi Tugas (misal, asisten AI & alur kerja AI)
Fokus pada pelaksanaan tugas tertentu atau pencapaian tujuan yang telah ditetapkan, agen ini berinteraksi dengan pengguna untuk memahami kebutuhan mereka lalu menjalankan aksi untuk memenuhinya.
Contoh: Asisten AI dan bot HR
3. Agen Kreatif (misal, alat pembuat konten)
Mampu menghasilkan konten orisinal dan kreatif seperti karya seni, musik, atau tulisan, agen ini menggunakan LLM untuk memahami preferensi manusia dan gaya artistik, sehingga dapat menghasilkan konten yang sesuai dengan audiens.
Contoh: Alat pembuat konten dan alat pembuat gambar (seperti Dall-E)
4. Agen Kolaboratif (misal, agen AI perusahaan)
Agen ini bekerja bersama manusia untuk mencapai tujuan atau tugas bersama, memfasilitasi komunikasi, koordinasi, dan kolaborasi antar anggota tim atau antara manusia dan mesin.
LLM dapat mendukung agen kolaboratif dengan membantu pengambilan keputusan, membuat laporan, atau memberikan wawasan.
Contoh: Kebanyakan agen AI perusahaan dan chatbot manajemen proyek
Bagaimana perusahaan menggunakan agen LLM?
Perusahaan mendapat manfaat dari agen LLM di bidang yang melibatkan pemrosesan dan respons bahasa alami, seperti menjawab pertanyaan, memberikan panduan, mengotomasi alur kerja, dan menganalisis teks.
Perusahaan sering menggunakan agen LLM untuk pemasaran, analisis data, kepatuhan, bantuan hukum, dukungan kesehatan, tugas keuangan, dan pendidikan.
Berikut 3 kasus penggunaan agen LLM yang paling populer:
Dukungan Pelanggan
Menurut studi terhadap 167 perusahaan oleh pakar otomasi Pascal Bornet, layanan pelanggan adalah kasus penggunaan paling populer untuk adopsi agen LLM.
Agen LLM banyak digunakan dalam dukungan pelanggan untuk menangani FAQ, memecahkan masalah, dan memberikan bantuan 24/7.
Agen ini dapat berinteraksi dengan pelanggan secara real time, memberikan bantuan langsung atau meneruskan pertanyaan kompleks ke agen manusia.
Lihat juga: Apa itu chatbot layanan pelanggan?
Penjualan dan Generasi Prospek
Dalam penjualan, agen LLM digunakan untuk pembuatan prospek AI — mereka bahkan dapat mengkualifikasi prospek dengan berinteraksi dengan calon pelanggan, menilai kebutuhan, dan mengumpulkan informasi penting.
Mereka juga dapat mengotomasi tindak lanjut, mengirim rekomendasi atau informasi produk yang dipersonalisasi sesuai minat pelanggan.
Lihat juga: Cara menggunakan AI untuk Penjualan
Dukungan Internal: HR dan IT
Untuk dukungan internal, agen LLM mempercepat proses HR dan IT dengan menangani pertanyaan umum dari karyawan.
Faktanya, studi Bornet menemukan bahwa agen LLM di operasi internal adalah yang paling hemat biaya, menghemat 30-90% waktu yang sebelumnya dibutuhkan untuk menyelesaikan tugas internal.
Di HR, mereka menjawab pertanyaan seputar tunjangan, kebijakan cuti, dan penggajian, sedangkan di IT, mereka membantu pemecahan masalah teknis dasar atau mengotomasi tugas rutin seperti pembuatan akun.
Hal ini memungkinkan tim HR dan IT untuk fokus pada tanggung jawab yang lebih kompleks, bukan pekerjaan berulang.
Lihat juga: Agen AI terbaik untuk HR
Cara Meningkatkan Respons Agen LLM
Jika Anda menyesuaikan LLM untuk proyek AI, Anda pasti ingin mengubah respons standar yang biasanya diberikan model publik. (Anda tentu tidak ingin chatbot Anda merekomendasikan pesaing, bukan?) Anda juga mungkin ingin menggunakan logika bisnis khusus, agar kinerjanya lebih mirip karyawan terlatih daripada sekadar generasi bahasa acak.
Ada empat konsep utama untuk meningkatkan kualitas respons LLM:
- RAG
- Fine tuning
- N-shot prompting
- Prompt engineering
1. Retrieval-augmented generation
RAG adalah istilah keren untuk hal sederhana yang sering kita lakukan di ChatGPT: menyalin teks ke ChatGPT lalu menanyakan sesuatu tentangnya.
Contoh umumnya adalah menanyakan apakah suatu produk tersedia di situs e-commerce, dan chatbot mencari informasi di katalog produk (bukan di internet secara umum).
Dari segi kecepatan pengembangan dan mendapatkan informasi real-time, RAG sangat penting.
Biasanya ini tidak memengaruhi model yang Anda pilih, tapi Anda tetap bisa membuat endpoint API LLM yang mengambil informasi dan menjawab, lalu menggunakan endpoint ini seolah-olah itu LLM tersendiri.
Menggunakan RAG untuk chatbot berbasis pengetahuan seringkali lebih mudah dipelihara, karena Anda tidak perlu fine-tuning model dan memperbaruinya – yang juga bisa mengurangi biaya.
2. Fine-tuning
Fine-tuning berarti memberikan contoh pada model agar belajar melakukan tugas tertentu dengan baik. Jika Anda ingin model mahir berbicara tentang produk Anda, Anda bisa memberikan banyak contoh panggilan penjualan terbaik perusahaan Anda.
Jika modelnya open source, tanyakan pada diri Anda apakah tim Anda memiliki kapasitas teknis yang cukup untuk melakukan fine-tuning model.
Jika modelnya closed source dan disediakan sebagai layanan – seperti GPT-4 atau Claude – biasanya engineer Anda dapat melakukan fine-tuning model kustom menggunakan API. Biayanya biasanya meningkat cukup banyak dengan cara ini, tetapi hampir tidak ada pemeliharaan.
Namun, untuk banyak kasus penggunaan, fine-tuning bukan langkah pertama untuk mengoptimalkan model Anda.
Kasus yang cocok untuk fine-tuning adalah membuat bot pengetahuan untuk informasi statis. Dengan memberikan contoh pertanyaan dan jawaban, model bisa menjawab tanpa mencari jawaban lagi. Tapi ini kurang praktis untuk informasi real-time.
3. N-shot learning
Cara tercepat untuk mulai meningkatkan kualitas respons adalah dengan memberikan contoh dalam satu panggilan API LLM.
Zero-shot – tanpa memberikan contoh apa pun tentang jawaban yang diinginkan – adalah cara kebanyakan orang menggunakan ChatGPT. Menambahkan satu contoh (one-shot) biasanya sudah cukup untuk melihat peningkatan kualitas respons.
Lebih dari satu contoh disebut n-shot. N-shot tidak mengubah model, berbeda dengan fine-tuning. Anda hanya memberikan contoh sebelum meminta jawaban, setiap kali bertanya.
Namun strategi ini tidak bisa digunakan berlebihan: model LLM punya batas ukuran konteks, dan biaya dihitung berdasarkan ukuran pesan. Fine-tuning bisa menghilangkan kebutuhan n-shot, tapi butuh waktu lebih lama untuk hasil yang tepat.
4. Teknik rekayasa prompt
Ada teknik prompt engineering lain, seperti chain-of-thought, yang membuat model berpikir keras sebelum menjawab.
Ada juga prompt chaining, yang mendorong model untuk memecah tugas kompleks menjadi langkah-langkah kecil dengan menjalankan beberapa prompt secara berurutan.
Strategi-strategi ini dapat meningkatkan kualitas dan keandalan respons secara signifikan — terutama untuk tugas yang membutuhkan penalaran — namun sering kali berdampak pada respons yang lebih panjang, penggunaan token lebih banyak, dan performa yang lebih lambat.
Ini meningkatkan kualitas respons, namun berdampak pada panjang, biaya, dan kecepatan respons.
Cara Membangun Agen LLM dalam 6 Langkah
1. Tentukan Tujuan
Langkah pertama dalam membangun agen AI atau chatbot adalah memastikan dengan tepat apa yang ingin Anda capai dengannya.
Perjelas apa yang ingin dicapai oleh agen LLM, apakah itu membantu pertanyaan pelanggan, membuat konten, atau menangani tugas tertentu.
Menetapkan tujuan yang jelas akan menentukan pengaturan dan konfigurasi agen.
2. Pilih Platform AI
Platform AI terbaik sepenuhnya bergantung pada tujuan dan kebutuhan Anda.
Pilih platform yang sesuai dengan kebutuhan Anda, pertimbangkan opsi kustomisasi, kemampuan integrasi, kemudahan penggunaan, dan dukungan.
Platform harus:
- Mendukung kasus penggunaan yang diinginkan
- Tawarkan LLM yang Anda pilih
- Tawarkan kemampuan integrasi
3. Konfigurasi LLM
Berdasarkan opsi platform, pilih LLM yang sudah tersedia atau lakukan fine-tuning model untuk tugas khusus jika diperlukan.
Banyak platform menawarkan model bahasa bawaan yang sudah dilatih dan siap digunakan.
Jika Anda ingin menyesuaikan penggunaan LLM, baca artikel kami tentang memilih opsi LLM kustom untuk proyek AI Anda dari engineer growth kami, Patrick Hamelin.
4. Integrasikan Alat
Sebagian besar platform menyediakan opsi integrasi untuk alat eksternal. Hubungkan API, basis data, atau sumber daya apa pun yang dibutuhkan agen Anda, seperti data CRM atau informasi waktu nyata.
5. Uji dan Sempurnakan
Uji agen secara menyeluruh menggunakan alat pengujian bawaan platform. Sesuaikan parameter, susunan prompt, dan alur kerja berdasarkan hasil pengujian agar agen bekerja optimal di situasi nyata.
6. Luncurkan dan Pantau
Gunakan alat pemantauan platform untuk melacak interaksi dan kinerja agen setelah diterapkan.
Kumpulkan wawasan dan lakukan penyesuaian sesuai kebutuhan, manfaatkan mekanisme umpan balik yang disediakan oleh platform.
Terapkan agen LLM khusus
Agen LLM kini diadopsi secara luas oleh perusahaan—dalam layanan pelanggan, operasi internal, dan e-commerce. Perusahaan yang lambat beradaptasi akan merasakan dampak dari melewatkan gelombang AI.
Botpress adalah platform agen AI yang sangat dapat diperluas dan dirancang untuk perusahaan. Teknologi kami memungkinkan pengembang membangun agen LLM dengan kemampuan apa pun yang Anda butuhkan.
Paket keamanan kami yang ditingkatkan memastikan data pelanggan selalu terlindungi dan sepenuhnya berada di bawah kendali tim pengembangan Anda.
Mulai bangun hari ini. Gratis.
Atau hubungi tim kami untuk informasi lebih lanjut.
FAQ
1. Apa perbedaan antara agen LLM dan chatbot?
Chatbot biasanya mengikuti skrip atau alur yang sudah ditentukan, sedangkan agen LLM lebih fleksibel. Agen LLM menggunakan model bahasa besar untuk bernalar, mengambil informasi, menggunakan alat, dan membuat keputusan.
2. Apakah agen LLM bisa berfungsi tanpa koneksi internet?
Agen LLM bisa berfungsi sebagian tanpa internet, jika semua yang dibutuhkan (seperti model bahasa dan data) berjalan secara lokal. Namun, kebanyakan masih bergantung pada layanan cloud untuk data waktu nyata, API eksternal, atau pengetahuan terbaru.
3. Apakah agen LLM selalu membutuhkan backend model bahasa?
Ya, itu memang inti utamanya. "LLM" pada agen LLM berarti large language model (model bahasa besar). Tanpa itu, agen kehilangan kemampuannya untuk memahami atau menghasilkan bahasa alami.
4. Apa keterbatasan atau risiko utama dalam menggunakan agen LLM saat ini?
Agen LLM bisa berhalusinasi, terjebak pada perintah yang ambigu, atau membocorkan informasi sensitif jika tidak diamankan dengan baik. Selain itu, kecerdasannya sangat bergantung pada data dan desain di baliknya.
5. Industri apa yang paling cepat mengadopsi agen LLM?
Layanan pelanggan, dukungan TI, kesehatan, dan penjualan adalah yang paling cepat mengadopsi. Intinya, di mana pun ada banyak pekerjaan berbasis bahasa yang berulang dan bisa diotomatisasi.
