- Agen LLM menggabungkan pemahaman bahasa, memori, penggunaan alat, dan perencanaan untuk melakukan tugas-tugas yang kompleks dan otonom di luar obrolan sederhana.
- Meningkatkan agen LLM melibatkan teknik seperti RAG, fine-tuning, n-shot prompting, dan rekayasa prompt canggih untuk akurasi dan keandalan yang lebih baik.
- Membangun agen LLM membutuhkan tujuan yang jelas, platform yang tepat, konfigurasi model, integrasi, pengujian, dan pemantauan yang berkelanjutan.
- Terlepas dari kekuatannya, agen LLM memiliki keterbatasan seperti halusinasi, risiko privasi, dan batasan konteks, sehingga desain dan pengawasan yang cermat tetap penting.
Anda mungkin sudah tidak asing lagi dengan topik terpanas tahun ini: Agen AI.
Sebagian besar agen AI ini adalah agenLLM . Mengapa?
"Dalam beberapa tahun terakhir, agen otonom telah berubah," jelas CEO Botpress Sylvain Perron. "Model yang mendasarinya telah meningkat. LLMs telah membuka lapisan penalaran dan abstraksi baru."
Dengan kekuatan LLMs, agen AI dapat dibangun untuk menyelesaikan segala jenis tugas berbasis bahasa atau penalaran.
Dan berkat bahasa dan kemampuan analitis mereka, mereka perlahan-lahan mengambil alih tempat kerja kerah putih, dengan lebih dari 80% perusahaan berencana untuk menggunakan agen AI dalam beberapa tahun ke depan.
Sementara kategori luas agen AI mencakup aplikasi non-linguistik (sistem rekomendasi konten, pengenalan gambar, kontrol robot, dll.), agen LLM biasanya merupakan perangkat lunak AI percakapan.
Apa yang dimaksud dengan agen LLM ?
LLM Agen adalah alat bertenaga AI yang menggunakan model bahasa yang besar untuk menafsirkan bahasa, melakukan percakapan, dan melakukan tugas.
Agen-agen ini dibangun dengan algoritme kompleks yang dilatih dengan data teks dalam jumlah besar, sehingga memungkinkan mereka untuk memahami dan menghasilkan bahasa dengan cara yang meniru komunikasi layaknya manusia.
LLM dapat diintegrasikan ke dalam agen AI, chatbot AI, asisten virtual, perangkat lunak pembuat konten, dan alat terapan lainnya.
Bagaimana cara kerja agen LLM ?
Agen LLM menggabungkan kekuatan LLM dengan pengambilan, penalaran, memori, dan penggunaan alat untuk menyelesaikan tugas secara mandiri. Mari kita uraikan apa yang dilakukan oleh masing-masing komponen ini.
Jika digabungkan, kemampuan ini memungkinkan agen LLM untuk menjalankan alur kerja multi-langkah yang kompleks dengan otonomi penuh.
Sebagai contoh:
- Agen penjualan B2B mengambil data CRM pada prospek, menganalisis perkembangan kesepakatan, mengingat interaksi sebelumnya dengan prospek sehingga dapat mempersonalisasi tindak lanjut, dan menggunakan email dan API kalender untuk mengirim dan menjadwalkan.
- Agen TI mengambil log sistem untuk mendiagnosis kesalahan, menganalisis langkah-langkah pemecahan masalah untuk strategi terbaik, mengingat apa yang berhasil pada masalah pengguna sebelumnya, dan menjalankan skrip untuk memulai kembali layanan atau membuat tiket.
4 fitur apa saja yang mendefinisikan agen LLM ?
Ada empat fitur utama dari agen LLM :
1. Model Bahasa
Model bahasa sering dianggap sebagai "otak" dari agen LLM . Kualitas dan skalanya secara langsung memengaruhi kinerja agen LLM .
Ini adalah algoritme canggih yang dilatih pada kumpulan data teks yang sangat besar, yang memungkinkannya untuk memahami konteks, mengenali pola, dan menghasilkan respons yang koheren dan relevan secara kontekstual.
- Mengidentifikasi dan mempelajari pola bahasa
- Dapatkan tingkat kesadaran kontekstual (berkat data pelatihannya yang luas)
- Beradaptasi di berbagai domain dan menangani berbagai topik
Model bahasa menentukan kedalaman, keakuratan, dan relevansi tanggapan, yang membentuk dasar kemampuan bahasa agen.
2. Memori
Memori mengacu pada kemampuan untuk menyimpan informasi dari interaksi sebelumnya, seperti fakta, preferensi pengguna, atau topik di seluruh sesi.
Hal ini meningkatkan pemahaman kontekstual agen dan membuat percakapan menjadi lebih berkesinambungan dan relevan.
Dalam beberapa pengaturan, memori memungkinkan agen untuk menyimpan informasi dari waktu ke waktu. Hal ini mendukung interaksi jangka panjang di mana agen "belajar" dari perilaku atau preferensi pengguna yang berulang - meskipun hal ini sering kali diatur untuk privasi dan relevansi.
3. Penggunaan Alat
Penggunaan alat ini membawa agen LLM dari percakapan ke tindakan.
Agen LLM dapat berintegrasi dengan aplikasi eksternal, basis data, atau API untuk menjalankan fungsi-fungsi tertentu.
Ini berarti mereka dapat mengambil informasi waktu nyata, menjalankan tindakan eksternal, atau mengakses basis data khusus, sehingga dapat memberikan informasi waktu nyata. Ini termasuk:
- Memanggil API
- Menarik data langsung, seperti pembaruan cuaca atau harga saham
- Menjadwalkan pertemuan atau janji temu
- Mengajukan pertanyaan ke basis data, seperti katalog produk atau dokumen kebijakan SDM
Penggunaan alat memungkinkan agen LLM untuk berpindah dari sistem berbasis pengetahuan yang pasif menjadi partisipan aktif yang mampu berinteraksi dengan sistem lain.
4. Perencanaan
Perencanaan adalah kemampuan agen LLM untuk memecah tugas-tugas kompleks menjadi serangkaian langkah yang dapat dikelola.
Agen LLM dapat merencanakan dengan atau tanpa umpan balik. Perbedaannya?
- Perencanaan tanpa umpan balik berarti agen LLM akan membuat rencana berdasarkan pemahaman awalnya. Cara ini lebih cepat dan sederhana, tetapi kurang bisa beradaptasi.
- Perencanaan dengan umpan balik berarti agen LLM dapat terus menyempurnakan rencananya, dengan menerima masukan dari lingkungannya. Hal ini lebih kompleks, tetapi membuatnya jauh lebih fleksibel dan meningkatkan kinerja dari waktu ke waktu.
Dengan perencanaan, agen LLM dapat membuat alur logis yang bergerak secara progresif menuju solusi, sehingga lebih efektif dalam menangani permintaan yang kompleks.
Apa saja 4 jenis agen LLM ?
.webp)
1. Agen Percakapan (mis. dukungan pelanggan & perolehan prospek)
Agen semacam ini terlibat dalam dialog alami dengan pengguna - mereka sering memberikan informasi, menjawab pertanyaan, dan membantu berbagai tugas.
Agen-agen ini mengandalkan LLMs untuk memahami dan menghasilkan respons seperti manusia.
Contoh: Agen dukungan pelanggan dan chatbot perawatan kesehatan
2. Agen Berorientasi Tugas (mis. asisten AI & alur kerja AI)
Berfokus pada pelaksanaan tugas-tugas tertentu atau mencapai tujuan yang telah ditetapkan, agen-agen ini berinteraksi dengan pengguna untuk memahami kebutuhan mereka dan kemudian menjalankan tindakan untuk memenuhi kebutuhan tersebut.
Contoh: Asisten AI dan bot SDM
3. Agen Kreatif (mis. alat pembuat konten)
Mampu menghasilkan konten orisinal dan kreatif seperti karya seni, musik, atau tulisan, agen-agen ini menggunakan LLMs untuk memahami preferensi dan gaya artistik manusia, sehingga memungkinkan mereka menghasilkan konten yang sesuai dengan audiens.
Contoh: Alat bantu pembuatan konten dan alat bantu pembuatan gambar (seperti Dall-E)
4. Agen Kolaboratif (mis. agen AI perusahaan)
Agen-agen ini bekerja bersama manusia untuk mencapai tujuan atau tugas bersama, memfasilitasi komunikasi, koordinasi, dan kerja sama antara anggota tim atau antara manusia dan mesin.
LLMs dapat mendukung agen kolaboratif dengan membantu pengambilan keputusan, membuat laporan, atau memberikan wawasan.
Contoh: Sebagian besar agen AI perusahaan dan chatbot manajemen proyek
Bagaimana perusahaan menggunakan agen LLM ?
Perusahaan mendapatkan manfaat dari agen LLM di area yang melibatkan pemrosesan dan respons terhadap bahasa alami, seperti menjawab pertanyaan, memberikan panduan, mengotomatiskan alur kerja, dan menganalisis teks.
Perusahaan sering menggunakan agen LLM untuk pemasaran, analisis data, kepatuhan, bantuan hukum, dukungan perawatan kesehatan, tugas-tugas keuangan, dan pendidikan.
Berikut adalah 3 kasus penggunaan paling populer dari agen LLM :
Dukungan Pelanggan
Menurut sebuah studi terhadap 167 perusahaan oleh pakar otomasi Pascal Bornet, layanan pelanggan adalah kasus penggunaan yang paling populer untuk adopsi agen LLM .
LLM Agen banyak digunakan dalam dukungan pelanggan untuk menangani FAQ, memecahkan masalah, dan memberikan bantuan 24/7.
Agen-agen ini dapat berinteraksi dengan pelanggan secara real time, menawarkan bantuan langsung atau meneruskan pertanyaan rumit ke agen manusia.
Lihat juga: Apa yang dimaksud dengan chatbot layanan pelanggan?
Penjualan dan Penciptaan Prospek
Dalam penjualan, agen LLM digunakan untuk menghasilkan prospek AI - mereka bahkan dapat mengkualifikasikan prospek setelahnya dengan melibatkan calon pelanggan dalam percakapan, menilai kebutuhan, dan mengumpulkan informasi yang berharga.
Mereka juga dapat mengotomatiskan interaksi tindak lanjut, mengirimkan rekomendasi yang dipersonalisasi atau informasi produk berdasarkan minat pelanggan.
Lihat juga: Cara menggunakan AI untuk Penjualan
Dukungan Internal: SDM dan TI
Untuk dukungan internal, agen LLM merampingkan proses SDM dan TI dengan menangani pertanyaan umum dari karyawan.
Faktanya, studi Bornet menemukan bahwa agen LLM dalam operasi internal adalah yang paling hemat biaya, menghemat 30-90% dari waktu yang sebelumnya diperlukan untuk menyelesaikan tugas-tugas internal.
Di bagian SDM, mereka menjawab pertanyaan tentang topik-topik seperti tunjangan, kebijakan cuti, dan penggajian, sementara di bagian TI, mereka menyediakan pemecahan masalah untuk masalah teknis dasar atau mengotomatiskan tugas-tugas rutin seperti penyiapan akun.
Hal ini memungkinkan tim SDM dan TI untuk fokus pada tanggung jawab yang lebih kompleks, alih-alih melakukan pekerjaan yang berulang-ulang.
Lihat juga: Agen AI terbaik untuk SDM
Cara Meningkatkan LLM Respon Agen
Jika Anda menyesuaikan LLM untuk proyek AI , Anda perlu mengubah respons standar yang akan diberikan model publik kepada pengguna. (Anda tidak dapat membuat chatbot merekomendasikan pesaing, bukan?) Anda mungkin juga ingin chatbot menggunakan logika bisnis khusus , sehingga bekerja lebih seperti karyawan terlatih daripada pembangkitan bahasa acak.
Ada empat konsep umum yang meningkatkan kualitas LLM tanggapan:
- RAG
- Penyetelan halus
- Petunjuk bidikan N
- Rekayasa yang cepat
1. Pembuatan dengan penambahan pengambilan
RAG adalah nama yang bagus untuk hal sederhana yang telah kita semua lakukan di ChatGPT: menempelkan beberapa teks ke ChatGPT dan mengajukan pertanyaan tentang hal tersebut.
Contoh umumnya adalah menanyakan apakah produk tertentu tersedia di situs e-commerce, dan chatbot akan mencari informasinya di katalog produk (alih-alih di internet).
Dalam hal kecepatan pengembangan, dan mendapatkan informasi waktu nyata, RAG harus dimiliki.
Hal ini biasanya tidak memengaruhi model mana yang akan Anda pilih, namun tidak ada yang menghentikan Anda untuk membuat endpoint API LLM yang menanyakan informasi dan menjawab serta menggunakan endpoint ini seolah-olah itu adalah endpoint-nya sendiri LLM.
Menggunakan RAG untuk chatbot berbasis pengetahuan sering kali lebih mudah untuk dipelihara, karena Anda tidak perlu menyempurnakan model dan terus memperbaruinya - yang juga dapat mengurangi biaya.
2. Penyetelan halus
Penyempurnaan melibatkan pemberian contoh kepada model Anda sehingga model tersebut dapat belajar bagaimana melakukan tugas tertentu dengan baik. Jika Anda ingin model tersebut unggul dalam berbicara tentang produk Anda, Anda dapat memberikan beberapa contoh panggilan penjualan terbaik perusahaan Anda.
Jika modelnya open source, tanyakan pada diri Anda sendiri apakah tim Anda memiliki kapasitas teknik yang cukup untuk menyempurnakan model.
Jika modelnya adalah sumber tertutup dan disediakan sebagai layanan - GPT-4 atau Claude - maka Anda biasanya dapat meminta teknisi Anda untuk menyempurnakan model khusus menggunakan API. Harga biasanya meningkat secara substansial melalui metode ini, tetapi hanya sedikit atau bahkan tidak ada pemeliharaan.
Tetapi, untuk banyak kasus penggunaan, penyempurnaan bukanlah langkah pertama untuk mengoptimalkan model Anda.
Contoh kasus yang bagus untuk menyempurnakan adalah membangun bot pengetahuan untuk pengetahuan statis. Dengan memberikan contoh pertanyaan dan jawaban, bot seharusnya dapat menjawabnya di masa mendatang tanpa perlu mencari jawabannya. Tetapi ini bukan solusi praktis untuk informasi waktu nyata.
3. Pembelajaran N-shot
Cara tercepat untuk memulai meningkatkan kualitas respons adalah dengan memberikan contoh dalam satu panggilan API LLM .
Zero-shot - memberikan nol contoh dari apa yang Anda cari dalam sebuah jawaban - adalah cara sebagian besar dari kita menggunakan ChatGPT. Menambahkan satu contoh (atau satu bidikan) biasanya cukup untuk melihat peningkatan substansial dalam kualitas jawaban.
Lebih dari satu contoh dianggap sebagai n-shot. N-shot tidak mengubah model, tidak seperti fine-tuning. Anda hanya memberikan contoh sebelum meminta tanggapan, setiap kali mengajukan pertanyaan.
Tetapi strategi ini tidak bisa digunakan secara berlebihan: model LLM memiliki ukuran konteks maksimum, dan harganya sesuai dengan ukuran pesan. Penyempurnaan dapat menghilangkan kebutuhan akan contoh n-shot, tetapi memerlukan lebih banyak waktu untuk memperbaikinya.
4. Teknik rekayasa cepat
Ada teknik rekayasa cepat lainnya, seperti rantai pemikiran, yang memaksa model untuk berpikir keras sebelum memberikan jawaban.
Ada juga rangkaian perintah , yang mendorong model untuk memecah tugas kompleks menjadi langkah-langkah yang lebih kecil dengan menjalankan beberapa perintah secara berurutan.
Strategi ini dapat meningkatkan kualitas dan keandalan respons secara signifikan — terutama untuk tugas yang membutuhkan banyak penalaran — tetapi sering kali mengorbankan respons yang lebih lama, penggunaan token yang lebih tinggi, dan kinerja yang lebih lambat.
Hal ini meningkatkan kualitas respons, tetapi dengan mengorbankan panjangnya respons, biaya dan kecepatan.
Cara Membuat LLM Agen dalam 6 Langkah
1. 1. Tentukan Tujuan
Langkah pertama dalam membangun agen AI atau chatbot adalah menentukan apa yang ingin Anda capai.
Perjelas apa yang Anda ingin dicapai oleh agen LLM , apakah itu membantu pertanyaan pelanggan, membuat konten, atau menangani tugas-tugas tertentu.
Mengidentifikasi tujuan yang jelas akan membentuk pengaturan dan konfigurasi agen.
2. Pilih Platform AI
Platform AI terbaik akan bergantung sepenuhnya pada tujuan dan kebutuhan Anda.
Pilih platform yang sesuai dengan kebutuhan Anda, dengan mempertimbangkan faktor-faktor seperti opsi penyesuaian, kemampuan integrasi, kemudahan penggunaan, dan dukungan.
Platform seharusnya:
- Mendukung kasus penggunaan yang Anda inginkan
- Tawarkan pilihan Anda LLMs
- Menawarkan kemampuan integrasi
3. Konfigurasikan LLM
Berdasarkan opsi platform, pilihlah LLM yang sudah dibuat sebelumnya atau sempurnakan model untuk tugas-tugas khusus jika perlu.
Banyak platform menawarkan model bahasa bawaan yang sudah terlatih dan siap digunakan.
Jika Anda tertarik untuk menyesuaikan penggunaan LLM Anda, baca artikel kami tentang memilih opsi LLM khusus untuk proyek AI Anda dari teknisi pertumbuhan kami, Patrick Hamelin.
4. Integrasikan Alat
Sebagian besar platform menyediakan opsi integrasi untuk alat eksternal. Hubungkan API, basis data, atau sumber daya apa pun yang perlu diakses oleh agen Anda, seperti data CRM atau informasi real-time.
5. Uji dan Sempurnakan
Menguji agen secara menyeluruh menggunakan alat pengujian bawaan platform. Sesuaikan parameter, frasa perintah, dan alur kerja berdasarkan hasil pengujian untuk memastikan agen berkinerja baik dalam skenario nyata.
6. Terapkan dan Pantau
Gunakan alat pemantauan platform untuk melacak interaksi dan kinerja agen setelah penerapan.
Kumpulkan wawasan dan sempurnakan pengaturan sesuai kebutuhan, dengan memanfaatkan mekanisme umpan balik yang disediakan oleh platform.
Menyebarkan agen LLM khusus
LLM mencapai tingkat adopsi massal di kalangan perusahaan - dalam layanan pelanggan, operasi internal, dan e-commerce. Perusahaan yang lambat dalam mengadopsi akan merasakan akibat dari ketinggalan gelombang AI.
Botpress adalah platform agen AI yang dapat dikembangkan tanpa henti yang dibangun untuk perusahaan. stack kami memungkinkan pengembang untuk membangun agen LLM dengan kemampuan apa pun yang Anda perlukan.
Rangkaian keamanan kami yang telah disempurnakan memastikan bahwa data pelanggan selalu terlindungi, dan sepenuhnya dikendalikan oleh tim pengembangan Anda.
Mulai membangun hari ini. Gratis.
Atau hubungi tim kami untuk mempelajari lebih lanjut.
Hal-hal yang sering ditanyakan
1. Apa perbedaan antara agen LLM dan chatbot?
Perbedaan antara agen LLM dan chatbot adalah chatbot mengikuti aturan atau alur percakapan yang telah ditetapkan, sedangkan agen LLM menggunakan model bahasa yang besar untuk memahami maksud, mengambil data, melakukan tindakan menggunakan alat atau API, dan secara dinamis mengadaptasi responsnya. Agen LLM dibuat untuk bernalar dan bertindak secara mandiri daripada sekadar membalas.
2. Apakah agen LLM dapat berfungsi tanpa koneksi internet?
Agen LLM berfungsi tanpa koneksi internet hanya jika model bahasa dan semua alat atau data yang diperlukan dihosting secara lokal di lokasi. Namun, sebagian besar agen LLM produksi bergantung pada API berbasis cloud atau layanan eksternal untuk tugas-tugas seperti pencarian terbaru atau akses CRM.
3. Apakah agen LLM selalu membutuhkan backend model bahasa?
Ya, agen LLM selalu membutuhkan backend model bahasa karena seluruh arsitektur bergantung pada kemampuan model untuk memproses input bahasa alami dan menghasilkan output. Tanpa LLM, agen tidak dapat memahami permintaan pengguna atau memutuskan apa yang harus dilakukan.
4. Apa saja batasan atau risiko utama penggunaan agen LLM saat ini?
Keterbatasan utama penggunaan agen LLM termasuk halusinasi (menghasilkan respons yang tidak akurat) dan potensi kebocoran data jika input/output tidak diamankan dengan baik. Agen ini juga membutuhkan desain dan pemantauan yang cermat untuk memastikan perilaku yang dapat diandalkan dan sesuai dalam penggunaan di dunia nyata.
5. Industri apa yang paling cepat mengadopsi agen LLM ?
Industri yang paling cepat mengadopsi agen LLM meliputi dukungan pelanggan, manajemen layanan TI, administrasi perawatan kesehatan, layanan keuangan, dan penjualan B2B, di mana tugas bahasa berulang dalam jumlah besar dapat diotomatisasi untuk efisiensi dan skala.
.png)
