Memilih model bahasa besar yang akan menjalankan agen Anda adalah salah satu keputusan teknis terpenting dalam proyek Anda.
Pilihan ini memengaruhi seberapa baik agen Anda bekerja, berapa biaya operasionalnya, dan seberapa konsisten perilakunya dari waktu ke waktu.
Tidak ada satu model yang terbaik untuk semua kebutuhan. Pilihan yang tepat tergantung pada tujuan, anggaran, dan seberapa besar kendali yang Anda butuhkan atas hasilnya.
Tim yang terburu-buru mengambil keputusan ini sering kali menyesal di kemudian hari. Kuncinya adalah melakukan pengujian sejak awal, menentukan prioritas dengan jelas, dan menghindari ketergantungan pada satu vendor atau pengaturan saja.
Strategi LLM yang baik menjawab empat pertanyaan utama:
- Model apa yang Anda gunakan dan mengapa?
- Seberapa sering Anda akan menguji alternatif lain?
- Apa yang lebih penting untuk kebutuhan Anda: kecepatan atau kemampuan?
- Apa rencana cadangan Anda jika model gagal atau menurun?
Mari kita bahas satu per satu.
Memilih model adalah soal kecocokan, bukan soal gengsi. Beberapa model cepat dan murah, sementara yang lain lebih lambat tapi lebih baik dalam penalaran kompleks.
Jika kebutuhan Anda melibatkan interaksi singkat dengan pelanggan, latensi dan biaya mungkin lebih penting daripada kedalaman.
Jika kebutuhan Anda melibatkan penalaran bertahap atau ringkasan yang mendetail, kemampuan model bisa menjadi prioritas utama.
Pengujian sejak awal dan secara rutin membantu Anda melihat bagaimana model berperilaku dengan data spesifik Anda. Setiap LLM punya keunikan. Ada yang lebih baik dalam mengikuti instruksi, ada yang lebih konsisten dalam nada atau lebih presisi. Anda hanya bisa mengetahuinya lewat contoh nyata dari alur kerja Anda sendiri.
Perencanaan cadangan sama pentingnya. Bahkan API yang paling stabil pun kadang berubah perilaku, menurun, atau tidak dapat diakses. Selalu tentukan model cadangan dan kebijakan kapan harus beralih jika performa turun di bawah standar Anda. (Atau pastikan pembuat agen Anda menyediakan opsi cadangan otomatis, seperti yang dilakukan Botpress)
Di Terminal Roast, Ross, sang akuntan, menghitung angkanya. Tim ingin agen mereka menangani obrolan pelanggan sederhana tentang kopi dan kue tanpa penundaan yang terasa. Setelah mencoba beberapa opsi, mereka memutuskan menggunakan Gemini 2.5 Flash. Model ini cepat, murah, dan cukup mumpuni untuk percakapan santai dengan pelanggan.
Untuk cadangan, mereka mengatur sistem agar beralih ke model sekunder jika latensi atau tingkat kesalahan melebihi ambang batas mereka. Pilihan ini menjaga pengalaman pengguna tetap lancar dan biaya operasional tetap terkontrol.
Ross mencatat bahwa jika nanti mereka ingin memperluas agen ke tugas yang lebih kompleks, mereka bisa meninjau ulang pilihan modelnya.
Setiap keputusan model juga merupakan keputusan bisnis. Pilihan yang salah bisa menggandakan biaya operasional atau menyebabkan keterlambatan yang tidak perlu dalam interaksi pengguna. Pilihan yang tepat menyeimbangkan performa dan biaya sesuai pengalaman yang ingin Anda berikan.
Fleksibilitas juga sama pentingnya. Hindari membangun sistem Anda terlalu bergantung pada satu model sehingga sulit untuk beralih di kemudian hari. Gunakan lapisan abstraksi atau vendor yang mendukung banyak model agar Anda bisa beradaptasi seiring perubahan teknologi.
Fleksibilitas ini membuat sistem Anda tetap tangguh dan memastikan Anda tidak bergantung pada satu penyedia atau model harga saja.
Untuk membuat strategi LLM yang nyata, dokumentasikan tiga hal:
- Model utama Anda dan alasan pemilihannya.
- Batas performa dan biaya Anda untuk mempertimbangkan beralih model.
- Model cadangan Anda dan aturan kapan mengaktifkannya.
Tinjau kembali keputusan ini setidaknya setiap tiga bulan. Perubahan di ekosistem LLM sangat cepat, dan model baru sering kali mengungguli yang lama dengan biaya lebih rendah. Anggap ini sebagai evaluasi berkelanjutan, bukan pengaturan sekali saja.
Keputusan Terminal Roast untuk mengutamakan kecepatan dan prediktabilitas dibandingkan kemampuan mentah adalah kunci keberhasilan peluncuran pertama mereka. Ini membuat pelanggan puas, biaya terkendali, dan memungkinkan mereka mengumpulkan data nyata tanpa gangguan teknis.
Keseimbangan itu — memilih model yang sesuai, merencanakan perubahan, dan menjaga fleksibilitas — adalah yang membedakan proyek eksperimental dari proyek produksi.
Strategi LLM Anda harus selalu mendukung tujuan bisnis Anda, bukan menentukan arahnya.
Tindakan: Tuliskan model yang Anda rencanakan untuk digunakan, apa yang paling penting untuk kebutuhan Anda (kecepatan, biaya, atau kedalaman), dan apa opsi cadangan Anda. Tinjau pilihan ini secara berkala seiring Anda mengumpulkan data penggunaan.
