Ajan projeniz için başarı kriterleri tanımlamazsanız, başarılı olmasının bir yolu yoktur.
Ekipler ajanı başlatır, biraz hareketlilik görür ve ardından gerçekten işe yarayıp yaramadığını takip etmeyi bırakır. Çalışan bir ajan, yalnızca çalışıyor olmasıyla yetinmez.
Belirlediğiniz bir hedefle uyumlu, ölçülebilir ve tekrarlanabilir sonuçlar üreten ajandır.
Bu ders, önemli olanı ölçme disiplinini geliştirmekle ilgilidir: gösteriş amaçlı metrikler değil, ajanınızın gerçekten iş yaptığını kanıtlayan göstergeler. Başarı, değerin net bir şekilde tanımlanmasıyla başlar.
Cevap doğrudan bir iş sonucuna bağlanmalıdır.
Örneğin:
- Destek taleplerinin yüzde 50’sini insan müdahalesi olmadan çözmek.
- Ortalama sepet büyüklüğünü yüzde 20 artırmak.
- Her hafta müşteri geri bildirimlerini toplamak ve özetlemek.
- Ortalama yanıt süresini yarıya indirmek.
Bu hedeflerin her biri basit, ölçülebilir ve gerçek bir operasyonel ihtiyaca uygundur. Bir hedef belirledikten sonra, ona ulaşıp ulaşmadığınızı doğrulayacak metrikler oluşturabilirsiniz.
Yapay zeka ajanları için en güvenilir metrikler beş kategoriye ayrılır:
- Kullanım — belirli bir dönemde kaç oturum veya etkileşim gerçekleştiği.
- Çözüm oranı — ajanın bir görevi başarıyla tamamlama sıklığı.
- Yönlendirme oranı — görüşmelerin ne sıklıkla insanlara devredildiği.
- İş etkisi — gelir, dönüşüm oranı veya memnuniyet puanları gibi sonuçlara bağlı metrikler.
- Sistem sağlığı — gecikme, maliyet ve hata oranı gibi performans verileri.
Beşini birden takip etmek, hem müşteri deneyimi hem de teknik güvenilirlik açısından dengeli bir bakış sunar. Bu metrikler doğru yönde ilerlediğinde, ajanınızın işini yaptığını bilirsiniz. İlerlemiyorsa, iyileştirme yapmak için gerekli bilgilere sahip olursunuz.
Terminal Roast’ta ekip, başarının izlenmesinden ortaklaşa sorumlu olmaya karar verir.
Sahibi Taryn, nitel sonuçlara — müşteri görüşü ve genel memnuniyete — odaklanır.
Teknik lider Gideon, kullanım, tamamlama oranı ve hatalar için analiz panosunu izler.
Barista Adrian, ajanın oluşturduğu haftalık özetleri inceleyerek geri bildirimin uygulanabilir olup olmadığını değerlendirir.
Birlikte, haftada bir kez bir araya gelip rakamlara bakar ve neyin düzeltilmesi gerektiğini tartışırlar. Eğer ajan çok fazla konuşmayı insanlara devretmeye başlarsa, istemlerin veya talimatların ince ayar gerektirip gerekmediğini kontrol ederler. Kullanım azalırsa, widget'ın sitede görünür ve çalışır durumda olup olmadığını doğrularlar.
Bu ortak sorumluluk, projeyi aktif tutar. Ekip, ajanı zamanla gelişen canlı bir sistem olarak görür; tek seferlik bir yapı olarak değil. Başarı kriterleri, nasıl tekrar edeceğinizi de belirler. Sadece yüzeysel verileri takip ederseniz, gerçek sorunların nerede olduğunu kaçırırsınız.
Örneğin, yüksek konuşma sayısı iyi görünebilir, ancak tamamlama oranları düşükse, ajan sessizce başarısız oluyordur. İyi tanımlanmış bir metrik çerçevesi bunu önler. Ne zaman yeniden eğitmeniz, iş akışlarını ne zaman iyileştirmeniz ve kullanıcı deneyimini ne zaman ayarlamanız gerektiğini size söyler.
Yayından sonra izleme için iyi bir yapı şöyle olabilir:
- Orijinal hedefinizle uyumlu 2–3 ana metrik tanımlayın.
- Ajan yayına alınmadan önce mevcut sürecinizi kullanarak başlangıç değerleri belirleyin.
- Müdahale için eşikler oluşturun — örneğin, yüzde 20’nin üzerinde bir yönlendirme oranı veya belirli bir sınırı aşan yanıt süresi gibi.
- İlk başta haftalık, sistem oturduktan sonra ise aylık olarak gözden geçirin.
Hem nicel hem de nitel verileri dahil edin. Sayılar sonuçları gösterir, insan geri bildirimi ise kaliteyi ortaya koyar.
Terminal Roast ekibi tekrarlanabilir bir sürece sahip olur.
Geri bildirim toplar, küçük güncellemeler yapar ve sonuçları takip ederler. Her iyileştirme, tahmine değil, kanıta dayanır.
Bu döngü (ölç, ayarla ve tekrarla), ajanlarını pilot projeden operasyonel bir araca dönüştürür. Bu, yapay zekâ ile ölçekli başarıya ulaşan her ekibin kullandığı döngüdür. Başarıyı tanımlamak sadece sonuçları ölçmek değildir. İlerlemenin hiç durmamasını sağlar.
Eylem: Ajanınız için iki başarı metriği yazın: biri kullanıcı deneyimine, diğeri iş etkisine bağlı olsun.
Ekibinizde bunları kimin izleyeceğine ve yayından sonra ne sıklıkla gözden geçireceklerine karar verin.
Ve işte bu kadar! Bu dersten çıkaracağınız tek bir şey varsa, o da inşa etmeye başlamadan önce iyi bir planlamanın sizi çok ileriye taşıyacağıdır. İyi bot geliştirmeler!
