Jika anda tidak menetapkan kriteria kejayaan untuk projek ejen anda, tiada cara untuk ia berjaya.

Pasukan melancarkan ejen, melihat sedikit aktiviti, dan kemudian kehilangan jejak sama ada ia benar-benar membantu perniagaan. Ejen yang berfungsi bukan sekadar yang berjalan, tetapi yang benar-benar memberi impak.

Ia adalah ejen yang menghasilkan hasil yang boleh diukur dan diulang yang selari dengan matlamat yang anda tetapkan.

Pelajaran ini mengenai membina disiplin untuk mengukur perkara yang penting: bukan metrik sia-sia, tetapi penunjuk yang membuktikan ejen anda benar-benar melakukan kerja. Kejayaan bermula dengan definisi nilai yang jelas.

Jawapannya harus berkait terus dengan hasil perniagaan.

Contohnya:

• Selesaikan 50 peratus permintaan sokongan tanpa penglibatan manusia.
• Tingkatkan saiz bakul purata sebanyak 20 peratus.
• Kumpul dan rumuskan maklum balas pelanggan setiap minggu.
• Kurangkan masa tindak balas purata kepada separuh.

Setiap matlamat ini adalah mudah, boleh diukur, dan selari dengan keperluan operasi sebenar. Setelah anda menetapkan matlamat, anda boleh menetapkan metrik untuk mengesahkan sama ada anda mencapainya.

Metrik paling boleh dipercayai untuk ejen AI terbahagi kepada lima kategori:

1. Penggunaan — berapa banyak sesi atau interaksi berlaku dalam tempoh tertentu.
2. Kadar penyelesaian — kekerapan ejen berjaya menyelesaikan tugas.
3. Kadar eskalasi — kekerapan perbualan diserahkan kepada manusia.
4. Kesan perniagaan — metrik yang berkait dengan hasil seperti pendapatan, kadar penukaran, atau skor kepuasan.
5. Kesihatan sistem — data prestasi seperti kependaman, kos, dan kadar ralat.

Menjejak kelima-lima metrik ini memberi gambaran seimbang tentang pengalaman pelanggan dan kebolehpercayaan teknikal. Apabila metrik ini bergerak ke arah yang betul, anda tahu ejen menjalankan tugasnya. Jika tidak, anda mempunyai maklumat yang diperlukan untuk membuat penambahbaikan.

Di Terminal Roast, pasukan bersetuju untuk berkongsi tanggungjawab memantau kejayaan.

Taryn, pemilik, memberi tumpuan kepada hasil kualitatif — sentimen pelanggan dan kepuasan keseluruhan.

Gideon, ketua teknikal, memantau papan pemuka analitik untuk penggunaan, kadar penyelesaian, dan ralat.

Adrian, barista, menyemak ringkasan mingguan yang dijana oleh ejen untuk melihat sama ada maklum balas boleh diambil tindakan.

Mereka berkumpul sekali seminggu untuk melihat angka dan berbincang apa yang perlu dilaraskan. Jika ejen mula menyerahkan terlalu banyak perbualan kepada manusia, mereka semak sama ada arahan atau prompt perlu diperhalusi. Jika penggunaan menurun, mereka pastikan widget kelihatan dan berfungsi di laman web.

Tanggungjawab bersama ini memastikan projek sentiasa aktif. Pasukan menganggap ejen sebagai sistem hidup yang bertambah baik dari masa ke masa, bukan sekadar binaan sekali sahaja. Kriteria kejayaan juga menentukan bagaimana anda membuat penambahbaikan. Jika anda hanya menjejak data permukaan, anda akan terlepas masalah sebenar.

Sebagai contoh, jumlah perbualan yang tinggi mungkin nampak baik, tetapi jika kadar penyiapan rendah, ejen sebenarnya gagal secara senyap. Rangka kerja metrik yang jelas mengelakkan perkara ini. Ia memberitahu anda bila perlu melatih semula, bila perlu memperhalusi aliran kerja, dan bila perlu menyesuaikan pengalaman untuk pengguna.

Berikut adalah struktur yang baik untuk pemantauan selepas pelancaran:

1. Tentukan 2–3 metrik utama yang selari dengan matlamat asal anda.
2. Tetapkan garis dasar menggunakan proses semasa anda sebelum ejen dilancarkan.
3. Tetapkan ambang untuk bila perlu campur tangan — seperti kadar eskalasi melebihi 20 peratus, atau masa tindak balas melebihi had yang ditetapkan.
4. Semak setiap minggu pada mulanya, kemudian bulanan selepas sistem stabil.

Gabungkan data kuantitatif dan kualitatif. Nombor menunjukkan hasil, dan maklum balas manusia menunjukkan kualiti.

Pasukan Terminal Roast akhirnya mempunyai proses yang boleh diulang.

Mereka kumpul maklum balas, buat kemas kini kecil, dan jejak hasilnya. Setiap penambahbaikan dipandu oleh bukti, bukan tekaan.

Ritma ini (ukur, laras, dan ulang) mengubah ejen mereka daripada percubaan kepada alat operasi sebenar. Ini adalah ritma yang digunakan oleh setiap pasukan yang berjaya dengan AI pada skala besar. Mendefinisikan kejayaan bukan sekadar mengukur hasil. Ia memastikan kemajuan tidak pernah terhenti.

Tindakan: Tulis dua metrik kejayaan untuk ejen anda: satu berkaitan pengalaman pengguna dan satu berkaitan impak perniagaan.

Tentukan siapa dalam pasukan anda yang akan memantau setiap satu, dan berapa kerap mereka akan menyemaknya selepas pelancaran.

Itu sahaja! Jika ada satu perkara yang anda pelajari daripada kursus ini, ia adalah perancangan yang baik sebelum anda mula membina akan membawa anda jauh. Selamat membina bot!

‍