Kapag hindi mo tinukoy ang mga pamantayan ng tagumpay para sa iyong proyekto ng agent, walang paraan para ito ay magtagumpay.
Naglulunsad ang mga team ng ahente, nakakakita ng kaunting aktibidad, at pagkatapos ay nawawala ang pagsubaybay kung talagang nakakatulong ito sa negosyo. Ang gumaganang ahente ay hindi lang basta tumatakbo.
Ito ay iyong lumilikha ng nasusukat at paulit-ulit na resulta na nakaayon sa itinakda mong layunin.
Tungkol ang araling ito sa pagbuo ng disiplina upang sukatin ang tunay na mahalaga: hindi mga palamuti sa datos, kundi mga palatandaan na nagpapatunay na tunay na may ginagawa ang iyong ahente. Nagsisimula ang tagumpay sa malinaw na depinisyon ng halaga.
Ang sagot ay dapat direktang nakakabit sa resulta ng negosyo.
Halimbawa:
- Lutasin ang 50 porsyento ng mga kahilingan sa suporta nang hindi kailangan ng tao.
- Dagdagan ang karaniwang laki ng basket ng 20 porsyento.
- Mangolekta at ibuod ang puna ng customer bawat linggo.
- Bawasan ng kalahati ang karaniwang oras ng pagtugon.
Ang bawat layuning ito ay simple, nasusukat, at nakaayon sa totoong pangangailangang operasyonal. Kapag nakapagtakda ka na ng layunin, maaari kang magtakda ng mga sukatan para matiyak kung natutupad mo ito.
Ang pinaka-maaasahang sukatan para sa AI agents ay nahahati sa limang kategorya:
- Paggamit — ilang session o interaksyon ang nagaganap sa loob ng takdang panahon.
- Antas ng paglutas — gaano kadalas matagumpay na natatapos ng agent ang isang gawain.
- Antas ng pag-akyat — gaano kadalas naipapasa ang usapan sa tao.
- Epekto sa negosyo — mga sukatan na konektado sa resulta tulad ng kita, conversion rate, o mga marka ng kasiyahan.
- Kalusugan ng sistema — datos ng performance tulad ng pagkaantala, gastos, at antas ng error.
Ang pagsubaybay sa lahat ng lima ay nagbibigay ng balanseng pananaw sa karanasan ng customer at teknikal na pagiging maaasahan. Kapag gumagalaw nang tama ang mga sukatan, alam mong ginagawa ng ahente ang tungkulin nito. Kapag hindi, may impormasyon ka para gumawa ng mga pagbabago.
Sa Terminal Roast, nagkasundo ang koponan na magbahagi ng pananagutan sa pagsubaybay ng tagumpay.
Si Taryn, ang may-ari, ay nakatuon sa mga kwalitatibong resulta — damdamin ng customer at pangkalahatang kasiyahan.
Si Gideon, ang tech lead, ay tumitingin sa analytics dashboard para sa paggamit, completion rate, at mga error.
Si Adrian, ang barista, ay nire-review ang lingguhang buod na ginagawa ng agent upang makita kung ang puna ay maaaring gawing aksyon.
Sama-sama silang nagkikita isang beses sa isang linggo para tingnan ang mga numero at pag-usapan kung ano ang kailangang ayusin. Kapag masyadong maraming usapan ang ipinapasa ng ahente sa tao, tinitingnan nila kung kailangang ayusin ang mga prompt o tagubilin. Kapag bumaba ang paggamit, tinitiyak nilang nakikita at gumagana ang widget sa website.
Pinananatili ng ganitong sama-samang pananagutan ang proyekto na aktibo. Itinuturing ng team ang ahente bilang isang buhay na sistema na patuloy na umuunlad, hindi lang isang beses na ginawa. Ang mga pamantayan ng tagumpay ang nagtatakda kung paano ka magpapabuti. Kung panlabas lang na datos ang sinusubaybayan mo, hindi mo makikita kung saan talaga nagmumula ang mga problema.
Halimbawa, maaaring maganda ang mataas na bilang ng usapan, pero kung mababa ang completion rate, tahimik na pumapalpak ang ahente. Pinipigilan ito ng malinaw na balangkas ng sukatan. Sinasabi nito kung kailan dapat mag-retrain, kailan dapat ayusin ang mga daloy ng trabaho, at kailan dapat baguhin ang karanasan ng mga gumagamit.
Narito ang magandang estruktura para sa pagsubaybay pagkatapos ng paglunsad:
- Tukuyin ang 2–3 pangunahing sukatan na nakaayon sa orihinal mong layunin.
- Magtakda ng baseline gamit ang kasalukuyang proseso bago ilunsad ang agent.
- Magtatag ng mga threshold kung kailan dapat makialam — tulad ng escalation rate na lampas sa 20 porsyento, o response time na lumalagpas sa itinakdang limitasyon.
- Mag-review lingguhan sa simula, pagkatapos ay buwanan kapag naging matatag na ang sistema.
Isama ang parehong dami at kalidad ng datos. Ipinapakita ng mga numero ang resulta, at ipinapakita ng feedback ng tao ang kalidad.
Nagkakaroon ng paulit-ulit na proseso ang koponan ng Terminal Roast.
Nangangalap sila ng feedback, gumagawa ng maliliit na pagbabago, at sinusubaybayan ang resulta. Ang bawat pagpapabuti ay ginagabayan ng ebidensya, hindi hula-hula.
Ang ganitong ritmo (sukat, ayos, ulit) ang nagpapabago sa kanilang ahente mula pilot papuntang tunay na gamit sa operasyon. Ito rin ang ritmo ng bawat team na matagumpay sa AI sa malakihang sukat. Ang pagdedepina ng tagumpay ay hindi lang pagsukat ng resulta. Tinitiyak nitong hindi titigil ang pag-unlad.
Gawin: Isulat ang dalawang sukatan ng tagumpay para sa iyong agent: isa para sa karanasan ng gumagamit at isa para sa epekto sa negosyo.
Piliin kung sino sa iyong koponan ang magbabantay sa bawat isa, at gaano kadalas nila ito rerepasuhin pagkatapos ng paglunsad.
Kung may isang bagay kang dapat baunin mula sa kursong ito, ito ay na ang maayos na pagpaplano bago ka magsimulang bumuo ay magdadala sa iyo nang malayo.
