如果你沒有為代理專案定義成功標準，就無法讓它真正成功。
團隊啟動代理人後，看到一些活動，卻常常無法追蹤它是否真的對業務有幫助。運作中的代理人不只是單純在執行而已。
它必須能夠產生可衡量、可重複的成果，並且與你設定的目標一致。
本課程重點在於建立衡量重要指標的習慣：不是虛榮指標，而是能證明代理人確實在發揮作用的指標。成功始於明確定義價值。
答案應該直接連結到商業成果。
舉例來說：
- 在不需人工介入的情況下解決 50% 的客服請求。
- 將平均購物車金額提升 20%。
- 每週收集並彙整顧客回饋。
- 將平均回應時間減半。
這些目標都很簡單、可衡量，並且符合實際營運需求。一旦設定好目標，就能建立指標來確認是否達成。
AI 智能代理最可靠的衡量指標分為五大類：
- 使用量——在特定期間內發生多少次會話或互動。
- 解決率——代理成功完成任務的頻率。
- 升級率——對話轉交給人工處理的頻率。
- 商業影響——與營收、轉換率或滿意度等成果相關的指標。
- 系統健康——如延遲、成本與錯誤率等效能數據。
同時追蹤這五項指標，能全面掌握顧客體驗與技術穩定性。當這些指標朝正確方向變動時，就代表代理人發揮了作用；若沒有，則能根據資訊進行改善。
在 Terminal Roast，團隊同意共同負責監控成功指標。
老闆 Taryn 專注於質性成果——顧客情緒與整體滿意度。
技術負責人 Gideon 透過分析儀表板監控使用量、完成率與錯誤。
咖啡師 Adrian 每週檢視代理產生的回饋摘要，評估意見是否具參考價值。
團隊每週會一起檢視數據並討論需要調整的地方。如果代理人將太多對話轉交給真人，他們會檢查提示或指令是否需要微調；如果使用率下降，則會確認網站上的小工具是否可見且正常運作。
這種共同負責的方式讓專案持續推進。團隊將代理人視為會隨時間進步的活系統，而不是一次性的建置。成功標準也決定了你如何持續優化。如果只追蹤表面數據，真正的問題就會被忽略。
舉例來說，對話數量很高看似不錯，但如果完成率很低，代理人其實是在默默失敗。明確的指標架構能避免這種情況。它會告訴你何時該重新訓練、何時該優化流程，以及何時該調整用戶體驗。
以下是一個良好的上線後監控架構：
- 定義 2–3 個主要指標，與你原本的目標一致。
- 設定基準值，在代理上線前以現有流程作為參考。
- 建立介入門檻，例如升級率超過 20%，或回應時間超過設定上限時就要介入。
- 一開始每週檢視，系統穩定後改為每月。
同時納入量化與質化數據。數字顯示成果，使用者回饋則反映品質。
Terminal Roast 團隊最終建立了一套可重複的流程。
他們收集回饋，做小幅度調整，並追蹤成效。每一次改進都以證據為依據，而不是憑感覺。
這樣的節奏（衡量、調整、再重複）讓代理人從試驗品變成營運工具。每個能大規模成功運用 AI 的團隊，都是用這種節奏。定義成功不只是衡量結果，更確保進步永不停止。
行動： 寫下你的代理的兩個成功指標：一個與用戶體驗相關，一個與商業影響相關。
決定團隊中誰負責監控這些指標，以及上線後多久檢視一次。
就這樣！如果這門課你只記得一件事，那就是在開始建置前做好規劃，會讓你走得更遠。祝你順利打造機器人！
