我們從潛在客戶和用戶那裡得到的最常見問題之一是“你的意圖分類器在哪裡?”
我們沒有。是的,這是故意的。
Botpress 用途LLMs 來識別用戶意圖。為什麼?對於人工智慧代理的建構者和使用者來說,它的效果都更好。
我們對這一立場有強烈的感受,所以我想花幾分鐘來解釋我們缺乏意圖分類器。
太長了;它更容易建造、更準確且更易於維護。
舊的(前LLM ) 天
(如果您熟悉意圖分類器是什麼以及它們的作用,請隨意跳過本節。)
意圖分類器是一種根據訓練資料將使用者輸入分類為預先定義意圖的工具。
開發人員必須為每個可能的意圖策劃和標記無數範例,希望系統能夠將使用者輸入與這些範例相符。
例如,對於電子商務聊天機器人,開發人員可能會定義「TrackOrder」之類的意圖。他們的示例話語可能包括:“我的包裹在哪裡?” “追蹤我的訂單”和“你能幫我檢查一下送貨狀態嗎?”
他們本質上是透過舉例來訓練人工智慧代理識別用戶的意圖。是的,他們必須手動輸入所有這些。
幸運的是,將可能的話語手動映射到意圖的需要幾乎消失了LLMs 變得更加先進。
但許多對話式人工智慧平台仍在使用它們。為什麼?我們會解決這個問題的。
意圖分類器的 4 個缺點
這不僅僅是因為它是一個更長的過程——意圖分類器由於許多原因而很糟糕。以下是一些:
1. 數據依賴
意圖分類器需要大量資料。他們需要一個巨大的、具有代表性的用戶範例資料集,以便每個意圖都能準確地發揮作用。如果沒有它,他們就很難正確地對輸入進行分類。
建立這些資料集是一項艱鉅的任務。開發人員花費無盡的時間收集和標記範例,毫無疑問,這不是很好地利用他們的時間。
2.可擴展性有限
意圖分類器也不是按比例建構的。添加新意圖意味著收集更多數據並重新訓練模型,這很快就會成為開發的瓶頸。 Plus ,它們可能是一個令人頭痛的維護問題——因為隨著語言使用的發展,話語也在不斷發展。
3.語言理解能力差
意圖分類器缺乏真正的語言理解。他們與語言的變化作鬥爭,例如:
- 同義詞
- 釋義
- 措辭含糊
- 打字錯誤
- 不熟悉的口語表達
- 碎片化的投入
他們通常也單獨處理每個話語,這意味著他們缺乏在整個對話中保持上下文的能力。
4. 過度擬合
意圖分類器很容易出現過度擬合,它們會記住訓練範例而不是學習一般模式。
這意味著他們在所見過的確切短語上表現良好,但在處理新的或不同的輸入時卻遇到困難。這使得它們比專業用例更脆弱。
6個理由LLMs 更好
LLMs 幾乎解決了這些問題。他們了解上下文和細微差別,開發人員不需要向他們提供訓練資料來讓他們開始。基於LLM的代理可以從創建的那一刻起開始對話。
1.零短學習能力
LLMs 不需要例子來學習。他們經過廣泛的預先訓練意味著他們已經了解上下文、細微差別和意圖,而無需開發人員向他們提供具體範例。
2. 一個叫做細微差別的小事
LLMs 在意圖分類器不足的地方表現出色。他們可以輕鬆解讀成語、諷刺和歧義語言。
他們對不同資料集的廣泛訓練使他們能夠掌握意圖分類器經常忽略的人類交流的細微差別。
3.更好的背景
LLMs 不要失去對談話的追蹤。他們記得之前說過的話,這使得互動自然流暢,感覺更加連貫。
這種背景也有助於他們消除歧義。即使輸入內容模糊或複雜,他們也可以透過查看更廣泛的對話來將其拼湊起來。
4. 可擴展性
LLMs 在擴展方面優於 100%。由於他們對語言的廣泛理解,他們不需要再培訓就可以接受新的主題。
這使得它們能夠開箱即用地處理幾乎任何用例。對於多代理系統,使用LLM 而不是意圖分類器。
5. 靈活性
LLMs 不要依賴嚴格的模板。它們的靈活性意味著回應感覺自然、多樣,並且完全適合對話。與脆弱的意圖分類器相比,它們為使用者提供了更好的體驗。
6. 訓練資料較少
LLMs 不需要特定於任務的標記資料來完成工作。它們的力量來自於對不同文本的大量預訓練,因此它們不依賴精心註釋的資料集。
如果需要,開發人員可以隨時為他們的專案客製化LLM 。例如, LLMs 可以用最少的數據進行微調,因此它們可以快速適應專門的用例或行業。
為什麼其他公司使用意圖分類器?
好問題。如果LLMs 在意圖分類方面做得如此出色,那麼為什麼還有這麼多公司仍然使用意圖分類器呢?
答案並不完美,也不是最圓滑的說法:這是遺留技術的問題。
大多數公司在使用意圖分類器方面都有既得利益。他們已經建立了在其上運行的巨大安裝基礎。他們沒有理由勸阻使用者遠離他們所建構的系統。
但Botpress 是LLM -第一的
LLMs 比老式的意圖分類器更擅長辨識意圖。這就是為什麼我們從頭開始重寫為LLM -2020 年首次。
我們知道更好的技術已經到來,我們沒有堅持傳統技術,而是投資以實現這一飛躍。
我們會新增意圖分類器嗎?
不。
意圖分類的未來
意圖分類器已經成為過去的工具。這就是為什麼我們全力以赴LLMs 。
作為LLMs 不斷變得更好,基於此構建的人工智慧代理也會變得更好Botpress 。我們已經準備好並很高興能夠持續提高對話式人工智慧的功能標準。
如果您正在尋找建立靈活的人工智慧代理LLMs ,請隨意開始在Botpress上進行建置。它是免費的。