Dlaczego pozbyliśmy się klasyfikatorów intencji

Jednym z najczęstszych pytań, jakie otrzymujemy od potencjalnych klientów i użytkowników, jest "Gdzie są wasze klasyfikatory intencji?".

Nie mamy żadnych. I tak, to celowo. 

Botpress używa LLMs do identyfikacji intencji użytkownika. Dlaczego? Jest to znacznie lepsze zarówno dla twórców, jak i użytkowników agenta AI. 

Jesteśmy głęboko przekonani o słuszności tego stanowiska, dlatego chciałbym poświęcić kilka minut na wyjaśnienie naszego braku klasyfikatorów intencji. 

TLDR; Jest łatwiejszy do zbudowania, dokładniejszy i prostszy w utrzymaniu. 

Dawne (przedLLM) czasy

(Jeśli wiesz, czym są klasyfikatory intencji i co robią, możesz pominąć tę sekcję). 

Klasyfikator intencji to narzędzie, które kategoryzuje dane wejściowe użytkownika do predefiniowanych intencji na podstawie danych szkoleniowych.

Programiści muszą wybierać i oznaczać niezliczone przykłady dla każdej możliwej intencji, mając nadzieję, że system będzie w stanie dopasować dane wejściowe użytkownika do tych przykładów. 

Na przykład, w przypadku chatbota e-commerce, deweloperzy mogą zdefiniować intencję taką jak "TrackOrder". Ich przykładowe wypowiedzi mogą obejmować: "Gdzie jest moja paczka?" "Śledź moje zamówienie" i "Czy możesz sprawdzić dla mnie status dostawy?".

Zasadniczo trenują agenta AI, aby rozpoznawał intencje użytkownika, podając przykłady. I tak, muszą wprowadzić je wszystkie ręcznie.

Na szczęście potrzeba ręcznego mapowania możliwych wypowiedzi do intencji prawie zniknęła, gdy LLMs stał się bardziej zaawansowany.

Jednak wiele platform konwersacyjnej sztucznej intelig encji nadal z nich korzysta. Dlaczego? Zaraz do tego dojdziemy. 

4 wady klasyfikatorów intencji

Nie chodzi tylko o to, że jest to dłuższy proces - klasyfikatory intencji są do bani z wielu powodów. Oto kilka z nich:

1. Zależność od danych

Klasyfikatory intencji wymagają dużej ilości danych. Potrzebują ogromnego, reprezentatywnego zbioru danych przykładów użytkowników dla każdej intencji, aby działać dokładnie. Bez tego mają trudności z poprawną klasyfikacją danych wejściowych.

A tworzenie tych zestawów danych to żmudna praca. Programiści spędzają niekończące się godziny na zbieraniu i oznaczaniu przykładów, co bez wątpienia nie jest dobrym wykorzystaniem ich czasu.

2. Ograniczona skalowalność 

Klasyfikatory intencji nie są również przystosowane do skalowania. Dodawanie nowych intencji oznacza gromadzenie większej ilości danych i ponowne trenowanie modelu, co szybko staje się wąskim gardłem dla rozwoju. Plus Mogą one być również kłopotliwe w utrzymaniu - ponieważ wraz z ewolucją języka ewoluują również wypowiedzi.

3. Słabe rozumienie języka 

Klasyfikatorom intencji brakuje prawdziwego zrozumienia języka. Zmagają się z odmianami języka, takimi jak:

• Synonimy
• Parafrazy
• Niejednoznaczne sformułowania
• Literówki 
• Nieznane wyrażenia potoczne
• Fragmentaryczne dane wejściowe

Zazwyczaj przetwarzają również każdą wypowiedź w izolacji, co oznacza, że nie są w stanie utrzymać kontekstu podczas całej rozmowy. 

4. Overfitting

Klasyfikatory intencji są podatne na nadmierne dopasowanie, w którym zapamiętują przykłady szkoleniowe zamiast uczyć się ogólnych wzorców. 

Oznacza to, że dobrze radzą sobie z dokładnymi frazami, które widziały, ale zmagają się z nowymi lub zróżnicowanymi danymi wejściowymi. Sprawia to, że są one o wiele bardziej kruche, niż jest to właściwe w przypadku zastosowań profesjonalnych.

6 powodów, dla których LLMs jest lepsze 

LLMs prawie rozwiązały te problemy. Rozumieją kontekst i niuanse, a programiści nie muszą wypełniać ich danymi szkoleniowymi, aby je uruchomić. Agent oparty na LLM może rozpocząć konwersację od momentu jego utworzenia. 

1. Zdolność do uczenia się w zerowym czasie 

LLMs nie potrzebują przykładów do nauki. Ich rozległe szkolenie wstępne oznacza, że rozumieją już kontekst, niuanse i intencje bez konieczności podawania im przez programistów konkretnych przykładów.

2. Mała rzecz zwana niuansem

LLMs przodują tam, gdzie klasyfikatory intencji nie dają sobie rady. Z łatwością interpretują idiomy, sarkazm i niejednoznaczny język. 

Ich rozległe szkolenie na różnorodnych zbiorach danych daje im możliwość uchwycenia subtelnych niuansów ludzkiej komunikacji, których klasyfikatory intencji często nie dostrzegają.

3. Lepszy kontekst

LLMs nie tracą kontaktu z rozmową. Pamiętają, co zostało powiedziane wcześniej, co sprawia, że interakcje przebiegają naturalnie i są bardziej spójne.

Kontekst ten pomaga im również wyjaśnić niejasności. Nawet jeśli dane wejściowe są niejasne lub złożone, mogą je poskładać, patrząc na szerszą rozmowę.

4. Skalowalność

LLMs są w 100% lepsi w skalowaniu. Nie muszą się przekwalifikowywać, aby podejmować nowe tematy, dzięki szerokiemu zrozumieniu języka. 

Dzięki temu są one gotowe do obsługi niemal każdego przypadku użycia od razu po wyjęciu z pudełka. W przypadku systemów wieloagentowych nie ma potrzeby korzystania z LLM zamiast klasyfikatora intencji.

5. Elastyczność

LLMs nie opierają się na sztywnych szablonach. Ich elastyczność oznacza, że odpowiedzi są naturalne, zróżnicowane i idealnie dopasowane do rozmowy. Są one znacznie lepszym doświadczeniem dla użytkowników niż kruche klasyfikatory intencji.

6. Mniej danych szkoleniowych

LLMs nie potrzebują oznaczonych danych specyficznych dla zadania, aby wykonać zadanie. Ich moc wynika z masowego wstępnego treningu na zróżnicowanym tekście, więc nie są one zależne od żmudnie adnotowanych zestawów danych.

W razie potrzeby programiści zawsze mogą dostosować stronę LLM do swojego projektu. Na przykład, LLMs może być precyzyjnie dostrojony przy minimalnej ilości danych, dzięki czemu może szybko dostosować się do specjalistycznych przypadków użycia lub branż.

Dlaczego inne firmy używają klasyfikatorów intencji?

Dobre pytanie. Jeśli LLMs jest o wiele lepszy w klasyfikowaniu intencji, to dlaczego tak wiele firm nadal używa klasyfikatorów intencji? 

Odpowiedź nie jest ładna i nie należy do najbardziej dyplomatycznych: to problem starszych technologii. 

Większość firm ma interes w korzystaniu z klasyfikatorów intencji. Zbudowali ogromne bazy instalacyjne, które na nich działają. Nie mają powodu, by odwodzić swoich użytkowników od systemu, który zbudowali.

Ale Botpress to LLM-first

LLMs są znacznie lepsze w identyfikowaniu intencji niż staromodne klasyfikatory intencji. Właśnie dlatego w 2020 r. przepisaliśmy od podstaw stronę LLM. 

Wiedzieliśmy, że pojawiła się lepsza technologia i zamiast trzymać się starszych technologii, zainwestowaliśmy w skok.

Czy dodamy klasyfikatory intencji?

Nie. Za bardzo zależy nam na doświadczeniach naszych deweloperów i ich użytkowników.

Przyszłość klasyfikacji intencji

Klasyfikatory intencji to narzędzie z przeszłości. Właśnie dlatego poszliśmy na całość na LLMs. 

W miarę jak LLMs staje się coraz lepszy, tak samo będzie z agentami AI zbudowanymi na Botpress. Jesteśmy gotowi i podekscytowani, aby nadal podnosić poprzeczkę w zakresie możliwości konwersacyjnej sztucznej inteligencji.

Jeśli chcesz budować elastycznych agentów AI obsługiwanych przez LLMs, zacznij budować na Botpress. To nic nie kosztuje. 

Tworzenie agentów AI

Tworzenie niestandardowych autonomicznych agentów

Zacznij teraz

Karta kredytowa nie jest wymagana