Wybór, który Duży Model Językowy będzie napędzał Twojego agenta, to jedna z najważniejszych decyzji technicznych w projekcie.
Wpływa to na wydajność agenta, koszty jego działania oraz przewidywalność zachowania w dłuższym czasie.
Nie ma jednego najlepszego modelu. Właściwy wybór zależy od Twoich celów, budżetu i tego, jak dużą kontrolę chcesz mieć nad wynikami.
Zespoły, które podejmują tę decyzję zbyt pochopnie, często tego później żałują. Kluczowe jest wczesne testowanie, jasne określenie priorytetów i unikanie uzależnienia się od jednego dostawcy lub rozwiązania.
Dobra strategia wyboru LLM odpowiada na cztery główne pytania:
- Z jakiego modelu korzystasz i dlaczego?
- Jak często będziesz testować alternatywy?
- Co jest ważniejsze w Twoim przypadku: szybkość czy możliwości?
- Jaki masz plan awaryjny, jeśli model zawiedzie lub zacznie działać gorzej?
Przejdźmy przez każde z tych pytań.
Wybór modelu to kwestia dopasowania, a nie prestiżu. Niektóre modele są szybkie i tanie, inne wolniejsze, ale lepiej radzą sobie ze złożonymi zadaniami.
Jeśli Twój przypadek użycia to krótkie rozmowy z klientami, opóźnienia i koszty mogą być ważniejsze niż głębia odpowiedzi.
Jeśli potrzebujesz wieloetapowego rozumowania lub szczegółowych podsumowań, najważniejsze będą możliwości modelu.
Częste i wczesne testowanie pozwala zobaczyć, jak modele radzą sobie z Twoimi danymi. Każdy LLM ma swoje specyficzne cechy. Jedne lepiej wykonują polecenia, inne utrzymują spójny ton lub są bardziej precyzyjne. Możesz to odkryć tylko na przykładach z własnych procesów.
Planowanie awaryjne jest równie ważne. Nawet najbardziej stabilne API czasem zmieniają działanie, tracą wydajność lub przestają działać. Zawsze określ zapasowy model i zasady przełączania, gdy wydajność spadnie poniżej ustalonego poziomu. (Lub upewnij się, że Twój kreator agentów oferuje domyślną opcję awaryjną, jak robi to Botpress)
W Terminal Roast Ross, księgowy, analizuje liczby. Zespół chce, by ich agent obsługiwał proste rozmowy z klientami o kawie i wypiekach bez zauważalnych opóźnień. Po przetestowaniu kilku opcji decydują się na Gemini 2.5 Flash. Jest szybki, tani i zapewnia wystarczającą moc rozumowania do swobodnych rozmów z klientami.
Jako zabezpieczenie konfigurują system tak, by przełączał się na drugi model, jeśli opóźnienia lub liczba błędów przekroczą ustalony próg. Dzięki temu doświadczenie użytkownika pozostaje płynne, a koszty przewidywalne.
Ross zauważa, że jeśli w przyszłości agent będzie miał wykonywać bardziej złożone zadania, mogą ponownie rozważyć wybór modelu.
Każda decyzja dotycząca modelu to także decyzja biznesowa. Zły wybór może podwoić koszty działania lub spowodować niepotrzebne opóźnienia w interakcjach z użytkownikami. Dobry wybór równoważy wydajność i koszty zgodnie z doświadczeniem, które chcesz zapewnić.
Równie ważna jest elastyczność. Unikaj projektowania rozwiązania tak, by było ściśle powiązane z jednym modelem, bo późniejsza zmiana może być trudna. Wykorzystaj warstwę abstrakcji lub dostawcę obsługującego wiele modeli, by móc się dostosować do zmian na rynku.
Taka elastyczność sprawia, że Twój system jest odporny i nie uzależniasz się od planów rozwoju czy cennika jednego dostawcy.
Aby stworzyć prawdziwą strategię LLM, udokumentuj trzy rzeczy:
- Twój główny model i powód jego wyboru.
- Twoje progi wydajności i kosztów, po których przekroczeniu rozważysz zmianę.
- Twój model awaryjny i zasady jego uruchamiania.
Wracaj do tych decyzji przynajmniej raz na kwartał. Tempo zmian w ekosystemie LLM jest bardzo wysokie, a nowe modele często przewyższają starsze przy niższych kosztach. Traktuj to jako ciągły proces, a nie jednorazową konfigurację.
Decyzja Terminal Roast, by postawić na szybkość i przewidywalność zamiast maksymalnej mocy, sprawia, że ich pierwsze wdrożenie jest stabilne. Klienci są zadowoleni, koszty pod kontrolą, a zespół może zbierać dane z rzeczywistych interakcji bez problemów technicznych.
To właśnie ta równowaga — wybór odpowiedniego modelu, planowanie zmian i zachowanie elastyczności — odróżnia projekty eksperymentalne od produkcyjnych.
Twoja strategia LLM powinna zawsze wspierać cele biznesowe, a nie je narzucać.
Zadanie: Zapisz, którego modelu planujesz użyć, co jest najważniejsze w Twoim przypadku (szybkość, koszt czy możliwości) oraz jaka będzie Twoja opcja awaryjna. Regularnie przeglądaj te wybory, analizując dane z użytkowania.
