Jak działa ChatGPT ?

Generatywny

ChatGPT jest generatywnym modelem sztucznej inteligencji - może generować tekst, kod, obrazy i dźwięk. Innymi przykładami generatywnej sztucznej inteligencji są narzędzia do generowania obrazów, takie jak DALL-E lub generatory dźwięku.

Wstępnie przeszkolony

Aspekt "wstępnie wytrenowanego" modelu ChatGPT sprawia, że wydaje się on wiedzieć wszystko o Internecie. Model GPT został wytrenowany na dużych ilościach danych w procesie zwanym "uczeniem bez nadzoru".

Przed ChatGPT modele sztucznej inteligencji były budowane w oparciu o uczenie nadzorowane - otrzymywały one wyraźnie oznaczone dane wejściowe i wyjściowe, a następnie uczono je mapowania jednych na drugie. Proces ten był dość powolny, ponieważ zbiory danych musiały być kompilowane przez ludzi.

Kiedy wczesne modele GPT zostały wystawione na działanie dużych zbiorów danych, na których zostały przeszkolone, wchłonęły wzorce językowe i znaczenie kontekstowe z wielu różnych źródeł. 

Właśnie dlatego ChatGPT jest chatbotem z wiedzą ogólną - został już przeszkolony na ogromnym zbiorze danych, zanim został udostępniony publicznie.

Użytkownicy, którzy chcą dalej szkolić silnik GPT - aby stał się wyspecjalizowany w określonych zadaniach, takich jak pisanie raportów dla unikalnej organizacji - mogą korzystać z technik dostosowywania LLMs.  

Transformator

Transformatory to rodzaj architektury sieci neuronowych wprowadzony w artykule z 2017 roku zatytułowanym "Attention is All You Need" autorstwa Vaswani et al. Przed transformatorami modele takie jak rekurencyjne sieci neuronowe (RNN) i sieci z długą pamięcią krótkotrwałą (LSTM) były powszechnie używane do przetwarzania sekwencji tekstu. 

Sieci RNN i LSTM odczytywałyby tekst wejściowy sekwencyjnie, w taki sam sposób, w jaki robiłby to człowiek. Jednak architektura transformatorowa jest w stanie przetwarzać i oceniać każde słowo w zdaniu w tym samym czasie, co pozwala jej oceniać niektóre słowa jako bardziej istotne, nawet jeśli znajdują się w środku lub na końcu zdania. Jest to znane jako mechanizm samo-uwagi. 

Weźmy zdanie: "Mysz nie mogła zmieścić się w klatce, bo była za duża".

Transformator może ocenić słowo "mysz" jako ważniejsze niż "klatka" i poprawnie zidentyfikować, że "to" w zdaniu odnosi się do myszy. 

Ale model taki jak RNN może zinterpretować "it" jako klatkę, ponieważ był to ostatnio przetwarzany rzeczownik.

Aspekt "transformatora" pozwala ChatGPT lepiej rozumieć kontekst i generować bardziej inteligentne odpowiedzi niż jego poprzednicy. 

Czym jest przetwarzanie języka naturalnego?

Przetwarzanie języka naturalnego (NLP) to gałąź sztucznej inteligencji, która koncentruje się na interakcji między komputerami a ludźmi za pomocą języka naturalnego. 

Umożliwia maszynom rozumienie, interpretowanie i generowanie ludzkiego języka w sposób, który jest zarówno znaczący, jak i użyteczny.

NLP vs NLU vs NLG

NLP to szeroka dziedzina, która obejmuje różne subdyscypliny, w tym rozumienie języka naturalnego (NLU) i generowanie języka naturalnego (NLG). 

NLP jest nadrzędną domeną, podczas gdy NLU i NLG są wyspecjalizowanymi obszarami w jej obrębie. Dzieje się tak dlatego, że przetwarzanie języka naturalnego musi obejmować zarówno rozumienie, jak i generowanie podczas rozmowy w obie strony.

Jak działa NLP?

NLU rozkłada ludzki język, aby zinterpretować jego znaczenie i intencje. Oto jak to działa krok po kroku:

1. Tekst jest wstępnie przetwarzany w celu usunięcia niepotrzebnych elementów (takich jak znaki interpunkcyjne i słowa stop).
2. System identyfikuje kluczowe elementy, takie jak jednostki, słowa kluczowe i frazy z tekstu.
3. Analizuje strukturę zdań, aby zrozumieć relacje między słowami i pojęciami.
4. Model NLU mapuje rozpoznane elementy na konkretne intencje lub cele.
5. Silnik NLU udoskonala swoje zrozumienie w oparciu o kontekst i historię interakcji użytkownika.

System zapewnia ustrukturyzowane dane wyjściowe, które mogą wyzwalać odpowiednie działania lub reakcje.

Szkolenie wstępne

Po pierwsze, model AI jest narażony na ogromną ilość danych tekstowych - z książek, stron internetowych i innych plików. 

Podczas wstępnego szkolenia model uczy się przewidywać następne słowo w zdaniu, co pomaga mu zrozumieć wzorce językowe. Zasadniczo buduje statystyczne zrozumienie języka, co umożliwia generowanie tekstu, który brzmi spójnie.

Dostrajanie

Po wstępnym szkoleniu model jest dostrajany na bardziej szczegółowych zestawach danych. W przypadku ChatGPT obejmuje to zbiory danych wyselekcjonowane pod kątem konwersacji. 

Kluczową częścią tego etapu jest uczenie się na podstawie informacji zwrotnych od ludzi (RLHF), gdzie trenerzy oceniają odpowiedzi modelu. Ta pętla sprzężenia zwrotnego pomaga ChatGPT poprawić jego zdolność do generowania odpowiednich, pomocnych i kontekstowo dokładnych odpowiedzi.

Żetony

Jednostki tekstu (słowa lub części słów) przetwarzane przez model. ChatGPTDane wejściowe i wyjściowe są tokenizowane w celu wydajnego obliczania.

Uczenie się od zera

Zdolność modelu do wykonywania zadań, do których nie został specjalnie przeszkolony, polegając na jego ogólnej wiedzy. 

Uczenie jednostrzałowe polega na podaniu modelowi jednego przykładu, podczas gdy uczenie n-strzałowe polega na podaniu modelowi wielu przykładów w celu nauki. 

Mechanizm zwracający uwagę

Składnik modelu transformatora, który pozwala mu skupić się na różnych częściach tekstu wejściowego podczas generowania odpowiedzi.

Halucynacja

Model sztucznej inteligencji "halucynuje", gdy generuje nieprawidłowe lub bezsensowne informacje. Halucynacje można złagodzić za pomocą strategii, takich jak generowanie wspomagane odzyskiwaniem (RAG).

Rozumowanie oparte na łańcuchu myślowym

Metoda, która pomaga modelowi myśleć krok po kroku, poprawiając jego zdolność do radzenia sobie ze złożonymi podpowiedziami lub zadaniami. 

Niektóre modele ChatGPT są automatycznie wyposażone w tę strategię - na przykład najnowsze modeleOpenAI o1. Możesz jednak poprosić dowolną wersję o rozumowanie łańcuchowe: po prostu poproś o wyjaśnienie rozumowania krok po kroku.

Szkolenie wstępne

Początkowa faza, w której model jest trenowany na ogromnym zbiorze danych, aby nauczyć się wzorców językowych, zanim zostanie dostrojony do określonych zadań.

Dostrajanie 

Proces udoskonalania modelu na węższym zestawie danych lub zadaniu w celu zwiększenia jego wydajności w określonych przypadkach użycia.

Okno kontekstowe

Ograniczenie ilości tekstu wejściowego, który model może uwzględnić podczas generowania odpowiedzi. 

Okno o niskim kontekście oznacza, że nie można wysłać długiego raportu i poprosić o podsumowanie - model "zapomni" o początku dokumentu. 

Niestandardowe GPTs

OpenAI umożliwia użytkownikom dostosowanie strony GPTs do własnych upodobań. Możesz poinstruować niestandardowego GPT , aby pomógł ci nauczyć się zasad konkretnej gry planszowej, zaprojektować plakaty zespołu rockowo-metalowego lub nauczyć cię koncepcji sztucznej inteligencji.

Niestandardowi agenci AI

Wraz z postępem w technologii AI, tworzenie własnych agentów AI opartych na LLM jest łatwe (i bezpłatne). 

Od niskokodowych kreatorów typu "przeciągnij i upuść" po zaawansowane ekosystemy kodowania, istnieją świetne platformy do tworzenia sztucznej inteligencji dla każdego przypadku użycia i poziomu umiejętności. 

Zbudowanie własnego agenta opartego na LLM oznacza, że możesz zaprojektować niestandardowego asystenta AI, który będzie planował spotkania i generował cotygodniowe raporty. Możesz też zbudować agenta AI do obsługi klienta, którego wdrożysz na WhatsApp. Możliwości jest bez liku.