Halucynacja AI: Co to jest, dlaczego ma znaczenie i co można z tym zrobić?

Dane treningowe niskiej jakości

ChatGPT i podobne LLMs są szkolone na dużej ilości danych. Dane te, choć obfite, są niedoskonałe ze względu na:

• Luki w niektórych tematach
• Odzwierciedlenie rzeczywistych uprzedzeń
• Celowa dezinformacja lub nieoznakowana satyra
• Stronniczy, jak w przypadku danych niezrównoważonych lub "skośnych".

Rozważmy scenariusz, w którym model został wytrenowany na podstawie informacji o wszystkich greckich bogach z wyjątkiem jednego.

Jego zdolność do rysowania statystycznych powiązań między tematami podobnymi do greckiej mitologii - miłością, etyką, zdradą - może sprawić, że połączy jakąś wymyśloną mitologię, którą uzna za "prawdopodobną", biorąc pod uwagę swój model statystyczny.

Jest to również widoczne w generowaniu obrazów, gdzie większość podpowiedzi dla kobiecego podmiotu tworzy hiper-seksualne obrazy. Nastawienie na jeden konkretny rodzaj przedstawienia warunkuje rodzaje generowanych obrazów.

Pisownia truskawki prawdopodobnie pojawiła się w danych treningowych w kontekście dyskusji na temat podwójnego R, notorycznego punktu bólu osób niebędących rodzimymi użytkownikami języka angielskiego. W tym przypadku liczba 2 lub słowo "double" prawdopodobnie pojawiły się w związku z pisownią tego słowa.

Z drugiej strony jest mało prawdopodobne, aby dane wspominały o tym, że ma 3 R.

Wynik jest absurdalny, ponieważ pytanie brzmi: w jakich okolicznościach ktoś napisałby słowo, a następnie zapytał o jego pisownię?

Architektura modelu i metoda generowania

Modele są zbudowane z niezwykle złożonych architektur sieci neuronowych. Niewielkie różnice wpływają na sposób, w jaki modele wchodzą w interakcję z danymi szkoleniowymi i monitami wejściowymi. Zdolność modelu do łagodzenia halucynacji podlega stopniowemu doskonaleniu poprzez rygorystyczne badania i testy.

Do tego dochodzi sposób generowania. Słowo po słowie (a właściwie słowo po słowie), modele przewidują najbardziej prawdopodobne słowo do naśladowania. Tak więc:

"Szybki brązowy lis przeskakuje nad leniwym ___".

Najprawdopodobniej następnym słowem będzie "pies". Możliwe są jednak inne słowa. A generowanie oparte wyłącznie na określeniu jednego najbardziej prawdopodobnego następnego słowa daje nieciekawe, przewidywalne wyniki.

Oznacza to, że trzeba stosować kreatywne metody próbkowania, aby odpowiedzi były ekscytujące, ale spójne. Czyniąc to, fakty czasami wymykają się szczelinom.

Overfitting

Overfitting ma miejsce, gdy model jest trenowany w celu przewidywania danych tak dokładnie, że nie uogólnia się na nowe dane wejściowe.

Tak więc, gdybym był modelem (jak mówi moja mama, że powinienem być), to byłbym odpowiednio wyszkolony, gdybym rozpoznawał psy jako:

Futrzasty, z opadającymi uszami, figlarny i z małym brązowym noskiem.

Ale byłbym niedopasowany, gdybym rozpoznał je tylko jako:

Ma brązową kropkę pod brodą, odpowiada na imię "Frank" i całkowicie przeżuł moją dobrą parę Nikesów.

W kontekście LLMzwykle wygląda to jak powtarzanie informacji widzianych w danych treningowych, zamiast wycofywania się tam, gdzie nie zna odpowiedzi.

Załóżmy, że pytasz chatbota o politykę zwrotów danej firmy. Jeśli jej nie zna, powinien cię o tym poinformować. Chociaż jeśli jest zbyt dopasowany, może zwrócić politykę podobnej firmy.

Słaba zachęta

Firmy wydają certyfikaty w zakresie szybkiej inżynierii, wiedząc, że sztuczna inteligencja jest tylko tak dobra, jak jej dane wejściowe.

Dobrze sformułowana zachęta jest precyzyjnie sformułowana, unika niszowej terminologii i zapewnia cały niezbędny kontekst.

Dzieje się tak, ponieważ halucynacje występują na granicy wielu wyjść o niskim prawdopodobieństwie.

Powiedzmy, że pytasz "jaka jest fabuła dziewczyny rekina?". Teraz człowiek myśli "huh, shark girl". W świecie statystyk możliwości są następujące:

• The Adventures of Sharkboy and Lavagirl - dość popularny film dla dzieci z 2005 roku o podobnej nazwie.
• Horror/thriller z 2024 roku zatytułowany Shark Girl - mniej popularny, ale bardziej aktualny i dokładny.
• Książka dla dzieci o tej samej nazwie z początku tego roku - którą model mógł zindeksować lub nie.

Żaden z nich nie jest oczywistym wyborem, co skutkuje "bardziej płaskim" rozkładem prawdopodobieństwa z mniejszym zaangażowaniem w jeden temat lub narrację. Bardziej skuteczna podpowiedź zapewniłaby kontekst, tj. określiłaby, do którego przykładu odnosi się użytkownik.

Ta zupa niejednoznaczności i stycznego znaczenia może wywołać odpowiedź, która jest właśnie taka: wymyślona ogólna fabuła do historii związanej z rekinami.

Zmniejszenie ryzyka wystąpienia halucynacji polega na zmniejszeniu niepewności.

Błędy rzeczowe

Tutaj właśnie pasuje przykład z truskawkami. Istnieją błędy w szczegółach stwierdzeń opartych na faktach. Mogą one obejmować rok, w którym miało miejsce określone wydarzenie, stolicę kraju lub dane statystyczne.

Drobne szczegóły w skądinąd dobrej odpowiedzi mogą być szczególnie podstępne, zwłaszcza jeśli chodzi o szczegóły, których ludzie często nie pamiętają, takie jak dokładne liczby.

Fabrykowana zawartość

W 2023 r. Bard Google fałszywie twierdził, że teleskop Jamesa Webba został użyty do zrobienia pierwszych zdjęć egzoplanet. Nie była to kwestia nieścisłości technicznych - była to zwykła nieprawda.

Mogą to być śmiałe stwierdzenia, jak powyżej, ale częściej pojawiają się jako adresy URL, które prowadzą donikąd, lub wymyślone biblioteki kodu i funkcje.

Warto zauważyć, że granica między błędami rzeczowymi a sfabrykowanymi treściami nie zawsze jest wyraźna.

Powiedzmy, że omawiamy jakiegoś badacza. Jeśli zacytujemy jego artykuł, ale pomylimy rok, będzie to błąd rzeczowy. Jeśli pomylimy nazwisko, to co? Co z nazwiskiem i rokiem?

Dezinformacja

Może to należeć do jednej z dwóch poprzednich kategorii, ale odnosi się do fałszywych informacji, których źródło jest bardziej przejrzyste.

Sztuczna inteligencja Google polecająca pizzę z klejem i jedzenie kamieni jest tego doskonałym przykładem; materiał źródłowy jest oczywiście satyryczny i ogólnie nieszkodliwy - komentarze Reddit napisane przez The Onion, ale szkolenie modelu tego nie uwzględniło.

1. Utrata zaufania

Doceniamy swobodę przekazywania naszych zadań sztucznej inteligencji, ale nie kosztem naszego zaufania.

Niedawna wpadka Cursor AI - bot obsługi klienta wymyślający restrykcyjną politykę - skłoniła wielu użytkowników do anulowania subskrypcji, kwestionując jej niezawodność.

2. Koszt

Sztuczna inteligencja zajęła pierwsze miejsce w wielu firmach i choć jest to dobra rzecz, pomyłka może być kosztowna.

Halucynacja Jamesa Webba z Google spowodowała spadek wartości akcji Alphabet o 100 miliardów dolarów w ciągu kilku godzin. I to jeszcze przed kosztami ponownego szkolenia modeli.

3. Szkodliwa dezinformacja

Śmiejemy się z absurdalności pizzy z klejem, ale co z wprowadzającymi w błąd dawkami medycznymi?

Będę pierwszym, który zamieni czytanie ostrzeżeń drobnym drukiem na szybką odpowiedź od AI. Ale co, jeśli się myli? Prawie na pewno nie uwzględni wszystkich możliwych schorzeń.

3. Bezpieczeństwo i złośliwe oprogramowanie

Jak wspomniano, sztuczna inteligencja często wymyśla nazwy bibliotek kodu. Kiedy próbujesz zainstalować nieistniejącą bibliotekę, nic się nie dzieje.

Wyobraźmy sobie teraz, że haker osadza złośliwe oprogramowanie w kodzie i przesyła je pod nazwą powszechnie znanej biblioteki. Instalujesz bibliotekę i 💨poof💨: jesteś zhakowany.

Takie zjawisko istnieje i nazywa się slopsquatting.

Pomijając obrzydliwą nazwę, nigdy nie zaszkodzi krytycznie podchodzić do tego, co się instaluje i dokładnie sprawdzać egzotycznie brzmiące nazwy bibliotek.

Wybierz model i platformę, którym możesz zaufać

Nie jesteś zdany na siebie. Firmy zajmujące się sztuczną inteligencją są zainteresowane utrzymaniem zaufania, a to oznacza brak halucynacji.

W zależności od tego, co robisz ze sztuczną inteligencją, prawie zawsze masz co najmniej kilka opcji, a dobra platforma sztucznej inteligencji sprawia, że jest to dostępne. Platformy te powinny być przejrzyste w kwestii tego , jak łagodzą halucynacje.

Użyj RAG (Retrieval-Augmented Generation)

Nie zmuszaj modelu do polegania na własnej wiedzy. Wyposażenie modelu w RAG jasno pokazuje, jakie informacje są dostępne i gdzie je znaleźć.

Najlepiej jest uruchomić AI na platformie z prostymi instrukcjami, jak wdrożyć skuteczny RAG.

Dodaj szczegółowe instrukcje

Jeśli słyszałeś to raz, słyszałeś to tysiące razy: garbage in, garbage out.

"Odpowiedz na pytanie użytkownika" nie gwarantuje sukcesu. Jednak coś takiego jak:

# Instrukcje

Odnieś się wyłącznie do dokumentu FAQ. Jeśli nie ma tam odpowiedzi:‍

* Grzecznie poinformuj użytkownika, że informacje są niedostępne.
* Zaoferuj eskalację rozmowy do ludzkiego agenta.

utrzyma agenta w ryzach. Wyraźne podpowiedzi z solidnymi barierami ochronnymi to najlepsza obrona przed nieuczciwym agentem.

Weryfikacja człowieka

Jeśli chodzi o eskalację, posiadanie osoby gotowej do sprawdzenia, oceny i wyeliminowania niedociągnięć AI.

Możliwość eskalacji lub wstecznej weryfikacji rozmów pozwala dowiedzieć się, co działa, a co jest zagrożone halucynacją. Human-in-the-loop -ludzki nadzór nad przepływami pracy opartymi na sztucznej inteligencji - jest tutaj koniecznością.