.webp)
- Nangyayari ang AI hallucination kapag ang mga modelo ay may kumpiyansa na gumagawa ng mali o gawa-gawang impormasyon, sanhi ng hindi magandang kalidad ng data, overfitting, o hindi malinaw na mga senyas.
- Ang mga hallucination ay mula sa mga factual error hanggang sa gawa-gawang content at maaaring makasira sa tiwala, magastos ng bilyun-bilyong negosyo, o makakalat ng mapaminsalang maling impormasyon.
- Kabilang sa mga pangunahing hakbang sa pag-iwas ang pagpili ng maaasahang mga platform ng AI, pagdaragdag ng retrieval-augmented generation (RAG), paggawa ng mga tumpak na senyas, at kasama ang pangangasiwa ng tao.
Sa tingin mo ba, mahuhulog ang loob ni Joaquin Phoenix kay Scarlett Johansson kung tinanong niya ito kung ilang R ang nasa strawberry ? Kung ikaw ay nasa LinkedIn, alam mo na ang sagot ay 3. (O, alam mo, kung mababasa mo.)
Ngunit para sa AI chatbots , hindi ito palaging napakasimple.
Malamang na nakakita ka ng mga tao na nagpapatawa sa kahangalan ng AI hallucinations. At upang maging patas, ang isang modelo ng AI ng tila walang katapusang kaalaman, tulad ng tao na mga kasanayan sa pangangatwiran at mabilis na kidlat na pagpapatupad ng gawain na nabigo sa isang kindergarten-level na problema sa matematika ay, well, uri ng walang katotohanan.
Ngunit sa likod ng kasiyahan at mga laro ay may mas seryosong — at potensyal na mapanlinlang — katotohanan.
Sa artikulong ito, tatalakayin ko ang tungkol sa mga guni-guni ng AI– kung ano ang mga ito, kung ano ang sanhi ng mga ito, kung bakit mahalaga ang mga ito, at mga hakbang na maaari mong gawin upang maiwasan ang mga ito.
Ano ang AI hallucination?
Ang AI hallucination ay kapag ang isang modelo ng AI ay nagpapakita ng impormasyon na hindi tumpak, mapanlinlang, o ganap na gawa-gawa. Ang maling impormasyon na ito ay maaaring magmukhang kapani-paniwala, at sa maraming mga kaso, hindi natukoy.
Dahil sa LLMs ' malawakang pag-aampon, ang mga guni-guni ay madalas na tinutukoy sa konteksto ng mga generative na modelo ng teksto. Sa katotohanan, nagdudulot sila ng panganib para sa anumang aplikasyon ng Generative AI .
Ano ang nagiging sanhi ng hallucination sa AI?
Nangyayari ang AI hallucination kapag natuto ang mga modelo ng mga maling pattern.
Ang mga pattern , sa konteksto ng AI, ay tumutukoy sa kakayahang gumamit ng mga indibidwal na halimbawa ng pagsasanay upang gawing pangkalahatan ang hindi nakikitang data. Ito ay maaaring isang serye ng mga salita upang mabuo ang pagpapatuloy ng isang text , o ang pamamahagi ng mga pixel ng imahe na tumutugma sa isang aso.
Sa kaso ng LLM guni-guni, itinuring ng modelo ang isang serye ng mga salita bilang ang pinaka-malamang na follow-up sa prompt ng user, bagama't ito ay mali.
Ito ay maaaring dahil sa isa o higit pa sa mga sumusunod na dahilan:
Data ng Pagsasanay sa Mababang Kalidad
ChatGPT at katulad nito LLMs ay sinanay sa maraming data. Ang data na ito, kahit na marami, ay hindi perpekto dahil sa:
- Mga gaps sa ilang partikular na paksa
- Sinasalamin ang tunay na pagkiling sa mundo
- Sinasadyang maling impormasyon o walang markang pangungutya
- May kinikilingan, tulad ng sa imbalance o "lop-sided" na data.
Isaalang-alang ang isang senaryo kung saan ang modelo ay sinanay sa impormasyon tungkol sa lahat maliban sa isang diyos na Greek.
Ang kakayahang gumuhit ng mga istatistikal na koneksyon sa pagitan ng mga paksang tulad ng Greek-mitolohiya– pag-ibig, etika, pagkakanulo– ay maaaring maging sanhi ng pagsasama-sama nito ng ilang gawa-gawang mitolohiya na itinuring nitong “malamang”, dahil sa modelong istatistika nito.
Ito ay maliwanag din sa pagbuo ng imahe, kung saan karamihan sa mga senyas para sa isang babaeng paksa ay gumagawa ng mga hyper-sexualized na larawan. Ang pagkiling sa isang partikular na uri ng paglalarawan ay nagkondisyon sa mga uri ng mga imahe na nabuo.
Ang spelling ng strawberry ay malamang na nangyari sa data ng pagsasanay sa konteksto ng isang talakayan ng double R , isang kilalang-kilala na pain-point ng mga hindi katutubong nagsasalita ng Ingles. Sa kasong ito, ang numero 2 o ang salitang " doble" ay malamang na lumitaw na may kaugnayan sa pagbabaybay ng salita.
Sa kabilang banda, hindi malamang na binanggit ng data ang pagkakaroon nito ng 3 R s.
Ang output ay walang katotohanan dahil ang senyas ay: sa ilalim ng anong pangyayari ang isang tao ay magsusulat ng isang salita at pagkatapos ay magtatanong tungkol sa kung paano ito binabaybay?
Modelong Arkitektura at Paraan ng Pagbuo
Ang mga modelo ay binuo mula sa nakakagulat na kumplikadong mga arkitektura ng neural network . Ang mga bahagyang pagkakaiba-iba ay nakakaapekto sa paraan ng pakikipag-ugnayan ng mga modelo sa kanilang data ng pagsasanay at mga input prompt . Ang kapasidad ng isang modelo na mabawasan ang guni-guni ay napapailalim sa karagdagang pagpapabuti sa pamamagitan ng mahigpit na pananaliksik at pagsubok .
Higit pa rito ay kung paano ipinatupad ang henerasyon. Word-by-word (talagang word-piece ), hinuhulaan ng mga modelo ang pinakamalamang na salita na susundan. Kaya:
"Ang mabilis na brown fox ay tumatalon sa tamad na ___."
Matutukoy ang pinaka-malamang na susunod na salita ay "aso". Ngunit ang ibang mga salita ay posible. At ang henerasyong nakabatay lamang sa pagtukoy sa nag-iisang pinaka-malamang na susunod na salita ay nagbubunga ng hindi kawili-wili, mahuhulaan na mga resulta.
Nangangahulugan iyon na kailangang gumamit ng mga malikhaing paraan ng sampling upang mapanatili ang mga tugon na kapana-panabik-ngunit-magkakaugnay. Sa paggawa nito, ang katotohanan kung minsan ay nakakalusot sa mga bitak.
Overfitting
Ang overfitting ay kapag ang modelo ay sinanay upang mahulaan ang data nang napakalapit na ito ay nabigo sa pag-generalize sa mga bagong input.
Kaya, kung ako ay isang modelo (tulad ng sinabi ng aking ina na dapat ako), kung gayon ako ay magiging isang mahusay na sinanay kung makikilala ko ang mga aso bilang:
Mabalahibo, may mapupungay na tenga, mapaglaro, at medyo brown na butones na ilong.
Ngunit ako ay magiging labis kung nakilala ko lamang sila bilang:
Ang pagkakaroon ng isang brown na tuldok sa ilalim ng baba nito, sumasagot sa pangalang "Frank", at lubos na ngumunguya sa aking magandang pares ng Nike.
Sa konteksto ng isang LLM , karaniwan itong nagmumukhang nagre-regurgitate ng impormasyon na nakikita sa data ng pagsasanay, sa halip na umatras kung saan hindi nito alam ang sagot.
Sabihin nating humingi ka sa isang chatbot para sa patakaran sa pagbabalik ng kumpanya. Kung hindi nito alam, dapat itong ipaalam sa iyo. Kahit na kung ito ay overfit, maaari itong ibalik ang isang katulad na patakaran ng kumpanya.
Mahina Prompting
Ang mga kumpanya ay nag-iisyu ng mga sertipiko sa agarang engineering na may kaalaman na ang AI ay kasinghusay lamang ng mga input nito.
Ang isang mahusay na nabuo prompt ay tiyak na articulated, iniiwasan niche terminolohiya, at nagbibigay ng lahat ng kinakailangang konteksto.
Ito ay dahil ang hallucination ay nangyayari sa gilid ng maraming mga low-probability na output.
Sabihin mong itanong mo "ano ang balak ng babaeng pating?" Ngayon, iniisip ng isang tao na "huh, batang babae ng pating. " Sa mundo ng istatistika, ang mga posibilidad ay:
- The Adventures of Sharkboy and Lavagirl – isang medyo sikat na pelikulang pambata mula 2005 na may katulad na pangalan.
- Isang 2024 horror/thriller na tinatawag na Shark Girl – hindi gaanong sikat ngunit mas bago at tumpak.
- Isang aklat na pambata na may parehong pangalan mula sa unang bahagi ng taong ito – na maaaring na-index o hindi ng modelo.
Wala sa mga ito ang malinaw na pagpipilian, na nagreresulta sa isang "mapuri" na pamamahagi ng posibilidad na may mas kaunting pangako sa isang paksa o salaysay. Ang isang mas epektibong prompt ay magbibigay ng konteksto, ibig sabihin, sabihin kung aling halimbawa ang tinutukoy ng user.
Ang sopas na ito ng kalabuan at tangential na kaugnayan ay maaaring makabuo ng isang tugon na ganoon lang: isang ginawang generic na balangkas sa isang kuwentong may kaugnayan sa pating.
Ang pagpapababa sa iyong pagkakataon ng mga guni-guni ay tungkol sa pagpapababa ng kawalan ng katiyakan.
Mga Uri ng AI Hallucinations
Sa ngayon napag-usapan ko ang tungkol sa mga guni-guni sa malawak na mga stroke. Ang katotohanan ay na ito ay nakakaapekto sa halos lahat ng aspeto ng AI. Para sa kapakanan ng kalinawan, gayunpaman, pinakamahusay na isaalang-alang ang iba't ibang mga kategorya.
Mga Makatotohanang Pagkakamali
Dito nababagay ang halimbawa ng strawberry. May mga error sa mga detalye ng kung hindi man ay makatotohanang mga pahayag. Maaaring kabilang dito ang taon na naganap ang isang partikular na kaganapan, ang kabisera ng isang bansa, o mga numero ng isang istatistika.
Ang mga detalye ng minuto sa isang mahusay na tugon ay maaaring maging partikular na mapanlinlang, lalo na pagdating sa mga detalye na hindi madalas naaalala ng mga tao, tulad ng mga eksaktong numero.
Ginawa na Nilalaman
Noong 2023, maling sinabi ng Bard ng Google na ginamit ang teleskopyo ng James Webb para kumuha ng mga unang larawan ng mga exoplanet. Hindi ito isang usapin ng mga teknikal na kamalian– ito ay sadyang mali.
Ang mga ito ay maaaring mga matapang na pag-aangkin tulad ng nasa itaas, ngunit mas madalas na lumalabas bilang mga URL na wala saanman, o ginawang mga library ng code at mga function.
Kapansin-pansin na ang linya sa pagitan ng mga makatotohanang error at gawa-gawang nilalaman ay hindi palaging malinaw.
Sabihin nating tinatalakay natin ang isang mananaliksik. Kung banggitin natin ang isang papel nila ngunit mali ang taon, ito ay isang factual error. Kung nagkamali tayo ng pangalan, ano? Paano ang pangalan at taon?
Maling impormasyon
Maaari itong mapailalim sa alinman sa 2 nakaraang kategorya, ngunit tumutukoy sa maling impormasyon kung saan mas transparent ang pinagmulan.
Ang Google AI na sikat na nagrerekomenda ng pandikit na pizza at pagkain ng mga bato ay isang magandang halimbawa nito; ang pinagmumulan ng materyal ay halatang satirical at sa pangkalahatan ay hindi nakakapinsala– Mga komento sa Reddit na isinulat ng The Onion, ngunit hindi iyon sinagot ng pagsasanay ng modelo.
Mga Panganib ng AI Hallucinations
1. Pagkawala ng Tiwala
Pinahahalagahan namin ang kalayaan sa pag-offload ng aming mga gawain sa AI, ngunit hindi sa kapinsalaan ng aming tiwala.
Ang kamakailang sakuna ng Cursor AI– isang customer service bot na nag-imbento ng mahigpit na patakaran – ay humantong sa maraming user na kanselahin ang kanilang mga subscription, na kinuwestiyon ang pagiging maaasahan nito.
2. Gastos
Nauna na ang AI sa maraming negosyo, at bagama't iyon ay isang magandang bagay, ang isang slip up ay maaaring magastos.
Ang James Webb hallucination ng Google ay nagdulot ng $100 bilyong pagbaba sa stock ng Alphabet sa loob ng ilang oras. At iyon ay bago ang gastos ng muling pagsasanay sa mga modelo.
3. Mapanganib na Maling Impormasyon
Pinagtatawanan namin ang kahangalan ng pandikit na pizza, ngunit paano naman ang mga mapanlinlang na medikal na dosis ?
Ako ang unang mag-trade sa pagbabasa ng babala na puno ng pinong pag-print para sa mabilis na sagot mula sa AI. Pero paano kung mali? Halos tiyak na hindi nito sasagutin ang lahat ng posibleng kondisyong medikal.
3. Seguridad at Malware
Tulad ng nabanggit, madalas na binubuo ng AI ang mga pangalan ng mga library ng code. Kapag sinubukan mong mag-install ng hindi umiiral na library, walang mangyayari.
Ngayon isipin na ang isang hacker ay nag-embed ng malware sa code at ina-upload ito sa ilalim ng pangalan ng isang karaniwang-hallucinated library. In-install mo ang library, at 💨 poof💨 : na-hack ka.
Ito ay umiiral, at ito ay tinatawag na slopsquatting .
Maliban sa masasamang pangalan, hindi masakit na maging mapanuri tungkol sa kung ano ang iyong ini-install, at i-double-check ang alinman sa mga kakaibang tunog ng pangalan ng library.
Mga Hakbang para Pigilan ang AI Hallucinations
Kung hindi mo sinasanay ang mga modelo, kakaunti ang magagawa mo sa pagtatapos ng data at arkitektura.
Ang magandang balita ay mayroon pa ring mga pag-iingat na maaari mong gawin, at magagawa nila ang lahat ng pagkakaiba sa pagpapadala ng walang hallucination na AI.
Pumili ng Modelo at Platform na mapagkakatiwalaan mo
Wala ka sa sarili mo. Ang mga kumpanya ng AI ay may lahat ng interes sa pagpapanatili ng tiwala, at nangangahulugan iyon na walang mga guni-guni.
Depende sa kung ano ang ginagawa mo sa AI, halos palaging mayroon kang kahit man lang ilang mga opsyon, at ginagawang naa-access ito ng magandang platform ng AI . Ang mga platform na ito ay dapat na malinaw kung paano nila pinapagaan ang mga guni-guni .
Gamitin ang RAG (Retrieval-Augmented Generation)
Huwag gawing umasa ang modelo sa sarili nitong kaalaman. Ang pagbibigay sa iyong modelo ng RAG ay ginagawang malinaw na magagamit ang impormasyon at kung saan ito mahahanap.
Pinakamainam na patakbuhin ang AI sa isang platform na may mga simpleng tagubilin kung paano ipatupad ang epektibong RAG .
Magdagdag ng Masusing Tagubilin
Kung narinig mo na ito sa sandaling narinig mo na ito ng isang libong beses: basura sa loob, basura sa labas.
"Sagutin ang tanong ng user" ay hindi magagarantiya ng tagumpay. Gayunpaman, tulad ng:
# Mga tagubilin
Mangyaring sumangguni ng eksklusibo sa FAQ na dokumento. Kung hindi lalabas doon ang sagot: * Magalang na ipaalam sa gumagamit na ang impormasyon ay hindi magagamit. * Mag-alok na palakihin ang pag-uusap sa isang ahente ng tao.papanatilihin ang iyong ahente sa pag-iingat. Ang malinaw na pag-udyok na may matibay na mga guardrail ay ang iyong pinakamahusay na depensa laban sa isang buhong na ahente.
Pagpapatunay ng Tao
Sa paksa ng escalation, ang pagkakaroon ng isang tao na handang mag-inspeksyon, magsuri, at mag-squash sa mga pagkukulang ng AI.
Hinahayaan ka ng kakayahang palakihin, o retroactive na i-verify ang mga pag-uusap na malaman kung ano ang gumagana at kung ano ang nasa panganib ng guni-guni. Ang Human-in-the-loop – ang pangangasiwa ng tao sa mga workflow na hinimok ng AI– ay kailangan dito.
Gumamit ng Hallucination-Free AI Ngayon
Ang kawalan ng katiyakan sa pagiging maaasahan ng AI ay maaaring pinipigilan ang mga negosyo mula sa digital na pagbabago.
Botpress ' Ang mga kakayahan ng RAG, human-in-the-loop integration, at masusing sistema ng seguridad ay ginagawang secure at maaasahan ang AI. Ang iyong ahente ay gumagana para sa iyo , hindi ang kabaligtaran.
Simulan ang pagtatayo ngayon . Ito ay libre.
Mga FAQ
1. Paano ko malalaman kung ang tugon ng AI ay isang guni-guni nang walang paunang kaalaman sa paksa?
Upang malaman kung ang isang tugon ng AI ay isang guni-guni na walang paunang kaalaman, maghanap ng mga senyales tulad ng mga napakaspesipikong pag-aangkin, sobrang kumpiyansa na wika, o mga pangalan, istatistika, o pagsipi na hindi maaaring ma-verify nang nakapag-iisa. Kapag hindi sigurado, i-prompt ang AI na banggitin ang mga pinagmulan nito o i-cross-check gamit ang mga maaasahang panlabas na sanggunian.
2. Gaano kadalas ang AI hallucinations sa malalaking modelo ng wika ( LLMs )?
Ang mga guni-guni ng AI ay karaniwan sa malalaking modelo ng wika dahil bumubuo ang mga ito ng teksto batay sa mga probabilidad, hindi sa aktwal na pag-verify. Kahit na ang mga advanced na modelo tulad ng GPT Ang -4o at Claude 3.5 ay maaaring makagawa ng mga hindi tumpak na output, lalo na kapag tinanong tungkol sa mga angkop na paksa o sa mga sitwasyong mababa ang konteksto.
3. Maaari bang mangyari ang mga guni-guni sa mga modelong AI na hindi nakabatay sa teksto tulad ng mga generator ng imahe?
Oo, nagaganap din ang mga guni-guni sa mga modelo ng pagbuo ng imahe, kadalasan bilang hindi makatotohanan o walang katuturang mga elemento sa output - tulad ng mga dagdag na paa o maling representasyong kultural - dulot ng mga bias o gaps sa data ng pagsasanay.
4. Mas karaniwan ba ang mga guni-guni sa ilang mga wika o kultura dahil sa mga bias sa data ng pagsasanay?
Mas karaniwan ang mga hallucination sa mga hindi gaanong kinakatawan na mga wika o mga kontekstong kultural na hindi Kanluranin dahil karamihan LLMs ay pangunahing sinanay sa English at Western-centric na data, na humahantong sa hindi gaanong kultural na nuanced na mga tugon.
5. Anong mga industriya ang higit na nasa panganib mula sa mga kahihinatnan ng AI hallucinations?
Ang mga industriya tulad ng pangangalaga sa kalusugan, pananalapi, batas, at serbisyo sa customer ay higit na nasa panganib mula sa mga guni-guni ng AI, dahil ang mga hindi tumpak na output sa mga larangang ito ay maaaring humantong sa mga paglabag sa pagsunod, pagkawala ng pananalapi, legal na maling hakbang, o pinsala sa tiwala ng user at reputasyon sa brand.
.webp)
