Kahit na ginagamit mo ito araw-araw, maaaring mayroon kang mga tanong tungkol sa kung paano gumagana ChatGPT .
Sumisid tayo sa mga behind-the-scene ng pinakasikat na AI chatbot sa mundo.
ChatGPT 101
Kung 20 segundo na lang ang natitira mo, ganito ChatGPT gumagana:
- Magpadala ka ng kahilingan. 'Mangyaring magsulat ng isang email
- ChatGPT hinahati-hati ang input sa mga token para sa pagproseso.
- Gumagamit ito ng NLP upang pag-aralan ang input at maunawaan ang konteksto.
- Hinuhulaan nito ang susunod na salita gamit ang mga pattern na natutunan nito mula sa data ng pagsasanay.
- Nakatuon ito sa mga pinaka-kaugnay na bahagi ng iyong input (gamit ang mekanismo ng atensyon).
- ChatGPT bumubuo ng buong tugon, salita sa salita, at ibinabalik ito sa iyo.
Ito ang mga pangunahing hakbang kung paano ChatGPT tumatanggap at tumutugon sa mga tanong.
Natural na Pagproseso ng Wika
Bahagi ng kung ano ang gumagawa ChatGPT parang magic ay na ito ay gumagamit ng natural na pagpoproseso ng wika . Maaari itong makipag-chat nang pabalik-balik sa amin dahil maaari itong magproseso at pagkatapos ay maunawaan ang natural na wika ng tao.
Ano ang natural na pagpoproseso ng wika?
Ang natural language processing (NLP) ay isang sangay ng artificial intelligence na nakatuon sa pakikipag-ugnayan sa pagitan ng mga computer at tao sa pamamagitan ng natural na wika.
Nagbibigay-daan ito sa mga makina na maunawaan, mabigyang-kahulugan, at makabuo ng wika ng tao sa paraang parehong makabuluhan at kapaki-pakinabang.
NLP vs NLU vs NLG
Ang NLP ay isang malawak na larangan na sumasaklaw sa iba't ibang mga sub-disiplina, kabilang ang natural language understanding (NLU) at natural language generation (NLG).
Ang NLP ay ang pangkalahatang domain, habang ang NLU at NLG ay mga espesyal na lugar sa loob nito. Iyon ay dahil ang natural na pagpoproseso ng wika ay dapat na may kasamang parehong pag-unawa, pagkatapos ay henerasyon sa panahon ng pabalik-balik na pag-uusap.
Paano gumagana ang NLP?
Pinaghihiwa-hiwalay ng NLU ang wika ng tao upang bigyang-kahulugan ang kahulugan at layunin nito. Narito kung paano ito gumagana nang sunud-sunod:
- Ang teksto ay paunang naproseso upang alisin ang mga hindi kinakailangang elemento (tulad ng bantas at mga salita sa paghinto).
- Tinutukoy ng system ang mga pangunahing bahagi tulad ng mga entity, keyword, at parirala mula sa teksto.
- Sinusuri nito ang istruktura ng pangungusap upang maunawaan ang mga ugnayan sa pagitan ng mga salita at konsepto.
- Minamapa ng modelo ng NLU ang mga kinikilalang elemento sa mga partikular na layunin o layunin.
- Pinipino ng NLU engine ang pag-unawa nito batay sa konteksto at kasaysayan ng pakikipag-ugnayan ng user.
Nagbibigay ang system ng structured na output na maaaring mag-trigger ng mga naaangkop na aksyon o tugon.
Ang GPT ng ChatGPT
Ang GPT ng ChatGPT ang ibig sabihin ay 'generative pre-trained transformer'. Ang bawat isa sa 3 elementong ito ay susi sa pag-unawa kung paano ChatGPT gumagana.
Generative
ChatGPT ay isang generative AI model – maaari itong bumuo ng text, code, mga larawan, at tunog. Ang iba pang mga halimbawa ng generative AI ay mga tool sa pagbuo ng imahe tulad ng DALL-E o mga generator ng audio.
Pre-Trained
Ang 'pre-trained' na aspeto ng ChatGPT kaya pala parang alam nya lahat sa internet. Ang GPT modelo ay sinanay sa malalaking swathes ng data sa isang proseso na tinatawag na 'unsupervised learning.'
dati ChatGPT , ang mga modelo ng AI ay binuo gamit ang pinangangasiwaang pag-aaral - binigyan sila ng malinaw na may label na mga input at output at tinuruan na imapa ang isa't isa. Ang prosesong ito ay medyo mabagal, dahil ang mga dataset ay kailangang i-compile ng mga tao.
Kapag maaga GPT nalantad ang mga modelo sa malalaking dataset kung saan sila nagsanay, na-absorb nila ang mga pattern ng wika at kahulugan sa konteksto mula sa iba't ibang uri ng mga mapagkukunan.
Ito ang dahilan kung bakit ChatGPT ay isang chatbot sa pangkalahatang kaalaman – nasanay na ito sa isang malaking dataset bago ilabas sa publiko.
Mga user na gustong sanayin pa ang GPT engine – upang maging dalubhasa sa ilang mga gawain, tulad ng pagsusulat ng mga ulat para sa iyong natatanging organisasyon – ay maaaring gumamit ng mga diskarte upang i-customize LLMs .
Transformer
Ang mga transformer ay isang uri ng arkitektura ng neural network na ipinakilala sa isang 2017 na papel na pinamagatang "Attention is All You Need" ni Vaswani et al. Bago ang mga transformer, karaniwang ginagamit ang mga modelo tulad ng recurrent neural network (RNNs) at long short-term memory (LSTM) network para sa pagproseso ng mga sequence ng text.
Ang mga RNN at LSTM network ay magbabasa ng text input nang sunud-sunod, sa parehong paraan na gagawin ng isang tao. Ngunit ang arkitektura ng transformer ay nagagawang iproseso at suriin ang bawat salita sa isang pangungusap nang sabay-sabay, na nagbibigay-daan dito na mamarkahan ang ilang mga salita bilang mas may kaugnayan, kahit na ang mga ito ay nasa gitna o sa dulo ng isang pangungusap. Ito ay kilala bilang mekanismo ng self-attention.
Kunin ang pangungusap: "Ang mouse ay hindi magkasya sa hawla dahil ito ay masyadong malaki."
Ang isang transpormer ay maaaring mamarkahan ang salitang 'mouse' bilang mas mahalaga kaysa sa 'cage', at matukoy nang tama na 'ito' sa pangungusap ay tumutukoy sa mouse.
Ngunit ang isang modelo tulad ng isang RNN ay maaaring bigyang-kahulugan ang 'ito' bilang ang hawla, dahil ito ang pangngalan na pinakakamakailang naproseso.
Ang 'transformer' na aspeto ay nagpapahintulot ChatGPT upang mas maunawaan ang konteksto at makagawa ng mas matalinong mga tugon kaysa sa mga nauna nito.
Proseso ng Pagsasanay
ChatGPT ay sinanay sa pamamagitan ng dalawang hakbang na proseso: pre-training at fine-tuning.
Pre-training
Una, ang modelo ng AI ay nakalantad sa napakaraming data ng text – mula sa mga aklat, website, at iba pang mga file.
Sa panahon ng pre-training, natututo ang modelo na hulaan ang susunod na salita sa isang pangungusap, na tumutulong dito na maunawaan ang mga pattern sa wika. Ito ay mahalagang bumuo ng isang istatistikal na pag-unawa sa wika, na nagbibigay-daan dito upang makabuo ng teksto na magkakaugnay.
Fine-tuning
Pagkatapos ng pre-training, pino-pino ang modelo sa mga mas partikular na dataset. Para sa ChatGPT , kabilang dito ang mga dataset na na-curate para sa mga pag-uusap.
Ang isang mahalagang bahagi ng hakbang na ito ay kinabibilangan ng Reinforcement Learning mula sa Human Feedback (RLHF), kung saan niraranggo ng mga tagapagsanay ng tao ang mga tugon ng modelo. Nakakatulong ang feedback loop na ito ChatGPT pagbutihin ang kakayahan nitong bumuo ng mga angkop, kapaki-pakinabang, at tumpak na mga tugon ayon sa konteksto.
Mga Pangunahing Tuntunin
Mga token
Ang mga yunit ng teksto (mga salita o bahagi ng mga salita) na pinoproseso ng modelo. ChatGPT Ang mga input at output ni ay tokenized para sa mahusay na pagkalkula.
Zero-shot na pag-aaral
Ang kakayahan ng modelo na magsagawa ng mga gawain na hindi ito partikular na sinanay sa pamamagitan ng pag-asa sa pangkalahatang kaalaman nito.
Ang one-shot na pag-aaral ay kinabibilangan ng pagbibigay sa modelo ng isang halimbawa, habang ang n-shot na pag-aaral ay kinabibilangan ng pagbibigay sa modelo ng maraming halimbawa upang matuto.
Mekanismo ng atensyon
Isang bahagi ng modelo ng transformer na nagbibigay-daan dito na tumuon sa iba't ibang bahagi ng input text kapag bumubuo ng mga tugon.
Halucination
Ang isang modelo ng AI ay 'nagha-hallucinate' kapag bumubuo ito ng hindi tama o walang katuturang impormasyon. Maaaring mabawasan ang mga hallucination sa pamamagitan ng mga diskarte tulad ng retrieval-augmented generation (RAG) .
Chain of thought reasoning
Isang paraan na tumutulong sa modelo na mag-isip nang sunud-sunod, na nagpapahusay sa kakayahang pangasiwaan ang mga kumplikadong prompt o gawain.
Ang ilan ChatGPT ang mga modelo ay awtomatikong nilagyan ng diskarteng ito - tulad ng pinakabagong mga modelo OpenAI o1 . Ngunit maaari kang humiling ng anumang bersyon na gumawa ng chain-of-thought na pangangatwiran : hilingin lamang itong ipaliwanag ang pangangatuwiran nito nang sunud-sunod.
Pre-training
Ang paunang yugto kung saan ang modelo ay sinanay sa isang napakalaking dataset upang matutunan ang mga pattern ng wika bago maging maayos para sa mga partikular na gawain.
Fine-tuning
Ang proseso ng pagpino sa modelo sa isang mas makitid na dataset o gawain upang mapahusay ang pagganap nito sa mga partikular na sitwasyon ng paggamit.
window ng konteksto
Ang limitasyon sa dami ng input text na maaaring isaalang-alang ng modelo kapag bumubuo ng tugon.
Ang isang mababang window ng konteksto ay nangangahulugang hindi ka makakapagpadala ng mahabang ulat at humingi ng buod – 'makakalimutan' ng modelo ang simula ng dokumento.
Paano i-customize ChatGPT
Mayroong ilang iba't ibang paraan upang i-customize ang malakas LLMs , tulad ng GPT engine na nagpapagana ChatGPT :
Custom GPTs
OpenAI nagbibigay-daan sa mga user nito na mag-customize GPTs ayon sa kanilang kagustuhan. Maaari kang magturo ng custom GPT para matulungan kang matutunan ang mga panuntunan para sa isang partikular na board game, magdisenyo ng mga poster ng rock metal band, o magturo sa iyo ng mga konsepto ng AI.
Mga custom na ahente ng AI
Sa pag-unlad ng teknolohiya ng AI, madali (at libre) na gumawa ng sarili mo LLM -powered AI agent .
Mula sa mga low code drag-and-drop builder, hanggang sa mga advanced na coding ecosystem, mayroong mahuhusay na AI building platform para sa anumang use case at antas ng kasanayan.
Pagbuo ng iyong sarili LLM Ang ibig sabihin ng -powered agent ay maaari kang magdisenyo ng isang pasadyang AI assistant na nag-iskedyul ng iyong mga pagpupulong at bumubuo ng iyong mga lingguhang ulat ng sukatan. O maaari kang bumuo ng isang ahente ng AI sa suporta sa customer na iyong i-deploy sa WhatsApp . Walang kakulangan ng mga posibilidad.
Bumuo ng isang GPT -powered chatbot ngayon
ChatGPT ay isang pangkalahatang chatbot, ngunit maaari mong gamitin ang malakas GPT engine mula sa OpenAI para bumuo ng sarili mong custom na AI chatbot.
Gamitin ang kapangyarihan ng pinakabago LLMs gamit ang sarili mong custom na chatbot.
Botpress ay isang flexible at walang katapusang napapalawak na AI chatbot platform. Pinapayagan nito ang mga user na bumuo ng anumang uri ng ahente ng AI o chatbot para sa anumang kaso ng paggamit.
Isama ang iyong chatbot sa anumang platform o channel, o pumili mula sa aming pre-built integration library. Magsimula sa mga tutorial mula sa Botpress YouTube channel o may mga libreng kurso mula sa Botpress Academy .
Simulan ang pagtatayo ngayon. Ito'y LIBRE.
Talaan ng mga Nilalaman
Manatiling napapanahon sa pinakabago sa mga ahente ng AI
Ibahagi ito sa:
.svg)
