Paano ChatGPT trabaho?

1. Generative

ChatGPT ay isang generative AI model – maaari itong bumuo ng text, code, mga larawan, at tunog. Ang iba pang mga halimbawa ng generative AI ay mga tool sa pagbuo ng imahe tulad ng DALL-E o mga generator ng audio.

2. Pre-Trained

Ang 'pre-trained' na aspeto ng ChatGPT kaya pala parang alam nya lahat sa internet. Ang GPT modelo ay sinanay sa malalaking swathes ng data sa isang proseso na tinatawag na 'unsupervised learning.'

dati ChatGPT , ang mga modelo ng AI ay binuo gamit ang pinangangasiwaang pag-aaral - binigyan sila ng malinaw na may label na mga input at output at tinuruan na imapa ang isa't isa. Ang prosesong ito ay medyo mabagal, dahil ang mga dataset ay kailangang i-compile ng mga tao.

Kapag maaga GPT nalantad ang mga modelo sa malalaking dataset kung saan sila nagsanay, na-absorb nila ang mga pattern ng wika at kahulugan sa konteksto mula sa iba't ibang uri ng mga mapagkukunan. 

Ito ang dahilan kung bakit ChatGPT ay isang chatbot sa pangkalahatang kaalaman – nasanay na ito sa isang malaking dataset bago ilabas sa publiko.

Mga user na gustong sanayin pa ang GPT engine – upang maging dalubhasa sa ilang mga gawain, tulad ng pagsusulat ng mga ulat para sa iyong natatanging organisasyon – ay maaaring gumamit ng mga diskarte upang i-customize LLMs .  

3. Transformer

Ang mga transformer ay isang uri ng arkitektura ng neural network na ipinakilala sa isang 2017 na papel na pinamagatang "Attention is All You Need" ni Vaswani et al. Bago ang mga transformer, karaniwang ginagamit ang mga modelo tulad ng recurrent neural network (RNNs) at long short-term memory (LSTM) network para sa pagproseso ng mga sequence ng text. 

Ang mga RNN at LSTM network ay magbabasa ng text input nang sunud-sunod, sa parehong paraan na gagawin ng isang tao. Ngunit ang arkitektura ng transformer ay nagagawang iproseso at suriin ang bawat salita sa isang pangungusap nang sabay-sabay, na nagbibigay-daan dito na mamarkahan ang ilang mga salita bilang mas may kaugnayan, kahit na ang mga ito ay nasa gitna o sa dulo ng isang pangungusap. Ito ay kilala bilang mekanismo ng self-attention. 

Kunin ang pangungusap: "Ang mouse ay hindi magkasya sa hawla dahil ito ay masyadong malaki."

Ang isang transpormer ay maaaring mamarkahan ang salitang 'mouse' bilang mas mahalaga kaysa sa 'cage', at matukoy nang tama na 'ito' sa pangungusap ay tumutukoy sa mouse. 

Ngunit ang isang modelo tulad ng isang RNN ay maaaring bigyang-kahulugan ang 'ito' bilang ang hawla, dahil ito ang pangngalan na pinakakamakailang naproseso.

Ang 'transformer' na aspeto ay nagpapahintulot ChatGPT upang mas maunawaan ang konteksto at makagawa ng mas matalinong mga tugon kaysa sa mga nauna nito. 

Ano ang natural na pagpoproseso ng wika?

Ang natural language processing (NLP) ay isang sangay ng artificial intelligence na nakatuon sa pakikipag-ugnayan sa pagitan ng mga computer at tao sa pamamagitan ng natural na wika. 

Nagbibigay-daan ito sa mga makina na maunawaan, mabigyang-kahulugan, at makabuo ng wika ng tao sa paraang parehong makabuluhan at kapaki-pakinabang.

NLP vs NLU vs NLG

Ang NLP ay isang malawak na larangan na sumasaklaw sa iba't ibang mga sub-disiplina, kabilang ang natural language understanding (NLU) at natural language generation (NLG). 

Ang NLP ay ang pangkalahatang domain, habang ang NLU at NLG ay mga espesyal na lugar sa loob nito. Iyon ay dahil ang natural na pagpoproseso ng wika ay dapat na may kasamang parehong pag-unawa, pagkatapos ay henerasyon sa panahon ng pabalik-balik na pag-uusap.

Paano gumagana ang NLP?

Pinaghihiwa-hiwalay ng NLU ang wika ng tao upang bigyang-kahulugan ang kahulugan at layunin nito. Narito kung paano ito gumagana nang sunud-sunod:

1. Ang teksto ay paunang naproseso upang alisin ang mga hindi kinakailangang elemento (tulad ng bantas at mga salita sa paghinto).
2. Tinutukoy ng system ang mga pangunahing bahagi tulad ng mga entity, keyword, at parirala mula sa teksto.
3. Sinusuri nito ang istruktura ng pangungusap upang maunawaan ang mga ugnayan sa pagitan ng mga salita at konsepto.
4. Minamapa ng modelo ng NLU ang mga kinikilalang elemento sa mga partikular na layunin o layunin.
5. Pinipino ng NLU engine ang pag-unawa nito batay sa konteksto at kasaysayan ng pakikipag-ugnayan ng user.

Nagbibigay ang system ng structured na output na maaaring mag-trigger ng mga naaangkop na aksyon o tugon.

Pre-training

Una, ang modelo ng AI ay nakalantad sa napakaraming data ng text – mula sa mga aklat, website, at iba pang mga file. 

Sa panahon ng pre-training, natututo ang modelo na hulaan ang susunod na salita sa isang pangungusap, na tumutulong dito na maunawaan ang mga pattern sa wika. Ito ay mahalagang bumuo ng isang istatistikal na pag-unawa sa wika, na nagbibigay-daan dito upang makabuo ng teksto na magkakaugnay.

Fine-tuning

Pagkatapos ng pre-training, pino-pino ang modelo sa mga mas partikular na dataset. Para sa ChatGPT , kabilang dito ang mga dataset na na-curate para sa mga pag-uusap. 

Ang isang mahalagang bahagi ng hakbang na ito ay kinabibilangan ng Reinforcement Learning mula sa Human Feedback (RLHF), kung saan niraranggo ng mga tagapagsanay ng tao ang mga tugon ng modelo. Nakakatulong ang feedback loop na ito ChatGPT pagbutihin ang kakayahan nitong bumuo ng mga angkop, kapaki-pakinabang, at tumpak na mga tugon ayon sa konteksto.

Mga token

Ang mga yunit ng teksto (mga salita o bahagi ng mga salita) na pinoproseso ng modelo. ChatGPT Ang mga input at output ni ay tokenized para sa mahusay na pagkalkula.

Zero-shot na pag-aaral

Ang kakayahan ng modelo na magsagawa ng mga gawain na hindi ito partikular na sinanay sa pamamagitan ng pag-asa sa pangkalahatang kaalaman nito. 

Ang one-shot na pag-aaral ay kinabibilangan ng pagbibigay sa modelo ng isang halimbawa, habang ang n-shot na pag-aaral ay kinabibilangan ng pagbibigay sa modelo ng maraming halimbawa upang matuto. 

Mekanismo ng atensyon

Isang bahagi ng modelo ng transformer na nagbibigay-daan dito na tumuon sa iba't ibang bahagi ng input text kapag bumubuo ng mga tugon.

Halucination

Ang isang modelo ng AI ay 'nagha-hallucinate' kapag bumubuo ito ng hindi tama o walang katuturang impormasyon. Maaaring mabawasan ang mga hallucination sa pamamagitan ng mga diskarte tulad ng retrieval-augmented generation (RAG) .

Chain of thought reasoning

Isang paraan na tumutulong sa modelo na mag-isip nang sunud-sunod, na nagpapahusay sa kakayahang pangasiwaan ang mga kumplikadong prompt o gawain. 

Ang ilan ChatGPT ang mga modelo ay awtomatikong nilagyan ng diskarteng ito - tulad ng pinakabagong mga modelo OpenAI o1 . Ngunit maaari kang humiling ng anumang bersyon na gumawa ng chain-of-thought na pangangatwiran : hilingin lamang itong ipaliwanag ang pangangatuwiran nito nang sunud-sunod.

Pre-training

Ang paunang yugto kung saan ang modelo ay sinanay sa isang napakalaking dataset upang matutunan ang mga pattern ng wika bago maging maayos para sa mga partikular na gawain.

Fine-tuning 

Ang proseso ng pagpino sa modelo sa isang mas makitid na dataset o gawain upang mapahusay ang pagganap nito sa mga partikular na sitwasyon ng paggamit.

window ng konteksto

Ang limitasyon sa dami ng input text na maaaring isaalang-alang ng modelo kapag bumubuo ng tugon. 

Ang isang mababang window ng konteksto ay nangangahulugang hindi ka makakapagpadala ng mahabang ulat at humingi ng buod – 'makakalimutan' ng modelo ang simula ng dokumento. 

Custom GPTs

OpenAI nagbibigay-daan sa mga user nito na mag-customize GPTs ayon sa kanilang kagustuhan. Maaari kang magturo ng custom GPT para matulungan kang matutunan ang mga panuntunan para sa isang partikular na board game, magdisenyo ng mga poster ng rock metal band, o magturo sa iyo ng mga konsepto ng AI.

Mga custom na ahente ng AI

Sa pag-unlad ng teknolohiya ng AI, madali (at libre) na gumawa ng sarili mo LLM -powered AI agent . 

Mula sa mga low code drag-and-drop builder, hanggang sa mga advanced na coding ecosystem, mayroong mahuhusay na AI building platform para sa anumang use case at antas ng kasanayan. 

Pagbuo ng iyong sarili LLM Ang ibig sabihin ng -powered agent ay maaari kang magdisenyo ng isang pasadyang AI assistant na nag-iskedyul ng iyong mga pagpupulong at bumubuo ng iyong mga lingguhang ulat ng sukatan. O maaari kang bumuo ng isang ahente ng AI sa suporta sa customer na iyong i-deploy sa WhatsApp . Walang kakulangan ng mga posibilidad.