Paano gumagana ang ChatGPT?

Kahit araw-araw mo itong ginagamit, maaaring may mga tanong ka pa rin kung paano gumagana ang ChatGPT.

Tuklasin natin ang likod ng mga eksena ng pinakasikat na AI chatbot sa mundo.

Pangkalahatang-ideya: Paano Gumagana ang ChatGPT

Kung 20 segundo lang ang oras mo, ganito gumagana ang ChatGPT:

1. Magpapadala ka ng kahilingan. ‘Pakigawa ng email.'
2. Hinahati ng ChatGPT ang input sa mga token para maproseso.
3. Gumagamit ito ng NLP para suriin ang input at maintindihan ang konteksto.
4. Hinuhulaan nito ang susunod na salita gamit ang mga pattern na natutunan mula sa training data.
5. Pinagtutuunan nito ng pansin ang pinakamahalagang bahagi ng iyong input (gamit ang attention mechanism).
6. Gumagawa ang ChatGPT ng buong sagot, salita kada salita, at ibinabalik ito sa iyo.

Ito ang mga pangunahing hakbang kung paano tumatanggap at sumasagot ang ChatGPT sa mga tanong.

Ano ang ibig sabihin ng GPT?

Ang GPT sa ChatGPT ay nangangahulugang ‘generative pre-trained transformer’. Mahalaga ang bawat isa sa tatlong elementong ito para maintindihan kung paano gumagana ang ChatGPT.

1. Generative

Ang ChatGPT ay isang generative AI model – kaya nitong lumikha ng teksto, code, larawan, at tunog. Iba pang halimbawa ng generative AI ay mga tool sa paggawa ng larawan tulad ng DALL-E o mga audio generator.

2. Pre-Trained

Ang ‘pre-trained’ na aspeto ng ChatGPT ang dahilan kung bakit parang alam nito ang lahat sa internet. Ang GPT model ay sinanay gamit ang napakalaking dami ng datos sa prosesong tinatawag na ‘unsupervised learning.’

Bago ang ChatGPT, ang mga AI model ay ginagawa gamit ang supervised learning – binibigyan sila ng malinaw na label na input at output at tinuturuan kung paano iugnay ang isa sa isa pa. Mabagal ang prosesong ito, dahil kailangang mano-manong buuin ng tao ang mga dataset.

Nang malantad ang mga unang GPT model sa malalaking dataset na pinag-aralan nila, natutunan nila ang mga pattern ng wika at konteksto mula sa iba’t ibang pinagmulan.

Ito ang dahilan kung bakit pangkalahatang kaalaman ang saklaw ng ChatGPT – sinanay na ito sa napakalaking dataset bago pa inilabas sa publiko.

Maaaring gamitin ng mga user na gustong sanayin pa ang GPT engine para maging dalubhasa sa mga partikular na gawain—halimbawa, paggawa ng ulat para sa iyong organisasyon—ang mga teknik para i-customize ang LLMs.

3. Transformer

Ang mga transformer ay isang uri ng neural network architecture na ipinakilala sa isang papel noong 2017 na pinamagatang "Attention is All You Need" nina Vaswani et al. Bago ang transformers, ang mga modelong tulad ng recurrent neural networks (RNNs) at long short-term memory (LSTM) networks ang karaniwang ginagamit para sa pagproseso ng sunud-sunod na teksto.

Ang RNN at LSTM networks ay nagbabasa ng input na teksto nang sunud-sunod, gaya ng ginagawa ng tao. Pero ang transformer architecture ay kayang iproseso at suriin ang bawat salita sa isang pangungusap nang sabay-sabay, kaya nitong bigyan ng mas mataas na halaga ang ilang salita, kahit nasa gitna o dulo ng pangungusap. Ito ang tinatawag na self-attention mechanism.

Isaalang-alang ang pangungusap: “Hindi kasya ang daga sa kulungan dahil masyado itong malaki.”

Maaaring bigyan ng transformer ng mas mataas na halaga ang salitang ‘daga’ kaysa ‘kulungan’, at tama nitong matutukoy na ang ‘ito’ sa pangungusap ay tumutukoy sa daga.

Pero ang modelong tulad ng RNN ay maaaring isipin na ang ‘ito’ ay tumutukoy sa kulungan, dahil iyon ang huling noun na naproseso.

Ang ‘transformer’ na aspeto ang nagbibigay-daan sa ChatGPT na mas maintindihan ang konteksto at makapagbigay ng mas matalinong sagot kaysa sa mga naunang modelo.

Natural Language Processing

Isa sa mga dahilan kung bakit parang mahiwaga ang ChatGPT ay dahil gumagamit ito ng natural language processing. Nakakapag-chat ito nang palitan dahil kaya nitong iproseso at unawain ang likas na wika ng tao.

Ano ang natural language processing?

Ang natural language processing (NLP) ay isang sangay ng artificial intelligence na nakatuon sa ugnayan ng computer at tao gamit ang likas na wika.

Pinapahintulutan nitong maintindihan, maipaliwanag, at makabuo ng wika ng tao ang mga makina sa paraang makabuluhan at kapaki-pakinabang.

NLP vs NLU vs NLG

Ang NLP ay malawak na larangan na kinabibilangan ng iba’t ibang sub-discipline, kabilang ang natural language understanding (NLU) at natural language generation (NLG).

Ang NLP ang payong larangan, habang ang NLU at NLG ay mga espesyalisadong bahagi nito. Kailangan kasi sa natural language processing ang parehong pag-unawa at pagbuo ng wika sa isang usapan.

Paano gumagana ang NLP?

Hinahati ng NLU ang wika ng tao para matukoy ang kahulugan at layunin nito. Ganito ang proseso, hakbang-hakbang:

1. Pinoproseso muna ang teksto para alisin ang hindi kailangan (tulad ng bantas at mga karaniwang salita).
2. Tinutukoy ng sistema ang mahahalagang bahagi gaya ng mga entity, keyword, at parirala mula sa teksto.
3. Sinusuri nito ang estruktura ng pangungusap para maintindihan ang ugnayan ng mga salita at konsepto.
4. Ikinakabit ng NLU model ang mga natukoy na elemento sa mga partikular na layunin o intensyon.
5. Pinapahusay ng NLU engine ang pag-unawa batay sa konteksto at kasaysayan ng interaksyon ng user.

Nagbibigay ang sistema ng istrukturadong output na maaaring mag-trigger ng tamang aksyon o tugon.

Proseso ng Pagsasanay ng ChatGPT

Sinanay ang ChatGPT sa dalawang yugto: pre-training at fine-tuning.

Pre-training

Una, inilalantad ang AI model sa napakaraming text data—mula sa mga libro, website, at iba pang file.

Sa pre-training, natututo ang model na hulaan ang susunod na salita sa isang pangungusap, kaya natututo ito ng mga pattern ng wika. Bumubuo ito ng estadistikal na pag-unawa sa wika, kaya nakakabuo ito ng makinis na teksto.

Fine-tuning

Pagkatapos ng pre-training, pinino ang model gamit ang mas espesipikong datasets. Para sa ChatGPT, kabilang dito ang mga dataset na inihanda para sa usapan.

Mahalagang bahagi ng hakbang na ito ang Reinforcement Learning mula sa Human Feedback (RLHF), kung saan niraranggo ng mga tao ang mga sagot ng model. Sa feedback loop na ito, napapabuti ng ChatGPT ang kakayahan nitong bumuo ng akmang, kapaki-pakinabang, at kontekstuwal na tamang sagot.

Mga Pangunahing Termino sa ChatGPT

Mga Token

Mga yunit ng teksto (salita o bahagi ng salita) na pinoproseso ng modelo. Ang input at output ng ChatGPT ay tinutokenize para sa mas mabilis na komputasyon.

Zero-shot learning

Kakayahan ng model na gawin ang mga gawain na hindi ito partikular na sinanay, gamit ang pangkalahatang kaalaman nito.

Ang one-shot learning ay pagbibigay ng isang halimbawa sa model, habang ang n-shot learning ay pagbibigay ng maraming halimbawa para matuto.

Attention mechanism

Bahagi ng transformer model na nagbibigay-daan dito para magpokus sa iba’t ibang bahagi ng input text habang bumubuo ng sagot.

Hallucination

Nagha-hallucinate ang AI model kapag gumagawa ito ng maling o walang saysay na impormasyon. Maaaring mabawasan ang hallucination gamit ang mga estratehiya tulad ng retrieval-augmented generation (RAG).

Chain of thought reasoning

Pamamaraan na tumutulong sa model na mag-isip nang sunud-sunod, kaya mas mahusay itong nakakasagot sa komplikadong prompt o gawain.

May ilang ChatGPT model na awtomatikong may ganitong estratehiya—tulad ng pinakabagong OpenAI o1 models. Pero maaari mong hilingin sa kahit anong bersyon na gawin ang chain-of-thought reasoning: sabihin lang na ipaliwanag nito ang lohika nito, hakbang-hakbang.

Pre-training

Ang paunang yugto kung saan sinasanay ang model sa napakalaking dataset para matutunan ang mga pattern ng wika bago ito pinuhin para sa partikular na gawain.

Fine-tuning

Proseso ng pagpipino ng model gamit ang mas makitid na dataset o gawain para mapahusay ang performance nito sa tiyak na gamit.

Context window

Ang limitasyon sa dami ng input text na maaaring isaalang-alang ng model habang bumubuo ng sagot.

Kung mababa ang context window, hindi ka makakapagpadala ng mahabang ulat at magpasummarize—makakalimutan ng model ang simula ng dokumento.

Paano Iangkop ang ChatGPT

May ilang paraan para i-customize ang makapangyarihang LLMs, tulad ng GPT engine na nagpapatakbo sa ChatGPT. Hindi ganoon kahirap mag-customize ng sarili mong LLM agent gaya ng iniisip mo.

Custom GPTs

Maaari mong utusan ang custom GPT na tulungan kang matutunan ang mga patakaran ng isang partikular na board game, magdisenyo ng mga poster ng rock metal band, o magturo sa iyo ng mga konsepto ng AI.

Custom AI agents

Dahil sa pag-unlad ng AI technology, madali (at libre) nang gumawa ng sarili mong LLM-powered AI agents.

Mula sa low code drag-and-drop builders, hanggang sa advanced coding ecosystems, may mga magagandang AI building platform para sa anumang gamit at antas ng kasanayan.

Kung gagawa ka ng sarili mong LLM-powered agent, maaari kang magdisenyo ng natatanging AI assistant na mag-iskedyul ng iyong mga pagpupulong at gagawa ng lingguhang ulat ng metrics. O kaya, gumawa ng customer support AI agent na maaari mong gamitin sa WhatsApp. Walang katapusang posibilidad.

Gumawa ng GPT-Powered Chatbot nang Libre

Chatbot na generalist ang ChatGPT, ngunit maaari mong gamitin ang makapangyarihang GPT engine mula OpenAI para gumawa ng sarili mong AI chatbot.

Gamitin ang lakas ng pinakabagong LLMs sa sarili mong custom na chatbot.

Ang Botpress ay isang flexible at walang katapusang napapalawak na AI chatbot platform. Pinapayagan nito ang mga user na gumawa ng kahit anong uri ng AI agent o chatbot para sa anumang gamit.

I-integrate ang iyong chatbot sa anumang platform o channel, o pumili mula sa aming pre-built integration library. Magsimula gamit ang mga tutorial mula sa Botpress YouTube channel o sa mga libreng kurso ng Botpress Academy.

Simulan ang paggawa ngayon. Libre ito.

FAQs

1. Paano inihahambing ang ChatGPT sa ibang AI chatbot tulad ng Google Bard o Claude?

Mahusay ang ChatGPT sa structured reasoning at coding, ang Bard (mula sa Google) ay malapit na konektado sa search at real-time na data mula sa Google, at ang Claude (mula sa Anthropic) ay dinisenyo para sa kaligtasan at mas mahabang memory context.

2. Kaya ba ni ChatGPT na umunawa at bumuo ng teksto sa iba’t ibang wika nang pantay-pantay?

Ang ChatGPT ay nakakaunawa at nakakabuo ng teksto sa maraming wika, ngunit pinakamataas ang kasanayan at kawastuhan nito sa Ingles. Bagaman mahusay ang pagganap nito sa malalawak na wikang gaya ng Espanyol, Pranses, o Aleman, maaaring bumaba ang pagganap nito sa mga wikang mas komplikado ang estruktura.

3. Nag-iisip o nakakaunawa ba ang ChatGPT tulad ng tao?

Hindi nag-iisip o nakakaunawa ang ChatGPT tulad ng tao. Wala itong kamalayan o tunay na pag-unawa. Gumagawa ito ng sagot sa pamamagitan ng estadistikal na paghula ng pinaka-malamang na susunod na salita batay sa mga pattern na natutunan sa training, nang walang tunay na pag-unawa.

4. May kinikilingan ba ang ChatGPT? Paano sinusukat o tinutugunan ang bias sa LLMs?

Oo, maaaring magpakita ng bias ang ChatGPT na nagmumula sa data na pinagbasehan nito, kabilang ang panlipunan o kultural na bias. Binabawasan ito ng OpenAI gamit ang mga teknik tulad ng reinforcement learning mula sa human feedback (RLHF), red-teaming, at tuloy-tuloy na monitoring, pero mahirap tuluyang alisin ang bias.

5. Gaano kadalas ina-update ang ChatGPT ng bagong impormasyon?

Hindi real-time na ina-update ang ChatGPT; static ang kaalaman nito at batay lang sa training data hanggang sa isang partikular na petsa. Nagkakaroon lang ng update kapag naglabas ang OpenAI ng bagong bersyon o muling sinanay ang model, kaya maaaring hindi nito alam ang pinakabagong pangyayari maliban na lang kung naka-enable ang web browsing sa ilang bersyon.