Paano pumili ng custom LLM para sa iyong AI project

Ano ang itatanong kapag pumipili ng modelo

Narito ang isang magandang listahan ng mga tanong na masasagot kapag pumipili ng modelo:

• Maaari ba akong gumamit ng cloud-based LLM o kailangan ko bang mag-host ng isa?
• Gaano ko kabilis kailangan ang mga tugon?
• Gaano katumpak ang kailangan ko sa mga tugon?
• Magkano $$ ang matitipid at/o bubuo ng aking proyekto? Kung gayon, anong presyo ang dapat ibaba nito?
• Gaano ko katagal kailangan ang aking mga tugon?

Sa pangkalahatan, mahirap pabilisin ang isang makapangyarihang modelo o bawasan ang mga gastos nito, at mas madaling pagbutihin ang isang hindi gaanong tumpak na modelo. 

Gayunpaman, mas mabilis na magsimula sa isang makapangyarihang modelo, at kung natutugunan nito ang mga pangangailangan ng iyong proyekto, maaaring hindi mo na kailanganin ng mas maraming pagsisikap sa engineering (dagdag pa, mas madaling mapanatili).

Simula sa isang modelo

Ang unang bagay na dapat mong gawin ay pumili ng panimulang modelo. Maraming mga leaderboard online na naghahambing sa iba't ibang mga modelo.

Halimbawa:

• Hugging Face nagpapanatili ng leaderboard para sa mga open source na modelo .
• Ang Vellum ay may mahusay na isa para sa mas sikat na mga modelo .

Kung ang iyong kumpanya ay may in-house na modelo, isaalang-alang ang paggamit nito upang gumana sa iyong badyet at panatilihing pribado ang data. Kung kailangan mong mag-host mismo ng modelo, isaalang-alang ang isang open-source na modelo .

Fine-tuning 

Kasama sa fine-tuning ang pagbibigay ng mga halimbawa sa iyong modelo upang matutunan nito kung paano gawin nang maayos ang isang partikular na gawain. Kung gusto mo itong maging mahusay sa pagsasalita tungkol sa iyong produkto, maaari kang magbigay ng isang bahagi ng mga halimbawa ng pinakamahusay na mga tawag sa pagbebenta ng iyong kumpanya.

Kung open source ang modelo, tanungin ang iyong sarili kung ang iyong team ay may sapat na kakayahan sa pag-inhinyero upang ayusin ang isang modelo.

Kung ang modelo ay closed source at ibinigay bilang isang serbisyo - GPT -4 o Claude – kadalasan ay maaari mong i-fine-tune sa iyong mga engineer ang mga custom na modelo gamit ang mga API. Karaniwang tumataas nang malaki ang presyo sa pamamagitan ng pamamaraang ito, ngunit kakaunti o walang maintenance. 

Ngunit para sa maraming mga kaso ng paggamit, ang fine-tuning ay hindi ang unang hakbang patungo sa pag-optimize ng iyong modelo. 

Ang isang mahusay na kaso para sa fine-tuning ay pagbuo ng isang bot ng kaalaman para sa static na kaalaman. Sa pamamagitan ng pagbibigay ng mga halimbawa ng mga tanong at sagot, dapat nitong masagot ang mga ito sa hinaharap nang hindi tinitingnan ang sagot. Ngunit hindi ito isang praktikal na solusyon para sa real-time na impormasyon. 

Retrieval-augmented na henerasyon

Ang RAG ay isang magarbong pangalan para sa isang simpleng bagay na nagawa nating lahat ChatGPT : paglalagay ng ilang teksto sa ChatGPT at nagtatanong tungkol dito. 

Ang karaniwang halimbawa ay ang pagtatanong kung ang isang partikular na produkto ay may stock sa isang e-commerce na site, at isang chatbot na naghahanap ng impormasyon sa isang katalogo ng produkto (sa halip na sa mas malawak na internet). 

Sa mga tuntunin ng bilis ng pag-unlad, at pagkuha ng real-time na impormasyon, RAG ay isang dapat-may. 

Karaniwang hindi nito naaapektuhan kung aling modelo ang pipiliin mo, gayunpaman walang pumipigil sa iyo na lumikha ng isang LLM Ang endpoint ng API na nagtatanong ng impormasyon at mga sagot at ginagamit ang endpoint na ito na parang sarili nito LLM . 

Ang paggamit ng RAG para sa isang chatbot na nakabatay sa kaalaman ay kadalasang mas madaling mapanatili, dahil hindi mo kailangang i-fine-tune ang isang modelo at panatilihin itong napapanahon – na makakabawas din sa mga gastos.

N-shot na pag-aaral 

Ang pinakamabilis na paraan upang makapagsimula sa pagpapabuti ng kalidad ng mga tugon ay ang magbigay ng mga halimbawa sa isang solong LLM API na tawag. 

Zero-shot – pagbibigay ng zero na halimbawa ng hinahanap mo sa isang sagot – ay kung paano ginagamit ng karamihan sa atin ChatGPT . Ang pagdaragdag ng isang halimbawa (o one-shot) ay karaniwang sapat upang makita ang isang malaking pagpapabuti sa kalidad ng pagtugon. 

Higit sa isang halimbawa ang itinuturing na n-shot. Hindi binabago ng N-shot ang modelo, hindi katulad ng fine-tuning. Nagbibigay ka lang ng mga halimbawa bago humingi ng tugon, sa tuwing magtatanong ka. 

Ngunit ang diskarteng ito ay hindi maaaring gamitin nang labis: LLM ang mga modelo ay may pinakamataas na sukat ng konteksto, at may presyo ayon sa laki ng mensahe. Maaaring alisin ng fine-tuning ang pangangailangan para sa mga halimbawa ng n-shot, ngunit tumatagal ng mas maraming oras upang maging tama. 

Iba pang mabilis na mga diskarte sa engineering

Mayroong iba pang maagang mga diskarte sa engineering, tulad ng chain-of-thought , na pumipilit sa mga modelo na mag-isip nang malakas bago makabuo ng sagot. 

Pinatataas nito ang kalidad ng tugon, ngunit sa halaga ng haba ng tugon, gastos at bilis. 

Ang aking rekomendasyon

Habang ang bawat proyekto ay magkakaroon ng sarili nitong natatanging pangangailangan, ibibigay ko ang aking dalawang sentimo sa isang malakas na diskarte. 

Ang isang magandang lugar upang magsimula ay ang paggamit ng isang off-the-shelf na modelo na nagbabalanse ng bilis at kalidad, tulad ng GPT -4o Mini. Magsimula sa pamamagitan ng pagtingin sa kalidad ng mga tugon, bilis ng pagtugon, gastos, mga pangangailangan sa window ng konteksto, at magpasya kung ano ang kailangang pagbutihin mula doon. 

Pagkatapos, sa isang makitid na kaso ng paggamit, maaari mong subukan ang ilang simpleng prompt engineering, na sinusundan ng RAG, at sa wakas ay fine-tuning. Ang bawat modelo na dumaan sa mga ito ay magkakaroon ng mga nadagdag sa pagganap, kaya maaari itong maging nakakalito upang malaman kung ano ang gagamitin.

I-offload ang engineering para makatipid ng $

Ang pagpapanatili ng isang maliit na badyet ay kritikal sa paggawa ng iyong proyekto sa isang katotohanan. Isa sa mga paraan na magagawa mo iyon ay ang pagbawas ng oras ng engineering sa pamamagitan ng mga kinakailangan sa pag-decoupling. 

Sa ngayon, mayroon kaming access sa mga low-code na solusyon tulad ng Flutterflow, Shopify, na maaaring gamitin ng mga tradisyunal na hindi teknikal na tungkulin tulad ng Mga Product Manager. Walang pagbubukod ang mga Chatbot, at pinapayagan ka pa ng ilang AI automation platform na gamitin ang sarili mong LLM . 

Maaari mong turuan ang mga inhinyero na tumuon sa pagho-host ng LLM at pagse-set up gamit ang automation platform . Pinapalaya nito ang mga analyst ng negosyo, tagapamahala ng produkto, at iba pang nauugnay na tungkulin upang bumuo ng mga ahente ng AI na nakakatugon sa mga kinakailangan sa negosyo. 

Kapag may kailangan pang karagdagang, ang mga platform na ito ay karaniwang may paraan para sa mga inhinyero na magdagdag ng ilang code. Sa ganitong paraan, mapapanatili mo ang mga pakinabang ng isang custom na modelo, at makakuha ng flexibility, bilis at affordability.

Magbigay ng kalayaan sa engineering upang malutas ang mga problema sa negosyo

Sa kabilang banda, kung minsan ang mga problema sa negosyo ay napakahirap lutasin. 

Pinag-uusapan natin ang ganap na network-gapped LLM mga application, on-device na app, o mga proyektong nangangailangan ng pagbibigay sa mga chatbot ng sobrang advanced na mga kakayahan na higit pa sa pag-sync ng data sa pagitan ng dalawang platform. 

Sa mga kasong iyon, ang pagbibigay ng kalayaan sa mga inhinyero na gumamit ng anumang mga tool na pinakakomportable sa kanila ay may katuturan. Ito ay karaniwang pagsulat lamang ng code, at ang mga stakeholder ay kumikilos lamang bilang mga tagapamahala ng proyekto.

1. Paano ko susuriin ang ROI ng pamumuhunan sa isang custom LLM para sa negosyo ko?

Magsimula sa pamamagitan ng paghahambing ng upfront at patuloy na mga gastos (panahon ng engineering, imprastraktura, paglilisensya) sa mga inaasahang pakinabang tulad ng pagtitipid ng oras, pagtaas ng kasiyahan ng customer, o mas mataas na rate ng conversion. Kung ang modelo ay nag-automate ng isang mataas na gastos o mataas na epekto na gawain, ang ROI ay nagiging mas madaling bigyang-katwiran.

2. Anong mga KPI ang dapat kong subaybayan upang masukat ang pagiging epektibo ng isang custom LLM ?

Tingnan ang mga sukatan tulad ng katumpakan ng tugon, latency, kasiyahan ng user (CSAT o NPS), rate ng resolution, at cost per interaction. Nakakatulong ang mga ito sa iyong sukatin ang performance at ang epekto ng iyong negosyo LLM .

3. Paano ko matantya ang pangmatagalang gastos sa pagpapanatili ng isang custom LLM solusyon?

Salik sa mga umuulit na gastos tulad ng pagho-host ng server, pag-retraining ng modelo o fine-tuning, mga oras ng engineering para sa mga update, at mga tool sa pagsubaybay. Isaalang-alang din kung gaano kadalas nagbabago ang iyong data, dahil naaapektuhan nito kung gaano kadalas mo kailangang muling mag-optimize.

4. Paano ko maiba-benchmark ang iba LLMs para sa aking partikular na industriya o domain?

Subukan ang mga modelo na may tunay, mga query na partikular sa domain at suriin ang kanilang mga tugon para sa katumpakan, tono, at kaugnayan. Maaari mo ring gamitin ang mga dataset ng industriya o gayahin ang mga gawain ng user upang makita kung gaano kahusay ang pagganap ng bawat modelo sa ilalim ng mga totoong kondisyon.

5. Anong mga pamantayan sa pagsunod ang dapat na custom LLM meet kung pinangangasiwaan ko ang data ng user?

Hindi bababa sa, hanapin ang GDPR, SOC 2, at HIPAA (kung naaangkop). Tiyaking sinusuportahan ng provider ng modelo ang pag-encrypt ng data, mga log ng pag-audit, at may malinaw na mga patakaran sa pangangasiwa at pagtanggal ng data.