Ano ang Human-in-the-Loop sa AI?

Pagbibigay ng Feedback para sa Patuloy na Pag-aaral

Alam mo kung kailan ChatGPT nagtatanong sa iyo kung alin sa dalawang tugon ang mas mahusay? Maaaring ituring ang feedback bilang bagong data para sa modelong sanayin.

Gayunpaman, hindi kailangang maging tahasan ang feedback.

Mag-isip ng mga rekomendasyon sa social media. Ang isang predictive na modelo ay patuloy na nagmumungkahi ng nilalaman batay sa iyong kasaysayan. Habang ginagamit mo ang platform, ang iyong napiling content ay ginagamit bilang data upang patuloy na sanayin ang modelo ng rekomendasyon.

Sa kasong ito, ikaw ang tao. At sa paggamit ng app, nagsisilbi kang gabay para sa mga rekomendasyon sa hinaharap. 

Ito ay kung saan ito nanggagaling sa buong bilog: ang modelo ay sinanay sa data, ang mga user ay nakikipag-ugnayan sa modelo, at ang mga pakikipag-ugnayang ito naman ay lumilikha ng data kung saan ang modelo ay muling sinanay.

Pangangasiwa sa mga Lumalalang Sitwasyon

Ang HITL ay hindi nangangahulugang tungkol sa pagpapabuti ng system. Minsan ito ay tungkol sa pagpapaliban ng mahihirap na kaso sa mga tao.

Isaalang-alang ang isang customer support chatbot . Nag-aalis ito ng magandang bahagi ng trabaho ng iyong koponan sa pamamagitan ng pagsagot sa 95% ng mga tanong nang malinaw, maikli, at tumpak.

Ngunit pagkatapos ay mayroong na 5%.

Ang ilang mga kaso ay magiging hyper-specific o sapat na malabo na ang mga ito ay nasa labas lang ng wheelhouse ng AI. Bagama't hindi nagpapabuti sa modelo ang interbensyon ng tao sa kasong ito, ito ay isang magandang halimbawa ng paraan kung paano gumagana ang mga tao at machine learning sa symbiotically.

Pag-annotate ng Data para sa Pagsasanay

Sa teknikal na pagsasalita, halos lahat ng machine learning ay binuo gamit ang isang mekanismo ng HITL. Para sa kadahilanang iyon, kapag pinag-uusapan natin ang tungkol sa HITL, kadalasang tinutukoy natin ang mga kategorya sa itaas.

Iyon ay sinabi, ako ay magiging abala kung hindi ko tatawagin ang pansin sa paggawa ng tao at kadalubhasaan sa loop ng machine learning.

Ang data ay ang gulugod ng AI, at umaasa ito sa mga tao. Ang mga modelo ng AI ay sinanay upang mahulaan ang mga label batay sa data ng input . Ang mga label ay ang inaasahang output ng AI, at nasa ating mga tao ang gumawa nito.

Ang ilang mga halimbawa ng pag-label ng tao ay kinabibilangan ng:

• Mga tugon sa sulat-kamay sa mga senyas para sanayin ang malalaking modelo ng wika ( LLMs )
• Pag-transcribe ng mga audio file para sa mga modelo ng speech recognition .
• Pag-annotate ng mga bagay sa mga larawan para sa mga modelo ng pagtuklas ng bagay
• Pagmarka ng mga sample na email bilang spam-o-hindi-spam para sa spam detector ng email client

Pagsusuri ng Pagganap ng Modelo

Ang malaking bahagi ng oras na ginugol sa pagbuo ng mga modelo ng AI ay ang pag-iisip kung paano gagawing mas mahusay ang mga ito. Bagama't may mga walang katapusang sukatan na maaari mong kalkulahin, tulad ng katumpakan at paggunita , kailangan ng ekspertong insight para malaman kung paano gumagana ang modelo, at higit sa lahat, kung ano ang gagawin tungkol dito.

Halimbawa, maaaring mapansin ng isang mananaliksik na mahusay ang modelo sa pagtukoy ng mga larawan ng mga aso, ngunit hindi mga hot dog . Sa pangkalahatan, maaari itong ayusin sa pamamagitan ng pagdaragdag o pag-iba-iba ng mga larawan ng mga hot dog.

Minsan ang isang chat model ay mahihirapan sa pag-alala ng impormasyon mula sa mga nakaraang mensahe. Karaniwang haharapin ito ng isang mananaliksik sa pamamagitan ng paggawa ng mababang antas ng mga pagsasaayos sa arkitektura o pamamaraan ng henerasyon ng modelo.

1. Katumpakan at Pagiging Maaasahan

Ang isang ito ay isang walang utak. Ano ang mas mahusay kaysa sa simpleng AI? AI na naitama na. 

Hindi lamang ito na-optimize upang harapin ang mga edge na kaso ngunit maaasahan ito sa kahulugan na alam ng mga user na ang mga output ay patuloy na susuriin at pagbutihin.

2. Pagbawas ng Bias

Hindi perpekto ang data, at ipapakita iyon ng mga output ng modelo. Bias– ang pagkiling sa ilang mga output kaysa sa iba pa– ay isang problema sa buong machine learning at AI.

Ang mga bagay na tulad ng pagbuo ng imahe na sinisingil ng lahi, o pagtukoy sa kwalipikasyon sa trabaho ayon sa kasarian ay mga halimbawa ng paraan ng pagpapakita ng AI ng mga bias na nasa data ng pagsasanay.

Hinahayaan ng HITL ang mga tao na i-flag ang mga isyung ito at idirekta ang modelo patungo sa mas patas na mga resulta.

3. Tuloy-tuloy na Pagpapabuti at Kakayahang umangkop

Hindi pa tapos ang pagsasanay dahil lang nasa production ang isang modelo. Hinahayaan ng HITL ang modelo na magpatuloy sa pagsasanay sa bagong data upang mas mahusay na gawing pangkalahatan sa mga hindi nakikitang kaso. 

Halimbawa, ang pag-edit ng nabuong text o pagsunod sa mga pinili ng content ng mga user ay nag-aalok ng higit pang mga piraso ng data na magagamit ng modelo upang mapabuti.

Ngunit ito ay hindi sapat para sa isang modelo upang mapabuti; dapat ding magbago.

Madaling balewalain ang mga paraan kung paano tayo umaangkop sa isang pabago-bagong mundo. Sa AI, hindi ito ibinigay. Pinagsasama ng HITL ang kadalubhasaan at nuanced na paghuhusga upang panatilihing naaayon ang output ng isang modelo sa panahon.

4. Transparency at Tiwala

Ang pagsali sa mga tao ay ginagawang mas transparent ang mga desisyon ng AI. Sa pagwawasto ng mga tao sa mga output o paglutas ng mga kaso na mababa ang katiyakan, makakatiyak ang mga user na nakikipag-ugnayan sila sa isang makatwirang algorithm.

Pinapanatili nito sa amin ang kontrol ng AI, at hindi ang kabaligtaran.

1. Pagmamaneho sa sarili

Sa market value na inaasahang aabot sa USD 3.9 trilyon sa susunod na dekada, ang pagmamaneho sa sarili ay maaaring ang susunod na malaking hangganan sa AI. Ginagamit nito ang mga modelo ng pagtuklas ng bagay at sandali-by-sandali na paggawa ng desisyon upang gayahin ang pagmamaneho ng isang tao.

Ngunit para sa isang bagay na napakabilis, umaasa ito nang husto sa mga tao. Ang mga modelo ay patuloy na nagmamasid sa mga pattern ng pagmamaneho ng tao, at inihahambing ang kanilang paggawa ng desisyon laban sa sarili nitong mga hula.

2. Pagtitingi

Ang retail chatbot ay isang mahusay na paraan upang i-automate ang mga pakikipag-ugnayan ng customer habang nag-aalok pa rin ng personalized na karanasan. Hinahayaan ka ng HITL na panatilihing maayos ang karanasang iyon at naaayon sa iyong negosyo. Halimbawa, maaari mong:

• Suriin at itama ang mga rekomendasyon sa produkto ng bot
• Hayaang pag-usapan ng customer ang kanilang mga pangunahing pangangailangan bago ipadala sa isang ahente ng tao

3. Pananalapi

Ang mga chatbot sa pananalapi ay isang mahusay na paraan upang mag-dovetail sa pagitan ng AI automation at kadalubhasaan ng tao.

Ang mga sistema ng pagtuklas ng panloloko ay mahusay sa pagpili ng mga kahina-hinalang aktibidad sa mga transaksyon. Ngunit hindi lahat ng kahina-hinalang aktibidad ay kasuklam-suklam, at hindi mo gustong kanselahin ang iyong card sa tuwing palitan mo ang iyong order ng kape.

Maaaring ipagpaliban ng HITL ang mga kaso na mababa ang katiyakan, mababang panganib sa mga tao.

Ang pagtatasa ng panganib sa pautang ay isa pang lugar kung saan nangunguna ang AI– ito ay mahusay sa pagkalkula ng mga probabilidad sa lahat ng uri ng tila walang kaugnayang data. Ang data na iyon ay halos tiyak na magsasama ng ilang bias, bagaman. 

Ang pagpapanatili ng pagiging patas at pagpapagaan ng bias ay kadalasang nangangailangan ng tulong ng isang tunay na tao.

4. Pangangalaga sa kalusugan

Ang user ng reddit na ang buhay ay iniligtas ni Claude ang siyang unang magtataguyod ng potensyal para sa AI sa pangangalagang pangkalusugan.

Ipinakita ng mga medikal na AI chatbot ang ilan sa potensyal nito, ngunit higit pa rito: Makakatulong ang AI na matukoy ang diagnosis batay sa pagbabasa ng MRI, o magmungkahi ng mga follow-up batay sa mga resulta ng pagsubok. Ngunit hindi ako handa na talikuran ang mga doktor.

Ang HITL ay nag-aalok ng pinakamahusay sa magkabilang mundo: mga kaso na maaaring napalampas ng mga doktor, habang pinapayagan pa rin silang gawin ang huling tawag.

Paano ko malalaman kung ang aking AI system ay nangangailangan ng human-in-the-loop na paglahok?

Ang iyong AI system ay malamang na nangangailangan ng human-in-the-loop na paglahok kung ito ay humahawak ng mga desisyon na may mataas na stake, madalas na nakakaharap ng hindi maliwanag o bihirang mga sitwasyon, mga panganib na makagawa ng bias o nakakapinsalang mga output, o gumagana sa mga lugar kung saan ang ganap na katumpakan at paghatol ng tao ay mahalaga para sa pagsunod o tiwala ng customer.

Magagamit ba ang human-in-the-loop sa mga hindi teknikal na proseso ng negosyo, o sa mga modelo lang ng AI?

Maaaring gamitin ang Human-in-the-loop sa mga hindi teknikal na proseso ng negosyo tulad ng pagsusuri sa mga reklamo ng customer o pagmo-moderate ng content, dahil nangangahulugan ito ng pagpasok ng paghatol ng tao sa anumang automated na daloy ng trabaho kung saan maaaring hindi sapat ang mga desisyon ng makina lamang.

Ang paggamit ba ng human-in-the-loop ay nangangahulugan na ang aking AI system ay hindi gaanong advanced?

Ang paggamit ng human-in-the-loop ay hindi nangangahulugan na ang iyong AI system ay hindi gaanong advanced. Ipinapakita nito na inuuna mo ang kaligtasan at pagiging patas sa pamamagitan ng pagsasama-sama ng bilis at pagkilala ng pattern ng AI sa paghatol ng tao para sa mga nuanced na desisyon, na kadalasang mahalaga.

Ang human-in-the-loop AI ba ay cost-effective para sa maliliit na negosyo, o para lang sa malalaking negosyo?

Ang Human-in-the-loop AI ay lalong nagiging cost-effective para sa maliliit na negosyo dahil ang mga modernong tool ay nagbibigay-daan sa iyong piliing isali ang mga tao para lamang sa mga mapanlinlang na kaso, pinapaliit ang mga gastos sa paggawa habang pinapahusay pa rin ang katumpakan at tiwala nang hindi nangangailangan ng malaking workforce.

Magkano ang magagastos upang magdagdag ng mga human-in-the-loop na proseso sa isang AI system?

Ang pagdaragdag ng mga proseso ng human-in-the-loop ay maaaring magastos kahit saan mula sa minimal — kung gagamit ka ng in-house na staff paminsan-minsan — hanggang sa makabuluhan, na umaabot sa daan-daan o libu-libong dollars buwanan kung kailangan mo ng mga dedikadong tagasuri o mga dalubhasang kontratista, na may mga gastos na higit sa lahat ay hinihimok ng dami at pagiging kumplikado ng mga gawaing dapat hawakan ng mga tao.