วิธีการเลือกแบบที่กำหนดเอง LLM สำหรับโครงการ AI ของคุณ

สิ่งที่ต้องถามเมื่อเลือกโมเดล

นี่คือรายการคำถามที่ดีที่ควรจะตอบได้เมื่อเลือกโมเดล:

• ฉันสามารถใช้ระบบคลาวด์ได้หรือไม่ LLM หรือฉันจำเป็นต้องโฮสต์เองไหม?
• ฉันต้องการให้ตอบกลับเร็วแค่ไหน?
• ฉันจำเป็นต้องให้คำตอบแม่นยำขนาดไหน
• โครงการของฉันจะประหยัดและ/หรือสร้างรายได้ได้เท่าไร แล้วราคาจะต่ำกว่าเท่าไร?
• ฉันต้องใช้เวลานานเพียงใดจึงจะตอบกลับ?

โดยทั่วไปแล้ว การเร่งความเร็วของโมเดลที่มีประสิทธิภาพหรือลดต้นทุนเป็นเรื่องยาก แต่การปรับปรุงโมเดลที่แม่นยำน้อยกว่านั้นทำได้ง่ายกว่า 

อย่างไรก็ตาม การเริ่มต้นด้วยโมเดลที่มีประสิทธิภาพนั้นเร็วกว่ามาก และหากโมเดลนั้นตอบโจทย์ความต้องการของโครงการของคุณได้ คุณอาจไม่ต้องใช้ความพยายามทางวิศวกรรมมากนัก (อีกทั้งยังดูแลรักษาง่ายกว่าอีกด้วย)

เริ่มต้นจากแบบจำลอง

สิ่งแรกที่คุณควรทำคือเลือกโมเดลเริ่มต้น มีกระดานผู้นำออนไลน์มากมายที่เปรียบเทียบโมเดลต่างๆ

เช่น:

• Hugging Face ดูแล กระดานผู้นำสำหรับโมเดลโอเพนซอร์ส
• Vellum มี รุ่นยอดนิยมให้เลือกมากมาย

หากบริษัทของคุณมีโมเดลภายในองค์กร ให้พิจารณาใช้โมเดลดังกล่าวเพื่อทำงานตามงบประมาณของคุณและรักษาความเป็นส่วนตัวของข้อมูล หากคุณจำเป็นต้องโฮสต์โมเดลด้วยตนเอง ให้พิจารณา ใช้โมเดลโอเพนซอร์ส

การปรับแต่งอย่างละเอียด 

การปรับปรุงให้ละเอียดเกี่ยวข้องกับการให้ตัวอย่างแก่โมเดลของคุณเพื่อให้เรียนรู้วิธีการทำงานบางอย่างได้ดี หากคุณต้องการให้โมเดลของคุณโดดเด่นในการพูดถึงผลิตภัณฑ์ของคุณ คุณอาจให้ตัวอย่างการโทรขายที่ดีที่สุดของบริษัทของคุณ

หากโมเดลเป็นโอเพ่นซอร์ส ให้ถามตัวเองว่าทีมของคุณมีความสามารถด้านวิศวกรรมเพียงพอที่จะปรับแต่งโมเดลหรือไม่

หากโมเดลเป็นแหล่งข้อมูลปิดและให้บริการ – GPT -4 หรือ Claude – จากนั้นคุณสามารถให้วิศวกรของคุณปรับแต่งโมเดลที่กำหนดเองโดยใช้ API ได้ โดยปกติแล้วราคาจะเพิ่มขึ้นอย่างมากเมื่อใช้วิธีนี้ แต่แทบจะไม่ต้องบำรุงรักษาเลย 

แต่สำหรับกรณีการใช้งานหลายๆ กรณี การปรับแต่งไม่ใช่ขั้นตอนแรกในการปรับปรุงโมเดลของคุณให้เหมาะสมที่สุด 

ตัวอย่างที่ดีสำหรับการปรับแต่งคือการสร้างบอทความรู้สำหรับความรู้คงที่ โดยการให้ตัวอย่างคำถามและคำตอบ บอทควรจะสามารถตอบคำถามเหล่านั้นได้ในอนาคตโดยไม่ต้องค้นหาคำตอบ แต่ไม่ใช่วิธีแก้ปัญหาที่ใช้งานได้จริงสำหรับข้อมูลแบบเรียลไทม์ 

การสร้างเสริมการค้นคืน

RAG เป็นชื่อที่เก๋ไก๋สำหรับสิ่งเรียบง่ายที่เราทุกคนเคยทำ ChatGPT : การวางข้อความบางอย่างลงใน ChatGPT และถามคำถามเกี่ยวกับเรื่องนี้ 

ตัวอย่างทั่วไปคือการถามว่ามีผลิตภัณฑ์บางอย่างอยู่ในสต็อกบนเว็บไซต์อีคอมเมิร์ซหรือไม่ และแชทบอทค้นหาข้อมูลในแคตตาล็อกผลิตภัณฑ์ (แทนที่จะใช้อินเทอร์เน็ตที่กว้างขวางกว่า) 

ในด้านความเร็วในการพัฒนาและการได้รับข้อมูลแบบเรียลไทม์ RAG เป็นสิ่งที่ต้องมี 

โดยปกติแล้วมันจะไม่ส่งผลต่อรุ่นที่คุณจะเลือก อย่างไรก็ตาม ไม่มีอะไรที่จะหยุดคุณจากการสร้าง LLM จุดสิ้นสุด API ที่สอบถามข้อมูลและคำตอบและใช้จุดสิ้นสุดนี้ราวกับว่าเป็นของตัวเอง LLM - 

การใช้ RAG สำหรับแชทบอทที่ใช้ความรู้มักจะดูแลรักษาง่ายกว่า เพราะคุณไม่จำเป็นต้องปรับแต่งโมเดลและอัปเดตให้ทันสมัยอยู่เสมอ ซึ่งยังสามารถช่วยลดต้นทุนได้อีกด้วย

การเรียนรู้แบบ N-shot 

วิธีที่เร็วที่สุดในการเริ่มต้นในการปรับปรุงคุณภาพของการตอบสนองคือการให้ตัวอย่างในรูปแบบเดียว LLM การเรียก API 

Zero-shot – การให้ตัวอย่างศูนย์ของสิ่งที่คุณกำลังมองหาในคำตอบ – เป็นวิธีที่พวกเราส่วนใหญ่ใช้ ChatGPT การเพิ่มตัวอย่างหนึ่งตัวอย่าง (หรือแบบช็อตเดียว) มักจะเพียงพอที่จะเห็นการปรับปรุงที่สำคัญในคุณภาพการตอบสนอง 

การมีตัวอย่างมากกว่าหนึ่งตัวอย่างถือเป็น n-shot n-shot จะไม่เปลี่ยนโมเดล ซึ่งแตกต่างจากการปรับแต่งอย่างละเอียด คุณเพียงแค่ยกตัวอย่างก่อนที่จะขอคำตอบทุกครั้งที่คุณถามคำถาม 

แต่กลยุทธ์นี้ไม่สามารถใช้มากเกินไปได้: LLM โมเดลมีขนาดบริบทสูงสุดและมีราคาตามขนาดของข้อความ การปรับแต่งอย่างละเอียดจะช่วยลดความจำเป็นในการใช้ตัวอย่างแบบ n-shot แต่จะใช้เวลานานกว่าจึงจะออกมาถูกต้อง 

เทคนิควิศวกรรมแจ้งเตือนอื่น ๆ

มีเทคนิคทางวิศวกรรมที่รวดเร็วอื่นๆ เช่น ลำดับความคิด ที่บังคับให้โมเดลคิดดังๆ ก่อนที่จะคิดหาคำตอบ 

วิธีนี้จะเพิ่มคุณภาพของการตอบสนองแต่ต้องแลกมาด้วยความยาว ค่าใช้จ่าย และความเร็วของการตอบสนอง 

คำแนะนำของฉัน

แม้ว่าแต่ละโครงการจะมีความต้องการเฉพาะของตัวเอง แต่ฉันก็จะเสนอแนะแนวทางที่แข็งแกร่ง 

จุดเริ่มต้นที่ดีคือการใช้โมเดลสำเร็จรูปที่สร้างสมดุลระหว่างความเร็วและคุณภาพ เช่น GPT -4o Mini เริ่มต้นด้วยการดูคุณภาพของการตอบสนอง ความเร็วในการตอบสนอง ต้นทุน ความต้องการของหน้าต่างบริบท และตัดสินใจว่าต้องปรับปรุงอะไรจากตรงนั้น 

จากนั้น ด้วยกรณีการใช้งานที่จำกัด คุณสามารถลองวิศวกรรมคำสั่งง่ายๆ ตามด้วย RAG และสุดท้ายปรับแต่งอย่างละเอียด โมเดลทุกตัวที่ผ่านกระบวนการเหล่านี้จะมีประสิทธิภาพที่ดีขึ้น ดังนั้นการตัดสินใจว่าจะใช้กระบวนการใดจึงอาจเป็นเรื่องยาก

ถ่ายโอนวิศวกรรมเพื่อประหยัดเงิน $

การกำหนดงบประมาณให้เหมาะสมถือเป็นสิ่งสำคัญในการทำให้โครงการของคุณเป็นจริง วิธีหนึ่งที่คุณสามารถทำได้คือการลดเวลาการทำงานด้านวิศวกรรมโดยแยกข้อกำหนดต่างๆ ออกจากกัน 

ปัจจุบันเราสามารถเข้าถึง โซลูชันแบบ low-code เช่น Flutterflow, Shopify ซึ่งสามารถใช้โดยบทบาทที่ไม่ใช่ด้านเทคนิคเช่นผู้จัดการผลิตภัณฑ์ Chatbots ก็ไม่มีข้อยกเว้น และ แพลตฟอร์มอัตโนมัติ AI บางตัวยังให้คุณใช้ LLM ของคุณเองได้อีกด้วย 

คุณสามารถสั่งวิศวกรให้มุ่งเน้นการโฮสต์ LLM และการตั้งค่าด้วย แพลตฟอร์มอัตโนมัติ ซึ่งจะทำให้นักวิเคราะห์ธุรกิจ ผู้จัดการผลิตภัณฑ์ และบทบาทอื่นๆ ที่เกี่ยวข้องมีอิสระในการสร้างตัวแทน AI ที่ตอบสนองความต้องการทางธุรกิจ 

เมื่อจำเป็นต้องมีบางอย่างเพิ่มเติม แพลตฟอร์มเหล่านี้มักจะมีช่องทางให้วิศวกรเพิ่มโค้ดบางส่วนเข้าไป วิธีนี้ช่วยให้คุณยังคงได้เปรียบจากโมเดลที่กำหนดเอง และยังได้รับความยืดหยุ่น ความเร็ว และราคาที่เอื้อมถึง

ให้เสรีภาพด้านวิศวกรรมเพื่อแก้ไขปัญหาทางธุรกิจ

ในทางกลับกัน บางครั้งปัญหาทางธุรกิจก็ยากที่จะแก้ไข 

เรากำลังพูดถึงช่องว่างเครือข่ายเต็มรูปแบบ LLM แอปพลิเคชัน แอปพลิเคชันบนอุปกรณ์ หรือโปรเจ็กต์ที่ต้องการให้แชทบอทมีความสามารถขั้นสูงมากกว่าการซิงค์ข้อมูลระหว่างสองแพลตฟอร์ม 

ในกรณีดังกล่าว การอนุญาตให้วิศวกรมีอิสระในการใช้เครื่องมือใดๆ ก็ได้ที่พวกเขาถนัดถือเป็นเรื่องสมเหตุสมผล โดยปกติแล้วนี่เป็นเพียงการเขียนโค้ด และผู้มีส่วนได้ส่วนเสียทำหน้าที่เป็นผู้จัดการโครงการเท่านั้น

1. ฉันจะประเมินผลตอบแทนจากการลงทุน (ROI) จากการลงทุนในแบบกำหนดเองได้อย่างไร LLM สำหรับธุรกิจของฉัน?

เริ่มต้นด้วยการเปรียบเทียบต้นทุนเบื้องต้นและต้นทุนต่อเนื่อง (เวลาทางวิศวกรรม โครงสร้างพื้นฐาน ค่าลิขสิทธิ์) กับผลกำไรที่คาดว่าจะได้รับ เช่น เวลาที่ประหยัดได้ ความพึงพอใจของลูกค้าที่เพิ่มขึ้น หรืออัตราการแปลงลูกค้า (Conversion Rate) ที่สูงขึ้น หากโมเดลนี้ทำให้งานที่มีต้นทุนสูงหรือสร้างผลกระทบสูงเป็นระบบอัตโนมัติ ผลตอบแทนจากการลงทุน (ROI) ก็จะสมเหตุสมผลมากขึ้น

2. ฉันควรติดตาม KPI ใดเพื่อวัดประสิทธิผลของการปรับแต่ง LLM -

พิจารณาตัวชี้วัดต่างๆ เช่น ความแม่นยำในการตอบสนอง ความหน่วง ความพึงพอใจของผู้ใช้ (CSAT หรือ NPS) อัตราการแก้ปัญหา และต้นทุนต่อการโต้ตอบ สิ่งเหล่านี้จะช่วยให้คุณประเมินทั้งประสิทธิภาพและผลกระทบทางธุรกิจของ LLM -

3. ฉันจะประเมินต้นทุนการบำรุงรักษาในระยะยาวของบริการที่กำหนดเองได้อย่างไร LLM สารละลาย?

พิจารณาค่าใช้จ่ายที่เกิดขึ้นประจำ เช่น การโฮสต์เซิร์ฟเวอร์ การฝึกอบรมหรือปรับแต่งโมเดลใหม่ เวลาทำงานด้านวิศวกรรมสำหรับการอัปเดต และเครื่องมือตรวจสอบ นอกจากนี้ ควรพิจารณาความถี่ในการเปลี่ยนแปลงข้อมูลของคุณด้วย เพราะสิ่งเหล่านี้จะส่งผลต่อความถี่ในการปรับแต่งใหม่

4. ฉันจะทำการเปรียบเทียบประสิทธิภาพที่แตกต่างกันได้อย่างไร LLMs สำหรับอุตสาหกรรมหรือโดเมนเฉพาะของฉัน?

ทดสอบโมเดลด้วยแบบสอบถามเฉพาะโดเมนจริง และประเมินคำตอบในด้านความถูกต้อง โทนเสียง และความเกี่ยวข้อง คุณยังสามารถใช้ชุดข้อมูลอุตสาหกรรมหรือจำลองงานของผู้ใช้ เพื่อดูว่าแต่ละโมเดลทำงานได้ดีเพียงใดภายใต้สภาวะแวดล้อมจริง

5. ควรมีมาตรฐานการปฏิบัติตามใดบ้าง LLM พบกันถ้าฉันจัดการข้อมูลผู้ใช้?

อย่างน้อยที่สุด ควรพิจารณา GDPR, SOC 2 และ HIPAA (ถ้ามี) ตรวจสอบให้แน่ใจว่าผู้ให้บริการโมเดลรองรับการเข้ารหัสข้อมูล บันทึกการตรวจสอบ และมีนโยบายการจัดการและการลบข้อมูลที่ชัดเจน