วิธีเพิ่มประสิทธิภาพต้นทุนการใช้จ่าย AI ใน Botpress

เคล็ดลับที่ 1: เลือกโมเดล AI ที่เหมาะสม

การเลือกโมเดล AI ส่งผลกระทบอย่างมากต่อต้นทุน ตั้งแต่ GPT-3.5 Turbo เร็วกว่าและถูกกว่า GPT-4 Turbo เราขอแนะนําให้ทดสอบการตั้งค่าของคุณอย่างละเอียดด้วย GPT-3.5 Turbo ก่อนพิจารณาอัปเกรดเป็นเวอร์ชันขั้นสูง 

โหมดไฮบริด KB Agent ของเรามีพื้นกลางที่ยอดเยี่ยมตามที่เราใช้ในตอนแรก GPT-3.5 Turbo เพื่อพยายามตอบคําถามและส่งต่อไปยัง GPT-4 เทอร์โบเฉพาะในกรณีที่จําเป็น

เคล็ดลับที่ 2: ป้องกัน KB ของคุณ

คุณสามารถลดการใช้จ่าย AI ของคุณโดยการป้องกัน KB ของคุณจากคําถามที่พบบ่อยทั่วไปที่ไม่จําเป็นซึ่งไม่ต้องการ AI หรือการตอบรับอัจฉริยะด้วยการ์ด Find Records นี่คือวิธีการทํางาน: หากคุณรู้ว่าผู้ใช้มักจะถามคําถามหนึ่งข้อและเรามีคําถามที่รู้จักกันดี 50 ข้อพร้อมคําตอบของพวกเขาเราสามารถเพิ่มลงในตารางและค้นหาตารางนั้นโดยใช้การ์ด Find Records ในกรณีที่เราไม่พบคําตอบ เราจะดูใน KB เท่านั้น

เคล็ดลับ 3: กําหนดขอบเขต KBs ของคุณอย่างเหมาะสม

ขึ้นอยู่กับประเภทของข้อมูลและปริมาณของข้อมูลที่คุณต้องการเพิ่มลงใน KB โดยปกติแล้วแนวทางปฏิบัติที่ดีที่สุดคือทําสองสิ่งควบคู่กันไปเพื่อลดต้นทุนการใช้จ่ายด้าน AI ขั้นแรก จัดระเบียบข้อมูลของคุณเป็น KB ขนาดเล็ก โดยแต่ละ KB จะกําหนดขอบเขตตามผลิตภัณฑ์/คุณลักษณะ/หัวข้อเฉพาะ ประการที่สอง ขับเคลื่อนผู้ใช้ผ่านเวิร์กโฟลว์ที่มีคําถามหลายข้อเพื่อกําหนดขอบเขตการค้นหาของคุณไปยัง KB เฉพาะ สิ่งนี้จะไม่เพียง แต่ลดต้นทุน แต่ยังให้ผลลัพธ์ที่ดีขึ้นอีกด้วย

เคล็ดลับ 4: แหล่งข้อมูล KB ของเว็บไซต์เทียบกับการค้นหาแหล่งข้อมูล KB ของเว็บ

หากคุณใช้เว็บไซต์เป็นแหล่งข้อมูล KB ของคุณ แต่ไม่ได้ทําการเปลี่ยนแปลงอย่างต่อเนื่องกับเว็บไซต์ที่ต้องสะท้อนให้บอทของคุณเห็นแบบเรียลไทม์ทางเลือกที่ดีที่คุ้มค่าคือการใช้ Search The Web เป็นแหล่งข้อมูล KB ของคุณแทนแหล่งข้อมูล KB ของเว็บไซต์ ก่อนทําการเปลี่ยนแปลงนั้นตรวจสอบให้แน่ใจว่าได้ทดสอบว่าประสิทธิภาพของคําถามที่คุณคาดว่าจะถูกถามไม่ได้ลดลงด้วยสวิตช์นี้

เคล็ดลับ 5: สอบถามตารางด้วยการ์ดค้นหาเรกคอร์ดหรือรันโค้ด

ถ้าคุณมีตารางที่มีข้อมูลที่คุณต้องการคิวรี ให้พิจารณาใช้การ์ด ค้นหาระเบียน แทนการใช้ตารางใน KB สําหรับผู้ที่มีความเชี่ยวชาญด้านเทคนิคการรันโค้ดอาจเป็นวิธีการสืบค้นตารางที่คุ้มค่ายิ่งขึ้น คุณทําได้โดยคิวรีตารางโดยตรงจากการ์ด Execute Code และจัดเก็บผลลัพธ์ในตัวแปรเวิร์กโฟลว์ที่คุณสามารถอ้างอิงได้ในภายหลัง

เคล็ดลับ 6: ควบคุมชิ้นส่วน

โดยก้อนฉันหมายถึงจํานวนชิ้นที่จะดึงมาจากฐานความรู้เพื่อสร้างคําตอบ โดยทั่วไป ยิ่งดึงชิ้นส่วนมากเท่าใด คําตอบก็จะยิ่งแม่นยํามากขึ้นเท่านั้น แต่จะใช้เวลานานกว่าในการสร้างและทําให้โทเค็น AI เสียค่าใช้จ่ายมากขึ้น ทดลองกับขนาดก้อนเพื่อสร้างจํานวนต่ําสุดที่ยังคงนําไปสู่การตอบสนองที่แม่นยํา

ทางเลือกข้อความที่ชาญฉลาดยิ่งขึ้น

หากคุณต้องการให้บอทของคุณส่งการตอบกลับ AI ที่แตกต่างกันสําหรับข้อความค้นหาเดียวกันทุกครั้งคุณต้องป้องกันการแคช (ดูภาคผนวกเพื่อเรียนรู้วิธีการ) มีสถานการณ์ที่การเพิ่มขึ้นของการใช้จ่าย AI สามารถพิสูจน์ได้ด้วยการปรับปรุงประสบการณ์การสนทนา แต่นี่ไม่ใช่กรณีเสมอไป

ลองนึกถึงคําทักทายง่ายๆ ที่สร้างขึ้นด้วย LLMs. ในการทักทายแต่ละครั้ง คุณจะต้องเสียค่าใช้จ่าย AI Spend เพิ่มเติม มันคุ้มค่าหรือไม่? อาจจะไม่ โชคดีที่มีวิธีแก้ปัญหาที่คุ้มค่า: ใช้อาร์เรย์ที่มีการตอบสนองหลายรายการและฟังก์ชันง่ายๆ เพื่อสุ่มดึงค่าและนําเสนอ 

จํานวนเงินที่คุณประหยัดได้โดยใช้วิธีนี้อาจคุ้มค่ากับความพยายามทั้งนี้ขึ้นอยู่กับปริมาณการสนทนา

คุณสามารถดูรายละเอียดเพิ่มเติมเกี่ยวกับวิธีติดตั้งข้อความแสดงแทนได้ที่นี่

การเรียกใช้โค้ดสําหรับงานง่ายๆ

สําหรับงานง่ายๆ เช่น การจัดรูปแบบข้อมูลใหม่หรือการดึงข้อมูลจากข้อมูลที่มีโครงสร้าง การใช้การ์ด Execute Code อาจมีประสิทธิภาพ ถูกกว่า และเร็วกว่าการพึ่งพา LLM.

รายการทางเลือกสําหรับ Summary Agent

คุณสามารถใช้การ์ด Execute Code เพื่อสร้างการถอดเสียงของคุณเอง  วางการ์ด Execute Code ทุกที่ที่คุณต้องการติดตามข้อความของผู้ใช้และบอทในตัวแปรอาร์เรย์ หลังจากนั้น คุณสามารถใช้อาร์เรย์นั้นและป้อนเป็นบริบทให้กับ KB ของคุณได้

เลือกโมเดล AI ที่เหมาะสม 

ใช่ การเลือกโมเดล AI ที่เหมาะสมมีความสําคัญมากจนควรค่าแก่การกล่าวถึงสองครั้ง เช่นเดียวกับ KBs การเลือกโมเดล AI ส่งผลกระทบอย่างมากต่อต้นทุนเมื่อพูดถึงงาน AI เลือกใช้ GPT-3.5 Turbo สําหรับคําแนะนําที่ซับซ้อนน้อยกว่า ก่อนพิจารณาอัปเกรดเป็นเวอร์ชันขั้นสูง ให้ทดสอบการตั้งค่าของคุณกับรุ่นนี้อย่างละเอียด จำ GPT-4 Turbo มีราคามากกว่า 20 เท่า GPT-3.5 เทอร์โบ เว้นแต่ผลลัพธ์จะดีกว่ามาก ให้เลือก GPT–3.5 เทอร์โบ

นอกเหนือจากข้างต้น คุณยังสามารถประหยัด AI Spend ได้ด้วยการลดจํานวนโทเค็นที่ใช้ในการเรียกใช้งาน AI แต่ละครั้ง

คําแนะนําของฉันคือให้มีสติเกี่ยวกับการลดจํานวนนี้เพราะจะส่งผลให้โทเค็นเพิ่มเติมถูกตัดทอน ตัวอย่างเช่น หากคุณจํากัดความยาวไว้ที่ 2000 โทเค็น และข้อความแจ้งบวกกับเอาต์พุตของคุณมากกว่า 2000 โทเค็น อินพุตของคุณจะถูกตัดทอนตามนั้น

งาน AI เทียบกับ AI สร้างข้อความ

สําหรับเอาต์พุตข้อความอย่างง่าย การ์ด AI Generate Text ใช้โทเค็นน้อยกว่าและตั้งค่าได้ง่ายกว่าการ์ดงาน AI สําหรับงานที่เกี่ยวข้องกับการแยกวิเคราะห์ข้อมูล การ์ดงาน AI มีประสิทธิภาพดีกว่าการ์ด AI สร้างข้อความ 

ดังนั้นคําแนะนําของฉันคือการใช้การ์ดงาน AI เมื่อคุณต้องการใช้ AI เพื่อประมวลผลข้อมูล (เช่นหากคุณต้องการตรวจจับความตั้งใจของผู้ใช้หรือหากคุณต้องการให้ AI วิเคราะห์อินพุต) แต่ถ้าคุณต้องการใช้ประโยชน์จาก AI เพื่อสร้างข้อความ ให้ใช้การ์ด AI Generate Text แทน (เช่น หากคุณต้องการใช้คําตอบ KB และขยาย หรือหากคุณต้องการสร้างคําถามอย่างสร้างสรรค์)

สําหรับข้อมูลเชิงลึกเกี่ยวกับความแตกต่างระหว่างการ์ด AI Task และการ์ด AI Generate Text เรียนรู้เพิ่มเติมที่นี่

แปล

หากบอทของคุณจะจัดการกับการสนทนาหลายภาษาจํานวนมาก ให้พิจารณารวมตะขอเข้ากับบริการแปลภายนอกเพื่อตัวเลือกที่คุ้มค่ากว่า

คุณสามารถหาข้อมูลเพิ่มเติมเกี่ยวกับตะขอได้ที่นี่