วิธีเพิ่มประสิทธิภาพต้นทุนการใช้จ่าย AI ใน Botpress

ธุรกิจจํานวนมากเผชิญกับความท้าทายในการใช้ประโยชน์จากศักยภาพของเทคโนโลยี AI โดยไม่ต้องใช้จ่ายมากเกินไป เราเข้าใจถึงความสําคัญของความสมดุลนี้และมุ่งมั่นที่จะจัดหาโซลูชันที่ช่วยให้ผู้ใช้ของเราใช้ประโยชน์จาก AI ได้อย่างคุ้มค่า

แนวทางของเราต่อต้นทุน AI

สิ่งสําคัญคือต้องเข้าใจองค์ประกอบสําคัญสองประการของวิธีที่เราลดต้นทุนที่เกี่ยวข้องกับ AI สําหรับผู้ใช้ของเราในขณะที่ยังคงให้ประโยชน์ของความสามารถของ AI

การกําหนดราคาที่โปร่งใส: ไม่มีค่าธรรมเนียมแอบแฝง

เราไม่เพิ่มระยะขอบใด ๆ ในงานที่เกี่ยวข้องกับ AI ซึ่งหมายความว่าค่าใช้จ่าย AI Spend ของคุณเกี่ยวข้องโดยตรงกับการใช้งานจริงของคุณโดยไม่มีค่าธรรมเนียม AI เพิ่มเติมจากฝั่งของเรา คุณสามารถใช้ เครื่องคํานวณการใช้จ่าย AI ของเราเพื่อประเมินการใช้จ่าย AI ที่เป็นไปได้ของคุณกับเรา

แคชการตอบสนองของ AI

การแคชเป็นหนึ่งในกลยุทธ์ที่มีประสิทธิภาพมากที่สุดของเราในการลดต้นทุน AI ของบอท ด้วยการแคชการตอบกลับของ AI เราจะลดจํานวนคําขอไปยัง LLM ผู้ให้บริการซึ่งสามารถลดต้นทุนของการสืบค้นได้ประมาณ 30% ช่วยให้คุณประหยัดเงินได้โดยไม่กระทบต่อคุณภาพของการโต้ตอบของบอทกับผู้ใช้ของคุณ

เคล็ดลับในการเพิ่มประสิทธิภาพต้นทุน AI

ตอนนี้เราได้เห็นสองวิธีที่เราดําเนินการเพื่อลดการใช้จ่าย AI ของผู้ใช้แล้ว มาดูเคล็ดลับที่คุณสามารถใช้ในขณะที่สร้างบอทของคุณเพื่อลดต้นทุน AI ลงอีก

เพิ่มประสิทธิภาพฐานความรู้ของคุณ

การเพิ่มประสิทธิภาพฐานความรู้ (KBs) ของคุณมีอิทธิพลอย่างมากต่อการใช้จ่าย AI ของคุณ เนื่องจาก KBs มักจะเป็นตัวขับเคลื่อนต้นทุน AI ที่ใหญ่ที่สุดใน Botpress โครงการ

เคล็ดลับที่ 1: เลือกโมเดล AI ที่เหมาะสม

การเลือกโมเดล AI ส่งผลกระทบอย่างมากต่อต้นทุน เนื่องจาก GPT-3.5 Turbo เร็วกว่าและถูกกว่า GPT-4 Turbo เราขอแนะนําให้ทดสอบการตั้งค่าของคุณด้วย GPT-3.5 Turbo อย่างละเอียดก่อนที่จะพิจารณาอัปเกรดเป็นเวอร์ชันขั้นสูง 

โหมดไฮบริด KB Agent ของเรามีจุดกึ่งกลางที่ยอดเยี่ยม เนื่องจากในตอนแรกเราใช้ GPT-3.5 Turbo เพื่อพยายามตอบคําถามและส่งต่อไปยัง GPT-4 Turbo เมื่อจําเป็นเท่านั้น

เคล็ดลับที่ 2: ป้องกัน KB ของคุณ

คุณสามารถลดการใช้จ่าย AI ของคุณโดยการป้องกัน KB ของคุณจากคําถามที่พบบ่อยทั่วไปที่ไม่จําเป็นซึ่งไม่ต้องการ AI หรือการตอบรับอัจฉริยะด้วยการ์ด Find Records นี่คือวิธีการทํางาน: หากคุณรู้ว่าผู้ใช้มักจะถามคําถามหนึ่งข้อและเรามีคําถามที่รู้จักกันดี 50 ข้อพร้อมคําตอบของพวกเขาเราสามารถเพิ่มลงในตารางและค้นหาตารางนั้นโดยใช้การ์ด Find Records ในกรณีที่เราไม่พบคําตอบ เราจะดูใน KB เท่านั้น

เคล็ดลับ 3: กําหนดขอบเขต KBs ของคุณอย่างเหมาะสม

ขึ้นอยู่กับประเภทของข้อมูลและปริมาณของข้อมูลที่คุณต้องการเพิ่มลงใน KB โดยปกติแล้วแนวทางปฏิบัติที่ดีที่สุดคือทําสองสิ่งควบคู่กันไปเพื่อลดต้นทุนการใช้จ่ายด้าน AI ขั้นแรก จัดระเบียบข้อมูลของคุณเป็น KB ขนาดเล็ก โดยแต่ละ KB จะกําหนดขอบเขตตามผลิตภัณฑ์/คุณลักษณะ/หัวข้อเฉพาะ ประการที่สอง ขับเคลื่อนผู้ใช้ผ่านเวิร์กโฟลว์ที่มีคําถามหลายข้อเพื่อกําหนดขอบเขตการค้นหาของคุณไปยัง KB เฉพาะ สิ่งนี้จะไม่เพียง แต่ลดต้นทุน แต่ยังให้ผลลัพธ์ที่ดีขึ้นอีกด้วย

เคล็ดลับ 4: แหล่งข้อมูล KB ของเว็บไซต์เทียบกับการค้นหาแหล่งข้อมูล KB ของเว็บ

หากคุณใช้เว็บไซต์เป็นแหล่งข้อมูล KB ของคุณ แต่ไม่ได้ทําการเปลี่ยนแปลงอย่างต่อเนื่องกับเว็บไซต์ที่ต้องสะท้อนให้บอทของคุณเห็นแบบเรียลไทม์ทางเลือกที่ดีที่คุ้มค่าคือการใช้ Search The Web เป็นแหล่งข้อมูล KB ของคุณแทนแหล่งข้อมูล KB ของเว็บไซต์ ก่อนทําการเปลี่ยนแปลงนั้นตรวจสอบให้แน่ใจว่าได้ทดสอบว่าประสิทธิภาพของคําถามที่คุณคาดว่าจะถูกถามไม่ได้ลดลงด้วยสวิตช์นี้

เคล็ดลับ 5: สอบถามตารางด้วยการ์ดค้นหาเรกคอร์ดหรือรันโค้ด

ถ้าคุณมีตารางที่มีข้อมูลที่คุณต้องการคิวรี ให้พิจารณาใช้การ์ด ค้นหาระเบียน แทนการใช้ตารางใน KB สําหรับผู้ที่มีความเชี่ยวชาญด้านเทคนิคการรันโค้ดอาจเป็นวิธีการสืบค้นตารางที่คุ้มค่ายิ่งขึ้น คุณทําได้โดยคิวรีตารางโดยตรงจากการ์ด Execute Code และจัดเก็บผลลัพธ์ในตัวแปรเวิร์กโฟลว์ที่คุณสามารถอ้างอิงได้ในภายหลัง

เคล็ดลับ 6: ควบคุมชิ้นส่วน

โดยก้อนฉันหมายถึงจํานวนชิ้นที่จะดึงมาจากฐานความรู้เพื่อสร้างคําตอบ โดยทั่วไป ยิ่งดึงชิ้นส่วนมากเท่าใด คําตอบก็จะยิ่งแม่นยํามากขึ้นเท่านั้น แต่จะใช้เวลานานกว่าในการสร้างและทําให้โทเค็น AI เสียค่าใช้จ่ายมากขึ้น ทดลองกับขนาดก้อนเพื่อสร้างจํานวนต่ําสุดที่ยังคงนําไปสู่การตอบสนองที่แม่นยํา

ใช้ Execute Code Card เพื่อลดต้นทุนการใช้จ่าย AI

การ์ด Execute Code สามารถทดแทนการ์ด AI บางใบได้อย่างเหมาะสมและคุ้มค่า ต่อไปนี้คือสถานการณ์บางส่วนที่คุณสามารถพิจารณาใช้:

ทางเลือกข้อความที่ชาญฉลาดยิ่งขึ้น

หากคุณต้องการให้บอทของคุณส่งการตอบกลับ AI ที่แตกต่างกันสําหรับข้อความค้นหาเดียวกันทุกครั้งคุณต้องป้องกันการแคช (ดูภาคผนวกเพื่อเรียนรู้วิธีการ) มีสถานการณ์ที่การเพิ่มขึ้นของการใช้จ่าย AI สามารถพิสูจน์ได้ด้วยการปรับปรุงประสบการณ์การสนทนา แต่นี่ไม่ใช่กรณีเสมอไป

ลองนึกถึงคําทักทายง่ายๆ ที่สร้างขึ้นด้วย LLM ในการทักทายแต่ละครั้ง คุณจะต้องเสียค่าใช้จ่าย AI Spend เพิ่มเติม มันคุ้มค่าหรือไม่? อาจจะไม่ โชคดีที่มีวิธีแก้ปัญหาที่คุ้มค่า: ใช้อาร์เรย์ที่มีการตอบสนองหลายรายการและฟังก์ชันง่ายๆ เพื่อสุ่มดึงค่าและนําเสนอ 

จํานวนเงินที่คุณประหยัดได้โดยใช้วิธีนี้อาจคุ้มค่ากับความพยายามทั้งนี้ขึ้นอยู่กับปริมาณการสนทนา

คุณสามารถดูรายละเอียดเพิ่มเติมเกี่ยวกับวิธีติดตั้งข้อความแสดงแทนได้ที่นี่

การเรียกใช้โค้ดสําหรับงานง่ายๆ

สําหรับงานง่ายๆ เช่น การจัดรูปแบบข้อมูลใหม่หรือการดึงข้อมูลจากข้อมูลที่มีโครงสร้าง การใช้การ์ด Execute Code อาจมีประสิทธิภาพ ถูกกว่า และเร็วกว่าการพึ่งพา LLM.

รายการทางเลือกสําหรับ Summary Agent

คุณสามารถใช้การ์ด Execute Code เพื่อสร้างการถอดเสียงของคุณเอง  วางการ์ด Execute Code ทุกที่ที่คุณต้องการติดตามข้อความของผู้ใช้และบอทในตัวแปรอาร์เรย์ หลังจากนั้น คุณสามารถใช้อาร์เรย์นั้นและป้อนเป็นบริบทให้กับ KB ของคุณได้

ลดความซับซ้อนเมื่อเป็นไปได้

เลือกใช้วิธีการโต้ตอบที่ง่ายกว่าซึ่งบรรลุเป้าหมายเดียวกันโดยไม่ทําให้ประสบการณ์ของผู้ใช้ลดลง ตัวอย่างเช่น หากคุณสนใจที่จะรวบรวมความคิดเห็นของผู้ใช้ ระบบการให้คะแนนดาวอย่างง่ายพร้อมความคิดเห็นจะคุ้มค่ากว่าการใช้ AI เพื่อรวบรวมข้อมูลเดียวกัน

เคล็ดลับสําหรับงาน AI, AI สร้างข้อความ และการแปล

เลือกโมเดล AI ที่เหมาะสม 

ใช่ การเลือกโมเดล AI ที่เหมาะสมมีความสําคัญมากจนควรค่าแก่การกล่าวถึงสองครั้ง เช่นเดียวกับ KBs การเลือกโมเดล AI ส่งผลกระทบอย่างมากต่อต้นทุนเมื่อพูดถึงงาน AI เลือกใช้ GPT-3.5 Turbo สําหรับคําแนะนําที่ซับซ้อนน้อยกว่า ก่อนพิจารณาอัปเกรดเป็นเวอร์ชันขั้นสูง ให้ทดสอบการตั้งค่าของคุณกับรุ่นนี้อย่างละเอียด โปรดจําไว้ว่า GPT-4 Turbo มีราคามากกว่า GPT-20 Turbo ถึง 3.5 เท่า เว้นแต่ผลลัพธ์จะดีกว่ามาก ให้เลือก GPT–3.5 Turbo

นอกเหนือจากข้างต้น คุณยังสามารถประหยัด AI Spend ได้ด้วยการลดจํานวนโทเค็นที่ใช้ในการเรียกใช้งาน AI แต่ละครั้ง

คําแนะนําของฉันคือให้มีสติเกี่ยวกับการลดจํานวนนี้เพราะจะส่งผลให้โทเค็นเพิ่มเติมถูกตัดทอน ตัวอย่างเช่น หากคุณจํากัดความยาวไว้ที่ 2000 โทเค็น และข้อความแจ้งบวกกับเอาต์พุตของคุณมากกว่า 2000 โทเค็น อินพุตของคุณจะถูกตัดทอนตามนั้น

งาน AI เทียบกับ AI สร้างข้อความ

สําหรับเอาต์พุตข้อความอย่างง่าย การ์ด AI Generate Text ใช้โทเค็นน้อยกว่าและตั้งค่าได้ง่ายกว่าการ์ดงาน AI สําหรับงานที่เกี่ยวข้องกับการแยกวิเคราะห์ข้อมูล การ์ดงาน AI มีประสิทธิภาพดีกว่าการ์ด AI สร้างข้อความ 

ดังนั้นคําแนะนําของฉันคือการใช้การ์ดงาน AI เมื่อคุณต้องการใช้ AI เพื่อประมวลผลข้อมูล (เช่นหากคุณต้องการตรวจจับความตั้งใจของผู้ใช้หรือหากคุณต้องการให้ AI วิเคราะห์อินพุต) แต่ถ้าคุณต้องการใช้ประโยชน์จาก AI เพื่อสร้างข้อความ ให้ใช้การ์ด AI Generate Text แทน (เช่น หากคุณต้องการใช้คําตอบ KB และขยาย หรือหากคุณต้องการสร้างคําถามอย่างสร้างสรรค์)

สําหรับข้อมูลเชิงลึกเกี่ยวกับความแตกต่างระหว่างการ์ด AI Task และการ์ด AI Generate Text เรียนรู้เพิ่มเติมที่นี่

แปล

หากบอทของคุณจะจัดการกับการสนทนาหลายภาษาจํานวนมาก ให้พิจารณารวมตะขอเข้ากับบริการแปลภายนอกเพื่อตัวเลือกที่คุ้มค่ากว่า

คุณสามารถหาข้อมูลเพิ่มเติมเกี่ยวกับตะขอได้ที่นี่

บทสรุป

ด้วยกลยุทธ์และเคล็ดลับเหล่านี้ คุณจะสามารถเพิ่มประสิทธิภาพการใช้จ่าย AI ของคุณได้ Botpress. การทําความเข้าใจผลกระทบด้านต้นทุนของงานต่างๆ และเลือกวิธีการที่มีประสิทธิภาพสูงสุดสําหรับความต้องการของคุณจะช่วยลดค่าใช้จ่ายที่เกี่ยวข้องกับ AI ของคุณโดยไม่ลดทอนประสิทธิภาพ

ทีมงานของเราพร้อมช่วยคุณสํารวจตัวเลือกเหล่านี้ และตรวจสอบให้แน่ใจว่าบอทของคุณมอบประสบการณ์ที่ดีที่สุดแก่ผู้ใช้ของคุณด้วยต้นทุนที่มีประสิทธิภาพสูงสุด เยี่ยมชม หน้าราคา ของเราสําหรับข้อมูลเพิ่มเติมหรือเยี่ยมชมเซิร์ฟเวอร์ Discord ของเราเพื่อขอความช่วยเหลือ

ไส้ติ่ง

วิธีป้องกันการแคช

หากคุณต้องการเอาชนะการแคชเพื่อให้ได้ผลลัพธ์สดเสมอคุณสามารถทําตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• สําหรับการป้องกันการแคชชั่วคราว: เผยแพร่บอทของคุณและทดสอบจากหน้าต่างที่ไม่ระบุตัวตน

หมายเหตุ: ทุกสิ่งเท่าเทียมกัน โดยการลบเลเยอร์แคชนี้และไม่ทําการเปลี่ยนแปลงอื่นใดกับบอทของคุณ

หลักสูตรที่แนะนํา

• ‍ChatGPT Prompt Engineering สําหรับนักพัฒนา (แม้ว่าชื่อจะระบุว่าสําหรับนักพัฒนา แต่ผู้ที่ไม่ใช่นักพัฒนาก็จะได้รับประโยชน์เช่นกัน!)
• ‍ระบบอาคารด้วย ChatGPT เอพีไอ