ยังไง Botpress อินเทอร์เฟซกับ LLMs

เมื่อไม่นานนี้ฉันได้รับอีเมลจากนักวิชาการผู้มีความสามารถคนหนึ่งถามว่า Botpress อินเทอร์เฟซกับ LLMs -

เขากำลังเขียนรายงานเกี่ยวกับการหลีกเลี่ยงการล็อกอินของผู้ขาย และต้องการทราบว่าเราอาจใช้กรอบงานเช่น LangChain หรือ Haystack หรือไม่

ฉันมีความยินดีเป็นอย่างยิ่งที่จะแบ่งปันกับเขาว่าเราได้สร้างสิ่งที่เป็นนามธรรมของเราเองที่อนุญาต Botpress ผู้สร้างที่จะเชื่อมต่อกับ LLMs -

เนื่องจากมีผู้สนใจเรื่องนี้มากขึ้น ฉันจึงอยากเผยแพร่ข้อมูลนี้ต่อสาธารณะ ซึ่งอาจเป็นประโยชน์สำหรับนักพัฒนาคนอื่นๆ หรือผู้ใช้แพลตฟอร์มของเรา ฉันหวังว่าคุณจะพบว่ามันน่าสนใจพอๆ กับที่ฉันพบว่ามันน่าสนใจในการสร้างมันขึ้นมา

สองทาง Botpress อินเทอร์เฟซกับ LLMs

Botpress ได้สร้างแนวคิดนามธรรมของตัวเองที่ทำงานได้สองวิธี:

1. การบูรณาการ

การบูรณาการมีแนวคิดเรื่องการกระทำที่มีประเภทอินพุตและเอาต์พุตที่เฉพาะเจาะจง

เรามีส่วนประกอบโอเพนซอร์สบนแพลตฟอร์ม ดังนั้นชุมชนจึงสามารถสร้างการรวมข้อมูลของตนเองได้ ซึ่งอาจเป็นแบบส่วนตัวหรือเปิดให้ใช้งานสาธารณะได้

ดังนั้น LLM ผู้ให้บริการ – OpenAI Anthropic, Groq ฯลฯ – แต่ละตัวมีการบูรณาการ ซึ่งเป็นวิธีที่ผู้ใช้สามารถเชื่อมต่อกับพวกมันได้

2. LLM อินเทอร์เฟซการรวม

นอกเหนือจากแนวคิดการบูรณาการแล้ว เรายังเพิ่ม "อินเทอร์เฟซ" อีกด้วย

สิ่งเหล่านี้เป็นเพียงคำจำกัดความของโครงร่างมาตรฐานที่การบูรณาการสามารถขยายได้ เราได้สร้าง โครงร่างมาตรฐานสำหรับ LLMs

ตราบใดที่การบูรณาการขยายโครงร่างนี้ การบูรณาการจะถือเป็น LLM ผู้ให้บริการ ดังนั้นจึงใช้งานได้ทันที Botpress -

นี่คือตัวอย่างบางส่วนของ Botpress การบูรณาการที่แตกต่างกัน LLM ผู้ให้บริการ:

เรามีอินเทอร์เฟซที่คล้ายกันสำหรับ text2image, image2text, voice2text, text2voice ฯลฯ

การกำหนดค่าแบบจำลอง

ภายใน Botpress Studio เรามีการกำหนดค่าทั่วไปสองแบบ ได้แก่ "Best Model" และ "Fast Model" โดยทั่วไปแล้ว เราพบว่างานส่วนใหญ่สามารถใช้งานโหมดใดโหมดหนึ่งจากสองโหมดนี้ได้อย่างง่ายดาย

ภาพหน้าจอแสดงตัวเลือกระหว่าง 'เร็ว' และ 'ดีที่สุด' LLM ค่าเริ่มต้นบน Botpress แพลตฟอร์ม. — *ภาพหน้าจอจาก Botpress แพลตฟอร์ม.*

ภาพหน้าจอของการเลือกกลยุทธ์แบบจำลองบน Botpress ทางเลือกระหว่างเร็วที่สุด ไฮบริด และดีที่สุด — *ภาพหน้าจอจาก Botpress แพลตฟอร์ม.*

‍

นอกเหนือไปจากการเลือกใช้โมเดลอย่างแท้จริงแล้ว เรายังพบว่าผู้ให้บริการแต่ละรายมีความแตกต่างกันมากเกินไปในเรื่องการเรียกใช้เครื่องมือและรูปแบบข้อความ ทำให้ไม่สามารถสลับโมเดลหนึ่งไปยังอีกโมเดลหนึ่งได้อย่างง่ายดายและคาดหวังประสิทธิภาพที่ดีได้

การ Botpress เครื่องมืออนุมาน

ด้วยเหตุนี้ เราจึงสร้างกลไกการอนุมานของเราเองที่เรียกว่า LLMz ซึ่งทำงานกับโมเดลใดก็ได้โดยไม่ต้องเปลี่ยนแปลงพร้อมท์ (หรือเปลี่ยนแปลงเพียงเล็กน้อย) และยังให้การเรียกใช้เครื่องมือที่ดีกว่ามาก และมักจะมีประสิทธิภาพที่ดีกว่ามากในแง่ของต้นทุนโทเค็นและ LLM ไปกลับ

เอ็นจิ้นนี้ทำงานกับประเภท typescript เบื้องหลังสำหรับคำจำกัดความของเครื่องมือ มาร์กดาวน์สำหรับรูปแบบเอาต์พุตข้อความและโค้ด และ LLM -แซนด์บ็อกซ์การดำเนินการดั้งเดิมสำหรับการอนุมาน

LLMz มีคุณสมบัติการเพิ่มประสิทธิภาพและการดีบักมากมายที่จำเป็นสำหรับกรณีการใช้งานขั้นสูง เช่น:

การบีบอัดโทเค็นอินพุต
การตัดทอนโทเค็นอัจฉริยะ
หน่วยความจำตามบริบทที่ได้รับการปรับให้เหมาะกับโทเค็น
การเรียกเครื่องมือแบบคู่ขนานและแบบผสม
การผสมผสานข้อความหลาย ๆ ข้อความและการเรียกใช้เครื่องมือในหนึ่งเดียว LLM เรียก
เครื่องมือที่ปลอดภัยสำหรับการพิมพ์อย่างสมบูรณ์ (อินพุตและเอาต์พุต)
เซสชั่นระยะยาวผ่านการทำซีเรียลไลเซชันแบบแซนด์บ็อกซ์
การล้อเลียนเครื่องมือ การห่อ และการติดตาม
การแยกการทำงานแบบเต็มรูปแบบใน V8 แบบแยกน้ำหนักเบา (ช่วยให้สามารถรันการทำงานพร้อมกันได้หลายพันครั้งอย่างรวดเร็วและในราคาถูกมาก)
การทำซ้ำอัตโนมัติและการกู้คืนข้อผิดพลาด

สิ่งเหล่านี้มีความจำเป็นสำหรับกรณีการใช้งานของเรา แต่ทำไม่ได้หรือทำได้ยากมากด้วยการเรียกใช้เครื่องมือปกติ

กรณีต่อต้านโมเดลเราเตอร์น้ำหนักเบา

เราคิดมานานเกี่ยวกับการสร้างเราเตอร์รุ่นน้ำหนักเบาที่จะวางทับบนรุ่นที่มีอยู่และเลือกรุ่นที่เหมาะสมกับงานโดยอัตโนมัติ

แต่เราตัดสินใจที่จะไม่ทำเช่นนั้นเพราะหลายเหตุผล:

1. ความสามารถในการคาดเดาได้

ลูกค้าส่วนใหญ่ของเราต่างต้องการผลลัพธ์ที่น่าเชื่อถือและคาดเดาได้ ซึ่งก็เป็นเรื่องที่เข้าใจได้

แนวคิดของเราเตอร์แบบจำลองไดนามิกจึงค่อนข้างน่ากลัวสำหรับตัวแทนระดับสูง เนื่องจากทำให้เกิดความไม่สามารถคาดเดาได้อีกชั้นหนึ่ง LLMs -

2. ความเร็ว

ความหน่วงเวลาเป็นสิ่งสำคัญมากสำหรับกรณีการใช้งานของเรา หากต้องการให้เราเตอร์ทำงานเร็ว โมเดลจะต้องมีขนาดเล็กมาก (และอาจกล่าวได้ว่าโง่กว่า) โมเดลที่จะส่งผ่าน ซึ่งอาจเป็นโปรแกรมจำแนกประเภทแบบดั้งเดิม

แม้ว่าโดยทั่วไปแล้วสิ่งเหล่านี้จะทำงานได้ดีเมื่อได้รับการฝึกฝนในงานเฉพาะ แต่ a) ขนาดบริบทสั้นถือเป็นปัญหาสำหรับคำกระตุ้นที่ยาว และ b) ไม่สามารถสรุปเป็นคำกระตุ้นอื่นนอกเหนือจากสิ่งที่ได้รับการฝึกฝนมา

3. ความเป็นเลิศของแบบจำลองหรือความเท่าเทียมของแบบจำลอง

แม้ว่าเกณฑ์มาตรฐานอาจบอกเป็นอย่างอื่น แต่ในทางปฏิบัติ เราแทบไม่เคยเห็นโมเดลที่มีประสิทธิภาพเหนือกว่าเลย GPT -40 (จนถึงตอนนี้)

ยังไม่ชัดเจนว่า LLMs จะทำงานได้ดีกว่าในงาน X มากกว่างาน Y เมื่อเวลาผ่านไป หรือถ้าทั้งหมด LLMs จะจบลงด้วยการเก่งมากในหลายๆ สิ่ง ในกรณีหลัง การเลือกแบบจำลองจะไม่คุ้มค่ากับความพยายาม

การป้องกันอนาคต LLMs พร้อมข้อเสนอแนะ

LLMs จะกลายเป็นสินค้าโภคภัณฑ์ในอีกไม่กี่ปีข้างหน้า และการเลือกรุ่นก็จะไม่ใช่สิ่งสำคัญอีกต่อไป

ด้วยเหตุผลดังกล่าว เราจึงตัดสินใจทุ่มเทความพยายามของเราในการจัดหาเครื่องมือที่ดีสำหรับการให้ LLMs พร้อมตัวอย่าง

ดังนั้นเราจึงได้สร้างระบบเพื่อรวบรวมข้อเสนอแนะ ระบบจะจัดเก็บ "การเรียนรู้" สำหรับการดำเนินการในอนาคต และจัดเตรียมการเรียนรู้ที่เกี่ยวข้องที่สุดอย่างไดนามิกในเวลาที่เหมาะสมเพื่อการดำเนินการในอนาคต เพื่อให้แน่ใจว่ามีการปรับปรุงที่เชื่อถือได้และต่อเนื่องตลอดเวลา

เช่น LLMs เมื่อแต่ละส่วนได้รับการสร้างขึ้นเพื่อประสิทธิภาพที่สูงขึ้นเรื่อยๆ เราก็พร้อมและตื่นเต้นที่จะได้ใช้ประโยชน์จากส่วนต่างๆ เหล่านี้ให้เกิดประโยชน์สูงสุดสำหรับผู้ใช้แพลตฟอร์มของเรา