เมื่อไม่นานนี้ฉันได้รับอีเมลจากนักวิชาการผู้มีความสามารถคนหนึ่งถามว่า Botpress อินเทอร์เฟซกับ LLMs -
เขากำลังเขียนรายงานเกี่ยวกับการหลีกเลี่ยงการล็อกอินของผู้ขาย และต้องการทราบว่าเราอาจใช้กรอบงานเช่น LangChain หรือ Haystack หรือไม่
ฉันมีความยินดีเป็นอย่างยิ่งที่จะแบ่งปันกับเขาว่าเราได้สร้างสิ่งที่เป็นนามธรรมของเราเองที่อนุญาต Botpress ผู้สร้างที่จะเชื่อมต่อกับ LLMs -
เนื่องจากมีผู้สนใจเรื่องนี้มากขึ้น ฉันจึงอยากเผยแพร่ข้อมูลนี้ต่อสาธารณะ ซึ่งอาจเป็นประโยชน์สำหรับนักพัฒนาคนอื่นๆ หรือผู้ใช้แพลตฟอร์มของเรา ฉันหวังว่าคุณจะพบว่ามันน่าสนใจพอๆ กับที่ฉันพบว่ามันน่าสนใจในการสร้างมันขึ้นมา
สองทาง Botpress อินเทอร์เฟซกับ LLMs
Botpress ได้สร้างแนวคิดนามธรรมของตัวเองที่ทำงานได้สองวิธี:
1. การบูรณาการ
การบูรณาการมีแนวคิดเรื่องการกระทำที่มีประเภทอินพุตและเอาต์พุตที่เฉพาะเจาะจง
เรามีส่วนประกอบโอเพนซอร์สบนแพลตฟอร์ม ดังนั้นชุมชนจึงสามารถสร้างการรวมข้อมูลของตนเองได้ ซึ่งอาจเป็นแบบส่วนตัวหรือเปิดให้ใช้งานสาธารณะได้
ดังนั้น LLM ผู้ให้บริการ – OpenAI - Anthropic - Groq ฯลฯ – แต่ละอย่างมีการบูรณาการ นั่นเป็นวิธีหนึ่งที่ผู้ใช้สามารถเชื่อมต่อกับสิ่งเหล่านี้ได้
2. LLM อินเทอร์เฟซการรวม
นอกเหนือจากแนวคิดการบูรณาการแล้ว เรายังเพิ่ม "อินเทอร์เฟซ" อีกด้วย
สิ่งเหล่านี้เป็นเพียงคำจำกัดความของโครงร่างมาตรฐานที่การบูรณาการสามารถขยายได้ เราได้สร้าง โครงร่างมาตรฐานสำหรับ LLMs
ตราบใดที่การบูรณาการขยายโครงร่างนี้ การบูรณาการจะถือเป็น LLM ผู้ให้บริการ ดังนั้นจึงใช้งานได้ทันที Botpress -
นี่คือตัวอย่างบางส่วนของ Botpress การบูรณาการที่แตกต่างกัน LLM ผู้ให้บริการ:
เรามีอินเทอร์เฟซที่คล้ายกันสำหรับ text2image, image2text, voice2text, text2voice ฯลฯ
การกำหนดค่าแบบจำลอง
ภายใน Botpress Studio เรามีการกำหนดค่าทั่วไปสองแบบ ได้แก่ "Best Model" และ "Fast Model" โดยทั่วไปแล้ว เราพบว่างานส่วนใหญ่สามารถใช้งานโหมดใดโหมดหนึ่งจากสองโหมดนี้ได้อย่างง่ายดาย
นอกเหนือไปจากการเลือกใช้โมเดลอย่างแท้จริงแล้ว เรายังพบว่าผู้ให้บริการแต่ละรายมีความแตกต่างกันมากเกินไปในเรื่องการเรียกใช้เครื่องมือและรูปแบบข้อความ ทำให้ไม่สามารถสลับโมเดลหนึ่งไปยังอีกโมเดลหนึ่งได้อย่างง่ายดายและคาดหวังประสิทธิภาพที่ดีได้
การ Botpress เครื่องมืออนุมาน
ด้วยเหตุนี้ เราจึงสร้างกลไกการอนุมานของเราเองที่เรียกว่า LLMz ซึ่งทำงานกับโมเดลใดก็ได้โดยไม่ต้องเปลี่ยนแปลงพร้อมท์ (หรือเปลี่ยนแปลงเพียงเล็กน้อย) และยังให้การเรียกใช้เครื่องมือที่ดีกว่ามาก และมักจะมีประสิทธิภาพที่ดีกว่ามากในแง่ของต้นทุนโทเค็นและ LLM ไปกลับ
เอ็นจิ้นนี้ทำงานกับประเภท typescript เบื้องหลังสำหรับคำจำกัดความของเครื่องมือ มาร์กดาวน์สำหรับรูปแบบเอาต์พุตข้อความและโค้ด และ LLM -แซนด์บ็อกซ์การดำเนินการดั้งเดิมสำหรับการอนุมาน
LLMz มีคุณสมบัติการเพิ่มประสิทธิภาพและการดีบักมากมายที่จำเป็นสำหรับกรณีการใช้งานขั้นสูง เช่น:
- การบีบอัดโทเค็นอินพุต
- การตัดทอนโทเค็นอัจฉริยะ
- หน่วยความจำตามบริบทที่ได้รับการปรับให้เหมาะกับโทเค็น
- การเรียกเครื่องมือแบบคู่ขนานและแบบผสม
- การผสมผสานข้อความหลาย ๆ ข้อความและการเรียกใช้เครื่องมือในหนึ่งเดียว LLM เรียก
- เครื่องมือที่ปลอดภัยสำหรับการพิมพ์อย่างสมบูรณ์ (อินพุตและเอาต์พุต)
- เซสชั่นระยะยาวผ่านการทำซีเรียลไลเซชันแบบแซนด์บ็อกซ์
- การล้อเลียนเครื่องมือ การห่อ และการติดตาม
- การแยกการทำงานแบบเต็มรูปแบบใน V8 แบบแยกน้ำหนักเบา (ช่วยให้สามารถรันการทำงานพร้อมกันได้หลายพันครั้งอย่างรวดเร็วและในราคาถูกมาก)
- การทำซ้ำอัตโนมัติและการกู้คืนข้อผิดพลาด
สิ่งเหล่านี้มีความจำเป็นสำหรับกรณีการใช้งานของเรา แต่ทำไม่ได้หรือทำได้ยากมากด้วยการเรียกใช้เครื่องมือปกติ
กรณีต่อต้านโมเดลเราเตอร์น้ำหนักเบา
เราคิดมานานเกี่ยวกับการสร้างเราเตอร์รุ่นน้ำหนักเบาที่จะวางทับบนรุ่นที่มีอยู่และเลือกรุ่นที่เหมาะสมกับงานโดยอัตโนมัติ
แต่เราตัดสินใจที่จะไม่ทำเช่นนั้นเพราะหลายเหตุผล:
1. ความสามารถในการคาดเดาได้
ลูกค้าส่วนใหญ่ของเราต่างต้องการผลลัพธ์ที่น่าเชื่อถือและคาดเดาได้ ซึ่งก็เป็นเรื่องที่เข้าใจได้
แนวคิดของเราเตอร์แบบจำลองไดนามิกจึงค่อนข้างน่ากลัวสำหรับตัวแทนระดับสูง เนื่องจากทำให้เกิดความไม่สามารถคาดเดาได้อีกชั้นหนึ่ง LLMs -
2. ความเร็ว
ความหน่วงเวลาเป็นสิ่งสำคัญมากสำหรับกรณีการใช้งานของเรา หากต้องการให้เราเตอร์ทำงานเร็ว โมเดลจะต้องมีขนาดเล็กมาก (และอาจกล่าวได้ว่าโง่กว่า) โมเดลที่จะส่งผ่าน ซึ่งอาจเป็นโปรแกรมจำแนกประเภทแบบดั้งเดิม
แม้ว่าโดยทั่วไปแล้วสิ่งเหล่านี้จะทำงานได้ดีเมื่อได้รับการฝึกฝนในงานเฉพาะ แต่ a) ขนาดบริบทสั้นถือเป็นปัญหาสำหรับคำกระตุ้นที่ยาว และ b) ไม่สามารถสรุปเป็นคำกระตุ้นอื่นนอกเหนือจากสิ่งที่ได้รับการฝึกฝนมา
3. ความเป็นเลิศของแบบจำลองหรือความเท่าเทียมของแบบจำลอง
แม้ว่าเกณฑ์มาตรฐานอาจบอกเป็นอย่างอื่น แต่ในทางปฏิบัติ เราแทบไม่เคยเห็นโมเดลที่มีประสิทธิภาพเหนือกว่าเลย GPT -40 (จนถึงตอนนี้)
ยังไม่ชัดเจนว่า LLMs จะทำงานได้ดีกว่าในงาน X มากกว่างาน Y เมื่อเวลาผ่านไป หรือถ้าทั้งหมด LLMs จะจบลงด้วยการเก่งมากในหลายๆ สิ่ง ในกรณีหลัง การเลือกแบบจำลองจะไม่คุ้มค่ากับความพยายาม
การป้องกันอนาคต LLMs พร้อมข้อเสนอแนะ
LLMs จะกลายเป็นสินค้าโภคภัณฑ์ในอีกไม่กี่ปีข้างหน้า และการเลือกรุ่นก็จะไม่ใช่สิ่งสำคัญอีกต่อไป
ด้วยเหตุผลดังกล่าว เราจึงตัดสินใจทุ่มเทความพยายามของเราในการจัดหาเครื่องมือที่ดีสำหรับการให้ LLMs พร้อมตัวอย่าง
ดังนั้นเราจึงได้สร้างระบบเพื่อรวบรวมข้อเสนอแนะ ระบบจะจัดเก็บ "การเรียนรู้" สำหรับการดำเนินการในอนาคต และจัดเตรียมการเรียนรู้ที่เกี่ยวข้องที่สุดอย่างไดนามิกในเวลาที่เหมาะสมเพื่อการดำเนินการในอนาคต เพื่อให้แน่ใจว่ามีการปรับปรุงที่เชื่อถือได้และต่อเนื่องตลอดเวลา
เช่น LLMs เมื่อแต่ละส่วนได้รับการสร้างขึ้นเพื่อประสิทธิภาพที่สูงขึ้นเรื่อยๆ เราก็พร้อมและตื่นเต้นที่จะได้ใช้ประโยชน์จากส่วนต่างๆ เหล่านี้ให้เกิดประโยชน์สูงสุดสำหรับผู้ใช้แพลตฟอร์มของเรา
.png)
