ตัวประมาณค่าโทเค็น

  # การบูรณาการตัวประมาณค่า Tiktoken ประเมินจำนวนโทเค็นสำหรับข้อความโดยใช้ไลบรารี Tiktoken ช่วยให้นับโทเค็นได้อย่างแม่นยำ OpenAI โมเดล ## คุณสมบัติ - **การนับโทเค็นที่แม่นยำ**: ใช้ไลบรารี TikTok อย่างเป็นทางการเพื่อให้การประมาณโทเค็นที่แม่นยำ - **การรองรับหลายโมเดล**: รองรับต่างๆ OpenAI รุ่น (gpt-3.5-turbo, gpt-4 เป็นต้น) - **ขีดจำกัดความปลอดภัย**: การตรวจสอบขีดจำกัดความปลอดภัยที่เป็นทางเลือกเพื่อป้องกันการใช้โทเค็นเกิน - **การกำหนดค่าเป็นศูนย์**: ไม่ต้องตั้งค่าใดๆ - ใช้งานได้ทันที - **การจัดการข้อผิดพลาด**: การจัดการข้อผิดพลาดอย่างมีมารยาทด้วยข้อความอธิบาย ## การใช้งาน ### การดำเนินการประมาณโทเค็น การรวมนี้ให้การดำเนินการเพียงครั้งเดียว: `estimateTokens` **พารามิเตอร์อินพุต:** - `text` (จำเป็น): ข้อความที่จะประมาณโทเค็น - `model` (ทางเลือก): OpenAI โมเดลที่จะใช้สำหรับการสร้างโทเค็น (ค่าเริ่มต้นคือ "gpt-3.5-turbo") - `safetyLimit` (ตัวเลือก): ขีดจำกัดความปลอดภัยสำหรับการประมาณจำนวนโทเค็น หากปล่อยว่างไว้ จะไม่มีการกำหนดขีดจำกัด **ผลลัพธ์:** - `tokenCount`: จำนวนโทเค็นโดยประมาณในข้อความ - `tokenizerName`: ชื่อของโทเค็นไนเซอร์ที่ใช้ - `model`: โมเดลที่ใช้สร้างโทเค็น - `limitExceeded`: ระบุว่าจำนวนโทเค็นโดยประมาณเกินขีดจำกัดความปลอดภัยหรือไม่ (จะปรากฏเฉพาะเมื่อระบุ safetyLimit) ### ตัวอย่างการใช้งาน **การใช้งานพื้นฐาน:** ``` ข้อความ: "สวัสดีชาวโลก!" ไทย: รุ่น: "gpt-3.5-turbo" ผลลัพธ์: - tokenCount: 4 - tokenizerName: "tiktoken" - รุ่น: "gpt-3.5-turbo" ``` **มีขีดจำกัดความปลอดภัย:** ``` ข้อความ: "นี่คือข้อความที่ยาวกว่าซึ่งอาจเกินขีดจำกัดความปลอดภัยของเรา..." รุ่น: "gpt-3.5-turbo" SafetyLimit: 10 ผลลัพธ์: - tokenCount: 15 - tokenizerName: "tiktoken" - รุ่น: "gpt-3.5-turbo" - limitExceeded: true ``` ## รุ่นที่รองรับ - `gpt-3.5-turbo` - `gpt-4` - `gpt-4-turbo` - `text-davinci-003` - `text-davinci-002` - `code-davinci-002` - และอื่นๆ OpenAI โมเดลที่รองรับโดย TikTok ## ขีดจำกัดความปลอดภัยที่แนะนำ เมื่อตั้งค่าขีดจำกัดความปลอดภัย โปรดพิจารณาว่าการเรียกใช้ API จริงของคุณจะมีโทเค็นเพิ่มเติมสำหรับการแจ้งเตือนของระบบ ประวัติการสนทนา และการสร้างการตอบกลับ ต่อไปนี้คือคำแนะนำเบื้องต้น: ### GPT -3.5-Turbo (จำกัดโทเค็น 4,096) - **ค่อนข้างอนุรักษ์นิยม**: โทเค็น 2,500 โทเค็น (เหลือ ~1,600 สำหรับการแจ้งเตือนระบบ + การตอบกลับ) - **ปานกลาง**: โทเค็น 3,000 โทเค็น (เหลือ ~1,100 สำหรับการแจ้งเตือนระบบ + การตอบกลับ) - **ก้าวร้าว**: โทเค็น 3,500 โทเค็น (เหลือ ~600 สำหรับการแจ้งเตือนระบบ + การตอบกลับ) ### GPT -4 (จำกัดโทเค็น 8,192) - **อนุรักษ์นิยม**: โทเค็น 5,000 โทเค็น (เหลือ ~3,200 สำหรับการแจ้งเตือนระบบ + การตอบกลับ) - **ปานกลาง**: โทเค็น 6,000 โทเค็น (เหลือ ~2,200 สำหรับการแจ้งเตือนระบบ + การตอบกลับ) - **ก้าวร้าว**: โทเค็น 7,000 โทเค็น (เหลือ ~1,200 สำหรับการแจ้งเตือนระบบ + การตอบกลับ) ### GPT -4 Turbo (จำกัดโทเค็น 128,000 โทเค็น) - **แบบอนุรักษ์นิยม**: 100,000 โทเค็น (เหลือ ~28,000 โทเค็นสำหรับพรอมต์ระบบ + การตอบกลับ) - **แบบปานกลาง**: 110,000 โทเค็น (เหลือ ~18,000 โทเค็นสำหรับพรอมต์ระบบ + การตอบกลับ) - **แบบก้าวร้าว**: 120,000 โทเค็น (เหลือ ~8,000 โทเค็นสำหรับพรอมต์ระบบ + การตอบกลับ) **หมายเหตุ**: คำแนะนำเหล่านี้ใช้ขนาดพรอมต์ระบบทั่วไป (200-800 โทเค็น) และความยาวการตอบกลับที่ต้องการ (500-2,000 โทเค็น) สามารถปรับได้ตามกรณีการใช้งานของคุณ ## การจัดการข้อผิดพลาด การบูรณาการจะจัดการกับสถานการณ์ข้อผิดพลาดต่างๆ: - **อินพุตไม่ถูกต้อง**: ส่งคืนข้อความแสดงข้อผิดพลาดที่ชัดเจนสำหรับข้อความที่หายไปหรือไม่ถูกต้อง - **ข้อความว่างเปล่า**: ส่งคืนโทเค็น 0 รายการสำหรับสตริงว่าง - **โมเดลที่ไม่ได้รับการสนับสนุน**: ส่งคืนข้อผิดพลาดสำหรับโมเดลที่ไม่ได้รับการสนับสนุนโดย TikTok - **ข้อผิดพลาดในการสร้างโทเค็น**: จัดการข้อผิดพลาดของไลบรารี TikTok ได้อย่างราบรื่น - **คำเตือนขีดจำกัดความปลอดภัย**: บันทึกคำเตือนเมื่อจำนวนโทเค็นเกินขีดจำกัดความปลอดภัย ## ประโยชน์ - **การเพิ่มประสิทธิภาพต้นทุน**: ประมาณต้นทุนโทเค็นก่อนทำการเรียก API - **การจำกัดอัตรา**: จัดการงบประมาณโทเค็นและป้องกันการใช้เกินด้วยขีดจำกัดความปลอดภัย - **ตรรกะเวิร์กโฟลว์**: เปิดใช้งานตรรกะแบบมีเงื่อนไขตามจำนวนโทเค็นและเกณฑ์ความปลอดภัย - **ความโปร่งใส**: ให้การมองเห็นรูปแบบการใช้งานโทเค็น - **การตรวจสอบเชิงรุก**: กำหนดขีดจำกัดความปลอดภัยเพื่อตรวจจับการใช้โทเค็นเกินที่อาจเกิดขึ้นได้แต่เนิ่นๆ