Trình ước tính mã thông báo

  # Tích hợp ước tính Tiktoken Ước tính số lượng mã thông báo cho văn bản bằng thư viện tiktoken, cho phép đếm mã thông báo chính xác cho OpenAI mô hình. ## Tính năng - **Đếm mã thông báo chính xác**: Sử dụng thư viện tiktoken chính thức để cung cấp ước tính mã thông báo chính xác - **Hỗ trợ nhiều mô hình**: Hỗ trợ nhiều OpenAI mô hình (gpt-3.5-turbo, gpt-4, v.v.) - **Giới hạn an toàn**: Kiểm tra giới hạn an toàn tùy chọn để ngăn chặn vượt quá mã thông báo - **Cấu hình Zero**: Không cần thiết lập - hoạt động ngay lập tức - **Xử lý lỗi**: Xử lý lỗi nhẹ nhàng với các thông báo mô tả ## Cách sử dụng ### Ước tính hành động mã thông báo Tích hợp cung cấp một hành động duy nhất: `estimateTokens` **Tham số đầu vào:** - `text` (bắt buộc): Văn bản để ước tính mã thông báo cho - `model` (tùy chọn): OpenAI mô hình sử dụng để mã hóa (mặc định là "gpt-3.5-turbo") - `safetyLimit` (tùy chọn): Giới hạn an toàn cho việc ước tính số lượng mã thông báo. Nếu để trống, sẽ không áp dụng giới hạn nào **Đầu ra:** - `tokenCount`: Số lượng mã thông báo ước tính trong văn bản - `tokenizerName`: Tên của bộ mã thông báo được sử dụng - `model`: Mô hình mà quá trình mã hóa dựa trên - `limitExceeded`: Chỉ ra liệu số lượng mã thông báo ước tính có vượt quá giới hạn an toàn hay không (chỉ hiển thị khi safetyLimit được cung cấp) ### Ví dụ sử dụng **Cách sử dụng cơ bản:** ``` Văn bản: "Xin chào thế giới!" Model: "gpt-3.5-turbo" Kết quả: - tokenCount: 4 - tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" ``` **Với Giới hạn An toàn:** ``` Văn bản: "Đây là văn bản dài hơn có thể vượt quá giới hạn an toàn của chúng tôi..." Model: "gpt-3.5-turbo" SafetyLimit: 10 Kết quả: - tokenCount: 15 - tokenizerName: "tiktoken" - model: "gpt-3.5-turbo" - limitExceeded: true ``` ## Các Model được Hỗ trợ - `gpt-3.5-turbo` - `gpt-4` - `gpt-4-turbo` - `text-davinci-003` - `text-davinci-002` - `code-davinci-002` - Và các OpenAI Các mô hình được TikTok hỗ trợ ## Giới hạn An toàn Khuyến nghị Khi thiết lập giới hạn an toàn, hãy cân nhắc rằng các lệnh gọi API thực tế của bạn sẽ bao gồm các mã thông báo bổ sung cho lời nhắc hệ thống, lịch sử trò chuyện và tạo phản hồi. Dưới đây là các khuyến nghị thận trọng: ### GPT -3.5-Turbo (giới hạn 4.096 mã thông báo) - **Thận trọng**: 2.500 mã thông báo (để lại ~1.600 cho lời nhắc hệ thống + phản hồi) - **Trung bình**: 3.000 mã thông báo (để lại ~1.100 cho lời nhắc hệ thống + phản hồi) - **Tích cực**: 3.500 mã thông báo (để lại ~600 cho lời nhắc hệ thống + phản hồi) ### GPT -4 (giới hạn 8.192 mã thông báo) - **Thận trọng**: 5.000 mã thông báo (để lại ~3.200 cho lời nhắc hệ thống + phản hồi) - **Trung bình**: 6.000 mã thông báo (để lại ~2.200 cho lời nhắc hệ thống + phản hồi) - **Tích cực**: 7.000 mã thông báo (để lại ~1.200 cho lời nhắc hệ thống + phản hồi) ### GPT -4 Turbo (giới hạn 128.000 mã thông báo) - **Thận trọng**: 100.000 mã thông báo (còn lại khoảng 28.000 cho lời nhắc hệ thống + phản hồi) - **Trung bình**: 110.000 mã thông báo (còn lại khoảng 18.000 cho lời nhắc hệ thống + phản hồi) - **Tích cực**: 120.000 mã thông báo (còn lại khoảng 8.000 cho lời nhắc hệ thống + phản hồi) **Lưu ý**: Các đề xuất này giả định kích thước lời nhắc hệ thống thông thường (200-800 mã thông báo) và độ dài phản hồi mong muốn (500-2.000 mã thông báo). Điều chỉnh dựa trên trường hợp sử dụng cụ thể của bạn. ## Xử lý lỗi Tích hợp xử lý nhiều tình huống lỗi khác nhau: - **Đầu vào không hợp lệ**: Trả về thông báo lỗi rõ ràng cho văn bản bị thiếu hoặc không hợp lệ - **Văn bản trống**: Trả về 0 mã thông báo cho chuỗi trống - **Mô hình không được hỗ trợ**: Trả về lỗi cho các mô hình không được tiktoken hỗ trợ - **Lỗi mã thông báo hóa**: Xử lý lỗi thư viện tiktoken một cách linh hoạt - **Cảnh báo giới hạn an toàn**: Ghi nhật ký cảnh báo khi số lượng mã thông báo vượt quá giới hạn an toàn ## Lợi ích - **Tối ưu hóa chi phí**: Ước tính chi phí mã thông báo trước khi thực hiện lệnh gọi API - **Giới hạn tỷ lệ**: Quản lý ngân sách mã thông báo và ngăn chặn vượt quá bằng giới hạn an toàn - **Logic quy trình làm việc**: Bật logic có điều kiện dựa trên số lượng mã thông báo và ngưỡng an toàn - **Minh bạch**: Cung cấp khả năng hiển thị các mẫu sử dụng mã thông báo - **Giám sát chủ động**: Đặt giới hạn an toàn để phát hiện sớm tình trạng vượt quá mã thông báo tiềm ẩn