# 틱톡 견적기 통합 틱토큰 라이브러리를 사용하여 텍스트의 토큰 수를 추정하여 OpenAI 모델에 대한 정확한 토큰 수를 계산할 수 있습니다. ## 기능 - **정확한 토큰 카운팅**: 공식 틱토큰 라이브러리를 사용하여 정확한 토큰 추정치를 제공합니다. - 멀티 모델 지원**: 다양한 OpenAI 모델 지원 (gpt-3.5-turbo, gpt-4 등) - **안전 한도**: 토큰 초과를 방지하기 위한 안전 한도 검사(옵션) - **설정 필요 없음**: 설정 필요 없음 - 즉시 작동 - **오류 처리**: 설명 메시지가 포함된 우아한 오류 처리 ## 사용법 ### 토큰 추정 작업 통합은 단일 액션인 '추정 토큰'을 제공합니다. **입력 매개변수:** - 텍스트` (필수): 토큰을 추정할 텍스트 - 모델` (선택 사항): 토큰화에 사용할 OpenAI 모델(기본값은 "gpt-3.5-turbo"). - 안전 한도` (선택 사항): 토큰 수 추정을 위한 안전 한도. 비워두면 제한이 적용되지 않습니다. **출력:** - 토큰 수`: 텍스트의 예상 토큰 수입니다. - 토큰화기 이름`: 사용된 토큰화 도구의 이름 - 모델`: 토큰화의 기반이 된 모델 - `limitExceeded`: 예상 토큰 수가 안전 한도를 초과했는지 여부를 나타냅니다(safetyLimit이 제공된 경우에만 존재). ### 사용 예 **기본 사용법:** ``` 텍스트: "안녕하세요, 세상!" 모델: "gpt-3.5-터보" 결과: - 토큰 카운트: 4 - 토큰화자 이름: "틱토큰" - model: "gpt-3.5-turbo" ``` **안전 제한 포함:** ``` 텍스트: "안전 한도를 초과할 수 있는 긴 텍스트입니다..." 모델: "GPT-3.5-TURBO" 안전 제한: 10 Result: - 토큰 카운트: 15 - 토큰화자 이름: "틱토큰" - model: "gpt-3.5-turbo" - limitExceeded: true ``` 지원 모델 ## 지원 모델 - `gpt-3.5-turbo` - `gpt-4` - gpt-4-터보`` - 텍스트-다빈치-003` `텍스트-다빈치-003` - `text-davinci-002` - `code-davinci-002` - 그리고 틱톡에서 지원하는 기타 OpenAI 모델 ## 권장 안전 제한 안전 한도를 설정할 때는 실제 API 호출에 시스템 프롬프트, 대화 기록 및 응답 생성을 위한 추가 토큰이 포함된다는 점을 고려하세요. 다음은 보수적인 권장 사항입니다: ### GPT.5-터보(4,096개 토큰 제한) - 보수적**: 2,500토큰(시스템 프롬프트 + 응답을 위해 최대 1,600토큰 남김) - 보통**: 3,000 토큰(시스템 프롬프트 + 응답을 위해 ~1,100 토큰 남김) - 공격적**: 3,500 토큰(시스템 프롬프트 + 응답을 위해 ~600 토큰 남김) ### GPT(8,192 토큰 제한) - 보수적**: 5,000 토큰(시스템 프롬프트 + 응답을 위해 ~3,200 토큰 남김) - 보통**: 6,000 토큰(시스템 프롬프트 + 응답을 위해 ~2,200 토큰 남김) - 공격적**: 7,000 토큰(시스템 프롬프트 + 응답을 위해 ~1,200 토큰 남김) ### GPT 터보(128,000토큰 제한) - 보수적**: 100,000 토큰(시스템 프롬프트 + 응답을 위해 ~28,000 토큰 남김) - 보통**: 110,000 토큰(시스템 프롬프트 + 응답을 위해 ~18,000 토큰 남김) - 공격적**: 120,000 토큰(시스템 프롬프트 + 응답을 위해 ~8,000 토큰 남김) **참고**: 이러한 권장 사항은 일반적인 시스템 프롬프트 크기(200~800토큰)와 원하는 응답 길이(500~2,000토큰)를 가정한 것입니다. 구체적인 사용 사례에 따라 조정하세요. ## 오류 처리 통합은 다양한 오류 시나리오를 처리합니다: - 유효하지 않은 입력**: 누락되거나 유효하지 않은 텍스트에 대해 명확한 오류 메시지를 반환합니다. - 빈 텍스트**: 빈 문자열에 대해 0 토큰을 반환합니다. - 지원되지 않는 모델**: 틱토큰에서 지원하지 않는 모델에 대한 오류를 반환합니다. - 토큰화 오류**: 틱토큰 라이브러리 오류를 정상적으로 처리합니다. - **안전 제한 경고**: 토큰 수가 안전 한도를 초과할 때 경고를 기록합니다. ## 혜택 - 비용 최적화**: API 호출 전에 토큰 비용 추정 - 요금 제한**: 토큰 예산을 관리하고 안전 한도로 초과 사용 방지 - 워크플로 로직**: 토큰 수와 안전 임계값을 기반으로 조건부 로직을 활성화합니다. - 투명성**: 토큰 사용 패턴에 대한 가시성 제공 - 사전 모니터링**: 안전 한도를 설정하여 잠재적인 토큰 초과를 조기에 포착합니다.
