토큰 추정기

텍스트: "안녕하세요, 세상!"
모델: "gpt-3.5-터보"

결과:
- 토큰 카운트: 4
- 토큰화자 이름: "틱토큰"
- model: "gpt-3.5-turbo"

텍스트: "안전 한도를 초과할 수 있는 긴 텍스트입니다..."
모델: "GPT-3.5-TURBO"
안전 제한: 10

Result:
- 토큰 카운트: 15
- 토큰화자 이름: "틱토큰"
- model: "gpt-3.5-turbo"
- limitExceeded: true

  # 틱톡 견적기 통합

틱토큰 라이브러리를 사용하여 텍스트의 토큰 수를 추정하여 OpenAI 모델에 대한 정확한 토큰 수를 계산할 수 있습니다.

## 기능

- **정확한 토큰 카운팅**: 공식 틱토큰 라이브러리를 사용하여 정확한 토큰 추정치를 제공합니다.
- 멀티 모델 지원**: 다양한 OpenAI 모델 지원 (gpt-3.5-turbo, gpt-4 등)
- **안전 한도**: 토큰 초과를 방지하기 위한 안전 한도 검사(옵션)
- **설정 필요 없음**: 설정 필요 없음 - 즉시 작동
- **오류 처리**: 설명 메시지가 포함된 우아한 오류 처리

## 사용법

### 토큰 추정 작업

통합은 단일 액션인 '추정 토큰'을 제공합니다.

**입력 매개변수:**
- 텍스트` (필수): 토큰을 추정할 텍스트
- 모델` (선택 사항): 토큰화에 사용할 OpenAI 모델(기본값은 "gpt-3.5-turbo").
- 안전 한도` (선택 사항): 토큰 수 추정을 위한 안전 한도. 비워두면 제한이 적용되지 않습니다.

**출력:**
- 토큰 수`: 텍스트의 예상 토큰 수입니다.
- 토큰화기 이름`: 사용된 토큰화 도구의 이름
- 모델`: 토큰화의 기반이 된 모델
- `limitExceeded`: 예상 토큰 수가 안전 한도를 초과했는지 여부를 나타냅니다(safetyLimit이 제공된 경우에만 존재).

### 사용 예

**기본 사용법:**
```
텍스트: "안녕하세요, 세상!"
모델: "gpt-3.5-터보"

결과:
- 토큰 카운트: 4
- 토큰화자 이름: "틱토큰"
- model: "gpt-3.5-turbo"
```

**안전 제한 포함:**
```
텍스트: "안전 한도를 초과할 수 있는 긴 텍스트입니다..."
모델: "GPT-3.5-TURBO"
안전 제한: 10

Result:
- 토큰 카운트: 15
- 토큰화자 이름: "틱토큰"
- model: "gpt-3.5-turbo"
- limitExceeded: true
```

지원 모델 ## 지원 모델

- `gpt-3.5-turbo`
- `gpt-4`
- gpt-4-터보``
- 텍스트-다빈치-003` `텍스트-다빈치-003`
- `text-davinci-002`
- `code-davinci-002`
- 그리고 틱톡에서 지원하는 기타 OpenAI 모델

## 권장 안전 제한

안전 한도를 설정할 때는 실제 API 호출에 시스템 프롬프트, 대화 기록 및 응답 생성을 위한 추가 토큰이 포함된다는 점을 고려하세요. 다음은 보수적인 권장 사항입니다:

### GPT.5-터보(4,096개 토큰 제한)
- 보수적**: 2,500토큰(시스템 프롬프트 + 응답을 위해 최대 1,600토큰 남김)
- 보통**: 3,000 토큰(시스템 프롬프트 + 응답을 위해 ~1,100 토큰 남김)
- 공격적**: 3,500 토큰(시스템 프롬프트 + 응답을 위해 ~600 토큰 남김)

### GPT(8,192 토큰 제한)
- 보수적**: 5,000 토큰(시스템 프롬프트 + 응답을 위해 ~3,200 토큰 남김)
- 보통**: 6,000 토큰(시스템 프롬프트 + 응답을 위해 ~2,200 토큰 남김)
- 공격적**: 7,000 토큰(시스템 프롬프트 + 응답을 위해 ~1,200 토큰 남김)

### GPT 터보(128,000토큰 제한)
- 보수적**: 100,000 토큰(시스템 프롬프트 + 응답을 위해 ~28,000 토큰 남김)
- 보통**: 110,000 토큰(시스템 프롬프트 + 응답을 위해 ~18,000 토큰 남김)
- 공격적**: 120,000 토큰(시스템 프롬프트 + 응답을 위해 ~8,000 토큰 남김)

**참고**: 이러한 권장 사항은 일반적인 시스템 프롬프트 크기(200~800토큰)와 원하는 응답 길이(500~2,000토큰)를 가정한 것입니다. 구체적인 사용 사례에 따라 조정하세요.

## 오류 처리

통합은 다양한 오류 시나리오를 처리합니다:

- 유효하지 않은 입력**: 누락되거나 유효하지 않은 텍스트에 대해 명확한 오류 메시지를 반환합니다.
- 빈 텍스트**: 빈 문자열에 대해 0 토큰을 반환합니다.
- 지원되지 않는 모델**: 틱토큰에서 지원하지 않는 모델에 대한 오류를 반환합니다.
- 토큰화 오류**: 틱토큰 라이브러리 오류를 정상적으로 처리합니다.
- **안전 제한 경고**: 토큰 수가 안전 한도를 초과할 때 경고를 기록합니다.

## 혜택

- 비용 최적화**: API 호출 전에 토큰 비용 추정
- 요금 제한**: 토큰 예산을 관리하고 안전 한도로 초과 사용 방지
- 워크플로 로직**: 토큰 수와 안전 임계값을 기반으로 조건부 로직을 활성화합니다.
- 투명성**: 토큰 사용 패턴에 대한 가시성 제공
- 사전 모니터링**: 안전 한도를 설정하여 잠재적인 토큰 초과를 조기에 포착합니다.