토크나이저

종류: Concept · 등장 1일

정의: 텍스트를 모델 입력 단위(토큰)로 쪼개는 전처리 구성요소

등장한 날

• 2026-09-08 — 트렌드 스냅샷

공출현 이웃

LLM · Anthropic · 오픈소스 · API · Claude · AI 에이전트 · 브라우저 · 프롬프트 엔지니어링