AI · 탐지 엔진 · AI & detection engine
토큰화 (Tokenization)
Definition
텍스트를 토큰이라는 작은 단위로 분할해 모델 입력으로 만드는 전처리 과정이다.
The preprocessing step of splitting text into smaller units called tokens for model input.
AI · 탐지 엔진 · AI & detection engine
텍스트를 토큰이라는 작은 단위로 분할해 모델 입력으로 만드는 전처리 과정이다.
The preprocessing step of splitting text into smaller units called tokens for model input.