1. 토큰화(Tokenizer) 이해하기

토크화이란 ?

컴퓨터는 텍스트를 직접 읽을 수 없고 오직 숫자만 처리할 수 있다.

따라서 자연어 처리(NLP)의 가장 첫번째 단계는 문장을 의미 있는 최소 단위(토큰(Token))로 나누고, 이를 숫자로 변환하는 과정이다. 

이 과정을 토큰화 (Tokenizer) 이라고 부른다. 

문장 -> 토큰 -> 숫자

 

주요 토크나이징 기법 3가지

토큰을 어떤 기준으로 나누느냐에 따라 모델의 성능과 효율성이 결정된다. 

1. 단어 단위 (Word - based)
2. 문자 단위 (Character - based)
3. 서브워드 단위 (Subword - based)  
   
   

구현 방법 

transformers 라이브러리를 활용하여 손쉽게 토큰화를 구현할 수 있다. 

 

 

왜 중요한가 ? 

토크화는 단순히 문장을 자르는 작업이 아니다.

이는 모델이 세상을 언어를 이해하는 방식, 즉 "세상을 바라보는 해상도"를 결정하는 핵심 과정이다. 

서비스의 특성(예: 한국어 중심, 코드 생성 등)에 따라 적절한 토크나이저를 선택하는 것이 매우 중요하다.

 

 

제미나이, 챗지피티 등을 이용 하여 작성