8. 임베딩(Embedding)

임베딩이란 ?

임베딩은 단어나 문장을 고차원의 벡터 (Vector, 숫자의 배열) 로 변환하는 기술이다. 단순히 숫자를 매기는 것이 아니라, 비슷한 의미를 가진 단어끼리 가까운 공간에 배치하는 것이 핵심이다. 

-> 그 토큰을 의미를 담은 숫자로 표현하는 단계

 

예:

단어:

king, queen, man, woman

임베딩 벡터 (예시):

king   → [0.21, 0.54, 0.13, ...]
queen  → [0.25, 0.60, 0.15, ...]

중요한 점:

• king과 queen은 비슷한 벡터
• 의미가 가까울수록 벡터도 가까워짐

왜 필요한가?

컴퓨터는 텍스트를 직접 이해하지 못한다. 따라서 단어를 단순한 숫자가 아닌, 의미를 반영한 벡터로 변환해야 한다. 

• 관계정 파악: 왕 - 남자 + 여자 = 여왕"과 같은 연산이 가능해진다. 
• 차원의 축소 : 수만 개의 단어를 일일이 나열하지 않고, 핵심적인 의미 속성들(차원)로 압축하여 표현한다. 
• 문맥 파악 : 단어와 주변 단어들을 통해 의미를 유추함으로써, 문장 전체의 뉘앙스를 숫자로 표현할 수 있다.

반응형

특징 

• 의미를 숫자포 표현
• 유사한 단어는 가까운 위치
• 벡터 공간에서 연산 가능

유명한 예

king - man + woman ≈ queen

-> 의미 관계를 벡터 연산으로 표현 가능

 

임베딩의 발전 과정

1. 원 - 핫 인코딩 : 단어 사전 크기만큼의 공간을 만들고 해당 단어 위치만 1로 표시. (의미 파악 불가, 공간 낭비 심함)
2. Word2Vec : 단어의 주변 단어들을 학습하여 단어 자체의 의미를 벡터로 변환. (단어의 관계성 파악 시작)
3. Contextual Embedding(BERT등) : 똑같은 '배'라도 '먹는 배'인지 '타는 배'인지 문맥에 따라 다른 벡터 값을 가짐. (현재 LLM의 핵심)

 

대표 임베딩 기법

1. Word2Vec : 단어 주변 문맥으로 학습
2. GloVe : 단어 간 전체 통계 기반
3. Transformer 기반 임베딩 : 단어 간 전체 통계 기반 
   BERT, GPT등

728x90

정적 vs 동적 임베딩

구분	설명
정적 임베딩	단어마다 하나의 벡터(Word2Vec)
동적 임베딩	문맥에 따라 벡터 변화(BERT)

 

 

요약

임베딩은 텍스트를 의미 있는 숫자 벡터로 변환하는 과정으로, 자연어 처리에서 핵심적인 역할을 한다. 

 

 

제미나이, 챗지피티 등을 이용 하여 작성