13. GloVe

 

GloVe란 무엇인가?

2014년 스탬포드 대학교에서 발표한 GloVe는 단어 임베딩의 두 가지 큰 흐름인 '카운트 기반 (Count-based) 방식과 예측 기반(Predictive)  방식을 결한한 모델이다. 

• 카운트 기반(LSA 등): 전체 말뭉치에서 단어들이 동사에 몇 번 등장했는지 통계를 낸다. ( 전체적인 문맥 파악에 유리)
• 예측 기반(Word2Vec) : 원도우를 옮겨가며 주변 단어를 예측한다. (단어 간 유사도 파악에 유리)

GloVe는 이 두 장점을 합쳐 전체 말뭉치에서 단어들이 같이 나타나는 횟수의 비율을 학습 목표로 삼아있다. 

-> 단어 간 전체 통계 기반

 

 

GloVe는 전체 말뭉치(corpus)의 통계 정보를 활용하여 단어 벡터를 학습하는 방법이다.

핵심은 

단어 간 “동시 등장(co-occurrence)” 확률을 기반으로 의미를 학습한다.

반응형

핵심 아이디어 : 동시 등장 확률의 비율 (Co-occurrence Probabilities)

GloVe의 핵심을 단순히 "A와 B가 얼마나 자주 나오는가? " 가 아니라, "단어 C가 주어졌을 때, A와 함께 나올 확률과 B와 함께 나올 확률의 비율을 보는 것이다. 

예 : '얼음(Ice)과 '증기(Steam)'

• '차갑다(solid)' 라는 단어는 '얼음'과는 자주 쓰이지만 '증기'와는 드물게 쓰인다. 
• '뜨겁다(Gas)'라는 단어는 '증기'와는 자주 쓰이지만 '얼음'과는 두물게 쓰인다.
• '물(Water)이나 '패션(Fashion)' 같은 단어는 두 단어 모두에 관련이 깊거나 아예 없어서 비율이 1에 가깝다. 

GloVe는 이러한 '비율(Ratio)'을 벡터 공간에 그대로 투명하여, 단어 시아의 관계를 수학적으로 훨씬 더 정교하게 표현한다. 

-> 여기서 패턴을 학습하여 벡터 생성한다. 

 

GloVe의 장점

1. 전역적 정보 활용 : 데이터셋 전체의 통계적 정보를 반영하므로, Word2Vec보다 말뭉치 전체의 의미를 더 잘 담아낸다. 
2. 안정적인 성능 : 학습 데이터가 적을 때도 비교적 준수한 성능을 보이며, 대규모 말뭉치에서도 단어 간의 유사성을 매우 정확하게 측정한다. 
3. 빠른 학습 : 동시 등장 행렬(Co-occurrence Matrix)을 미리 계산해두기 때문에, 반복적인 윈도우 스캔 과정이 적어 효율적이다. 

한계

• 메모리 많이 사용(co-occurrence matrix)
• 희귀 단어 처리 어려움
• 문맥 반영 못함 (정적 임베딩)

 

Python  실습 : 사전 학습된 Glove 활용

GloVe는 직접 학습시키기보다 이미 거대한 위키피디아 데이터로 학습된 벡터를 불러와서 사용하는 경우가 많다.

728x90

 

언제 사용하면 좋을까?

• 데이터 전체 통계가 중요한 경우 
• 안정적인 임베딩이 필요한 경우 
• Word2Vec보다 해석력을 주요시할 때 

 

요약: Word2Vec vs GloVe

비교 항목	Word2Vec	GloVe
핵심 기법	구소적 윈도우 예측	전역적 동시 등장 통계
방식	예측 기반	통계 기반
학습 데이터	윈도우 내 주변 단어 쌍	전체 말뭉치의 빈도 행렬
학습	로컬 문맥	전체 코퍼스
구조	신경망	행렬 분해
특징	새로운 단어 업데이트에 유연함/ 빠름	단어 간 전체적인 관계 파악에 강함/ 안정적

 

-> Word2Vec = "문맥으로 예측하면서 학습" , GloVe = "전체 통계를 분석해서 학습"

 

GloVe는 단어 임베딩이 단순한 예측을 넘어, 데이터 전체의 통계적 구조를 어떻게 수학적으로 표현할 수 있는지 보여준 기념비적인 모델이다. 

 

 

 

제미나이, 챗지피티 등을 이용 하여 작성