14. 카운트 기반(Count-based) 모델

자연어 처리(NLP)에서 단어를 벡터로 표현하는 방법은 크게 두 가지로 나뉜다.

• 예측 기반 (Word2Vec 등)
• 카운트 기반 (LSA 등)

카운트 기반 방식이란?

텍스트 데이터에서 각 단어가 얼마나 자주 등장하는지를 통계적으로 분석하는 방법이다. "비슷한 위치에 등장하는 단어들은 비슷한 의미를 가진다 "는 분포 가설을 행렬(Matrix)을 통해 수학적으로 구현한다. 

가장 기본이 되는 것은 DTM(Document - Term Matrix, 문서 - 단어 행렬)이다. 행에는 문서, 열에는 단어를 배치하고 그 칸에 빈도수를 적는 것이죠. 

-> 카운트 기반(LSA 등): 전체 말뭉치에서 단어들이 동사에 몇 번 등장했는지 통계를 낸다. ( 전체적인 문맥 파악에 유리)

 

단어가 얼마나 자주 등장했는지(빈도)를 기반으로 벡터를 만드는 방법이다. 

-> 단어는 함께 등장하는 단어들로 의미가 결정된다. 

 

LSA (잠재 의미 분석): 행렬 속에 숨은 의미 찾기

단순히 카운트만 하면 단어 사이의 '의미'를 파악하기 어렵고, 데이터가 커질수록 0이 너무 많은 희소 행렬 (Sparse Matrix) 이 되어 계산이 힘들어진다. 이를 해결하기 위해 LSA는 특잇값 분해 (SVD, Singluar Value Decomposition)라는 수학적 기교를 사용한다. 

• 원리 : 거대한 DTM 행렬을 쪼개고 중요한 정보 (특잇값) 만 남겨서 차원을 축소한다. 
• 효과 : 겉으로 드러나지 않는 단어들 사이의 잠재적인 의미 (Latent Semantic)를 끌어낸다. 
  예 :
  '바나타'와 '사과'가 같은 문장에 직접 등장하지 않더라도, 두 단어 모두 '과일'이나 '맛있다' 라는 단어와 자주 엮인다면 LSA는 두 단어가 유사하다고 판단한다.

LSA (Latent Semantic Analysis)

LSA는 위 행렬을 더 똑똑하게 만든 방법이다.

핵심:

행렬을 분해해서 숨겨진 의미(latent semantic)를 찾는다.

 

반응형

 

카운트 기반 모델의 장점

대규모 말뭉치(Corpus) 의 전반적인 통계 정보를 아주 잘 반영한다. 
-> 딥러닝 모델에 비해 학습 속도가 빠르고 결과가 해석 가능(Explainable)하다. 

• 구현 가능
• 해석 가능(통계 기반)
• 작은 데이터에서도 안정적 

 

카운트 기반 모델의 단점

새로운 문서가 추가되면 행렬을 다시 계산해야 하므로 업데이트가 어렵다. 
-> 단어의 순서 정보를 무시한다. (Bag of Wrods의 한계)

• sparse matrix 문제
• 계산량 큼( SVD)
• 문맥 반영 불가
• 최신 모델 대비 성능 낮음

728x90

Word2Vec과 비교

항목	카운트 기반	Word2Vec
방식	통계 기반	예측 기반
데이터	전체 통계	로컬 문맥
성능	낮음	높음
해석	쉬움	어려움

 

언제 사용하면 좋을까 ?

• 데이터가 적을 때
• 빠르게 baseline 만들 때 
• 해석이 중요한 경우 

 

요약 : 왜 아직도 배우나요 ?

최신 LLM시대에서 LAS나 TF-IDF는 여전히 중요하다. 검색 엔진의 기초가 될 뿐만 아니라 , RAG(검색 증강 생성) 시스템에서 초기 후보 문서를 빠르게 필터링할 때 이 카운트 기반 방식이 매우 효율적으로 쓰이기 때문이다. 

카운트 기반 임베딩은 단어의 등장 빈도를 기반으로 의미를 추론하는 전통적인 벡터 표현 방식이다.

카운트 기반 임베딩은 단어 간의 관계를 통계적으로 분석하여 벡터를 생성하는 방법이다. LSA는 이 과정에서 SVD를 활용해 차원을 줄이고 숨겨진 의미를 추출하는 대표적인 기법이다. 비록 최신 딥러닝 모델에 비해 성능은 떨어지지만, 개념 이해와 기본 모델로서 여전히 중요한 역할을 한다. 

 

 

제미나이, 챗지피티 등을 이용 하여 작성