25. 특잇값 분해 (SVD, Singular Value Decomposition)

SVD는 chatGPT같은 대형 언어 모델(LLM)이나 넷플릭스의 추천 시스템 등 최신 AI 기술의 뼈대가 되는 아주 중요하고 매력적인 개념이다. 

 

1. 특잇값 분해 (SVD)란 무엇인가요 ?

특잇값 분해 (SVD)는 복잡하고 거대한 데이터(행렬)를 가장 중요한 핵심 정보만 남기고 3개의 작은 조각으로 쪼개는 수학적 기법이다. 

자연어 처리에서는 수만 개의 단어와 수만 개의 문서가 얽혀있는 거대한 표(행렬)를 다루게 되는데, 이 표를 그대로 컴퓨터에 넣으면 계산이 어무 오래 걸리고 메모리도 터져버린다. 이때 SVD를 사용하면 데이터의 크기는 확 줄이면서도 원래 데이터가 가지고 있던 '핵심 의미'는 그대로 보존할 수 있다. 

쉬운 비유로 이해하기 : 과일 스무디 레시피

아주 복잡한 맛이 아는 '비밀의 과일 스무디(원본 데이터)'를 마셨다고 상상해 보세요. SVD는 이 스무디를 분석해 다음 3가지로 분리해 내는 과정과 같다. 

1. 어떤 과일들이 들어갔는가? (딸기, 바나나, 사과 등 = 데이터의 특징)
2. 각 과일의 맛이 얼마나 강한가? (딸기맛 80%, 바나나맛 15%, 사과맛 5% = 특잇값, 중요도)
3. 이 스무디를 어떤 비율로 섞어야 원래 맛이 나는가? (조합 비율)

여기서 가장 중요한 것은 2번이다. 사과맛은 겨우 5% 밖에 안나니까, 사과를 빼고 딸기와 바나나만 섞어도 원래 스무디와 거의 비슷한 맛을 낼 수 있겠죠 ? 이것이 바로 SVD가 데이터를 압축하는 핵심 원리이다. 

-> 거대한 행렬을 3개로 쪼개어 가장 중요한 특잇값들만 남기고 나머지는 버리는 방식이다. 

 

반응형

 

2. SVD는 왜 자연어 처리에 필수적일까요?

① 차원 축소 (데이터 다이어트)

앞서 스무디 비유에서 5%짜리 사과맛을 과감히 버린 것처럼, SVD는 데이터에서 중요도가 낮은 정보(노이즈)를 깎아내고 핵심만 남긴다. 이를 ' 차원 축소(Dimensionality Reduction)'라고 부른다. 덕분에 컴퓨터가 계산해야 할 양이 획기적으로 줄어든다. 

② 숨겨진 의미(잠재 의미) 파악

단순히 단어의 개수만 세는(BoW, TF-IDF 등은) '자동차'와 '자동차들'을 완전히 다른 단어로 인식한다. 하지만 SVD를 적용하면, 겉보기엔 달라 보여도 같이 자주 쓰이는 단어들을 하나의 '숨겨진 의미(잠재 의미)' 덩어리로 묶어준다. 이를 잠재 의미 분석(LSA, Latent Semantic Analysis)이라고 부르며, AI가 문맥을 이해하는 첫걸음이 된다. 

 

728x90

SVD는 훌륭한 기술이지만 완벽하지는 않는다. 

• 계산이 너무 무겁다 : 데이터 크기가 작을 대는 괜찮지만, 네이버나 구글처럼 수십억 개의 문서가 있는 환경에서는 SVD를 계산하는 것 자체가 엄청난 컴퓨터 자원을 소모한다. 
• 새로운 데이터에 약한다 : 새로운 단어나 문서가 추가되면, 처음부터 SVD 계산을 다시 해야 하는 번거러움이 있다. 

이러한 단점을 극북하기 위해 등장한 것이 Word2Vec 같은 인공신경망 기반의 예측 모델(밀집 행렬)이다. 하지만 Word2Vec 역시 SVD의 '핵심 의미를 압축한다'는 철학을 고스란히 이어받아 발전한 형태이다. 

 

4. 비교 : 원본 데이터 vs SVD 압축 데이터

비교 항목	원본 데이터 (희소 행렬)	SVD 적용 후 (밀집 행렬)
데이터 크기	매우 큼(수만 차원)	작고 압축됨(수백 차원)
메모리 효율	낭비가 심함(대부분이 0)	매우 효율적(핵심 숫자로 꽉 참)
단어의 의미	겉모습(글자)만 보고 판단	숨겨진 문맥과 의미(잠재 의미)파악 가능
노이즈(잡음)	오타나 불필요한 정보가 모두 포함됨	중요도가 낮은 노이즈는 자동으로 제거됨

 

마무리

특잇값 분해(SVD)는 거대하고 복잡한 데이터에서 쓸데없는 거품을 걷어내고 '진짜 중요한 알맹이'만 쏙 뽑아내는 강력한 수학적 도구이다. 

 

제미나이, 챗지피티 등을 이용 하여 작성