26. 차원 축소(Dimensionality Reduction)

1. 차원(Dimension)이란 무엇이고, 왜 줄여야 할까요?

데이터 분석에서 차원(Dimension)이란 쉽게 말해 데이터가 가진 특징(Feature)의 개수를 의미한다. 

예 : 

사람을 설명할 때 [키, 몸무게, 나이] 3가지 정보만 쓴다면 3차원 데이터가 된다. 

자연어 처리(NLP)에서는 단어 사전의 크기가 곧 차원이 된다. 만약 10만 개의 단어를 안다면, 문장 하나를 처리할 때마다 10만 차춴의 거대한 데이터(희소 행렬)를 다뤄야 한다. 

문제는 차원이 너무 커지면 '차원의 저주(Curse of Dimensionality)'라는 무서운 현상이 발생한다는 것이다. 데이터 공간은 우주처럼 넓어지는데 실제 데이터는 텅텅 비게 되어, 컴퓨터가 패턴을 찾지 못하고 메모리만 엄청나게 낭비하게 된다. 그래서 우리는 차원을 확 줄여야만 한다. 

쉬운 비유로 이해하기 : 손가락 그림자 놀이

차원 축소는 3D 입체 사물에 빚을 비춰 2D 그림자로 보는 것과 완벽히 똑같다. 

우리가 손가락으로 강아지 모양을 만들어 벽에 그림자를 비춘다고 상상해 보세요. 손락의 입체적인 두께나 피부의 질감(불필요한 차원)은 그림자에서 사라진다. 하지만 벽에 비친 2차원 평면 그림자만 보고도 우리는 그것이 '강아지'라는 핵심 특징(본질)을 단번에 알아볼 수 있다. 

이처럼 불필요한 정보(두께, 질감)는 과감히 버리고, 데이터의 본질적인 모양(강아지 형태)만 남기는 것이 바로 차원 축소이다. 

반응형

2. 차원 축소의 3가지 엄청난 장점

데이터를 다이어트 시키면 AI에게 어떤 좋은 점이 생길까요?

① 메모리와 계산 시간 절약 (효울성 극대화)

10만 개의 특징을 100개로 줄이면, 컴퓨터가 계산해야 할 양이 1,000배나 줄어든다. 챗GPT 같은 거대한 모델이 그나마 우리가 쓸 수 있는 속도로 답변을 내놓을 수 있는 것도, 임베딩(Embedding)을 통해 데이터를 저차원으로 꽉꽉 압축해 두었기 때문이다. 

 

② 데이터 시각화 (눈으로 볼 수 있게 됨)

인간의 노는 4차원 이상의 공간을 상상할 수 없다. 10만 차원의 데이터는 그래프로 그릴 수가 없죠 . 하지만 차원 축소 기법을 사용해 데이터를 2차원이나 3차원으로 줄이면, 모니터 화면에 점을 찍어 데이터들이 어떻게 모여 있는지 눈으로 직접 확인할 수 있게 된다. 

③ 노이즈 제거 (쓸데없는 잡음 버리기)

데이터에 섞여 있는 오타, 예외적인 값, 불필요한 패턴 등은 AI 의 학습을 방해하는 '노이즈(Noise); 이다. 차원 축소하는 과정에서 덜 중요한 정보들은 자연스럽게 깎여 나가기 때문에, AI가 진짜 중요한 패턴에만 집중할 수 있게 된다. 

 

3. 대표적인 차원 축소 기법들

• PCA(주성분 분석): 데이터가 가장 넓게 퍼져 있는 방향 ( 분산이 가장 큰 축 )을 찾아내어 그쪽으로 데이터를 투영시키는 가장 대표적이고 고전적인 방법이다. 
• SVD(특잇값 분해): 거대한 행렬을 3개로 쪼개어 가장 중요한 특잇값들만 남기고 나머지는 버리는 방식이다. 
• t-SNE/UMAP: 고차원 데이터를 2차원이나 3차원으로 예쁘게 시각화할 때 아주 강력한 성능을 발휘하는 최신 기법들이다. 

728x90

4. 비교 : 고차원 데이터 vs 차원 축소 데이터

비교 항목	고차원 데이터(축소 전)	차원 축소 데이터(축소 후)
특징(Feature) 개수	수만 ~ 수십만 개	수십 ~ 수백 개
컴퓨터 연산 속도	매우 느림(차원의 저주 발생)	매우 빠름(효율적)
데이터 시각화	불가능(인간이 인지할 수 없음)	가능(2D, 3D 그래프로 표현)
정보의 상태	노이즈(잡음)와 핵심 정보가 섞여 있음	노이즈가 제거되고 핵심(본질)만 남음

 

 

마무리

차원 축소(Dimensionality Reduction)는 무겁고 복잡한 데이터에서 쓸데없는 군살을 빼고 (진짜 중요한 뼈대'만 남기는 데이터 다이어트 기법이다. 

우리가 사용하는 최신 자연어 처리 모델들은 모두 이 차원 축소의 원리를 활용하여, 방대한 인간의 언어를 작고 단단한 밀집 행렬(Dense Matrix)로 압축하여 이해하고 있다. 

 

 

 

제미나이, 챗지피티 등을 이용 하여 작성