29. UMAP(Uniform Manifold Approximation and Projection)

PCA는 훌륭한 도구지만, 데이터가 복잡하게 꼬여있을 때는 한계가 있다. 

최근 데이터 과학자와 AI 연구자들 사이에서 "가장 빠르고, 가장 아름답게 데이터를 시각화하는 마법의 도구"  로 불리며 폭발적인 인기를 끌오 있는 최신 차원 축소 기법, UMAP(Uniform Manifold Approximation and Projection) 에 대해 알아본다. 

 

1. UMAP(Uniform Manifold Approximation and Projection)이란 무엇인가요 ?

UMAP는 수백, 수천 차원의 복잡한 고차원 데이터를 우리가 눈으로 볼 수 있는 2차원이나 3차원 평면으로 예쁘게  펼쳐주는 (차원 축소 및 시각화 ) 최신 알고리즘이다. 

기존에 시각화의 제왕으로 불리던 't-SNE' 라는 알고리즘이 있었지만, 계산 속도가 너무 느리고 데이터의 전체적인 구조를 잃어버린다는 단점이 있다. UMAP은 복잡한 위상수학(Topology) 이론을 바탕으로 만들어져, t-SNE보다 훨씬 빠르면서도 데이터의 세밀한 특징과 전체적인 그림을 모두 완벽하게 보존해 낸다. 

쉬운 비유로 이해하기 : 구겨진 세계 지도 평치기

종이로 만든 '지구본(고차원 데이터)'을 가지고 있다고 상상해 보세요. 그런데 이 지구본이 누군가에 의해 마구 구겨져서 보이지만, 구겨진 틈새에 있는 나라들은 겹쳐서 보이지 않는다. 

• PCA (주성분 분석) : 구져진 종이 덩어리를 강한 빛을 비춰 바닥에 생긴 그림자를 본다. 대충 큰 대륙의 윤곽은 보이지만, 구겨진 틈새에 있는 나라들은 겹쳐서 보이지 않는다. 
• UMAP : 구겨진 종이 덩어리의 표면을 따라가며 "한국 옆에는 일본이 있고, 그 옆에는 태평양이 있네" 라는 이웃 관계(위상 구조)를 꼼꼼히 기록한다. 그리고 이 이웃 관계가 끊어지지 않도록 조심스럽게 종이를 당기고 펴서, 평평하고 완벽한 2D 세계 지도로 만들어낸다!

UMAP은 데이터들 사이의 '누가 누구랑 친한가(이웃 관계)'를 고차원 공간에서 먼저 파악한 뒤, 저차원 공간에서도 그 친소 관계가 그대로 유지되도록 점들을 배치하는 원리이다. 

-> 고차원 데이터를 2차원이나 3차원으로 예쁘게 시각화할 때 아주 강력한 성능을 발휘하는 최신 기법이다. 

 

 

반응형

2. UMAP이 자연어 처리(NLP)에서 강력한 이유 

자연어 처리나 대형 언어 모델(LLM)에서 UMAP은 단순히 예쁜 그림을 그리는 용도를 넘어, AI 가 언어를 어떻게 이해하고 있는지 분석하는 핵심 도구로 쓰인다. 

1. 단어 임베딩 (Word Embdding ) 시각화
   Word2Vec이나 BERT가 만들어낸 수백 차원의 단어 벡터들을 UMAP으로 2차원에 뿌려보면 놀라운 일이 버러진다. '긍정적인 단어'와 '부정적인 단어', '과일 이름'과 '동물 이름' 들이 모니터 화면 위에서 자기들끼리 완벽하게 무리를 지어 (Clustering)  모여 있는 것을 눈으로 직접 확인할 수 있다. 
2. 문서 군집화 (Document Clustering)
   수만 건의 뉴스 기사나 리뷰 데이터를 UMAP으로 압축하면, 정치 기사는 정치 기사끼리, 스포츠 기사는 스포츠 기사끼리 섬처럼 뭉치게 된다. 이를 통해 방대한 텍스트 데이터의 전체적인 트렌드와 주제 분포를 한눈에 파악할 수 있다. 

 

3. 비교  : PCS vs t-SNE vs UMAP

비교 항목	PCA(주성분 분석)	t-SNE	UMAP
작동 원리	데이터의 분산(퍼짐)이 가장 큰 축을 찾음	데이터 간의 거리를 확률로 변환하여 배치	위상수학을 이용해 이웃관계(구조)를 보존하며 배치
계산 속도	매우 빠름	매우 느림(데이터가 많으면 멈춤)	빠름(t-SNE보다 압도적으로 빠름)
전역 구조 보존	전체적인 구조를 아주 잘 보존함	세밀한 군집은 잘 찾지만, 전체 구조는 잃어버	세밀한 군집과 전체 구조를 모두 훌륭하게 보존함
주요 용도	노이즈 제거, 기본 차원 축소	고차원 데이터의 2D/3D 시각화	대용량 고차원 데이터의 빠르고 정확한 시각화 및 군집화

728x90

마무리

UMAP은 복잡하게 얽혀있는 고차원 데이터의 이웃 관계를 파악하여, 가장 빠르고 정확하게 우리가 눈으로 볼 수 있는 지도로 펼쳐주는 최강의 시각화 마법이다. 

최신 AI 논문이나 데이터 분석 보고서를 보면 알록달록한 점들이 섬처럼 모여있는 예쁜 그래프들을 자주 볼 수 있는데, 십중팔구는 이 UMAP을 사용해 그린 것이다. 데이터의 숨겨진 패턴을 눈으로 직접 확인하고 싶다면 UMAP은 선택이 아닌 필수있다. 

 

 

 

 

제미나이, 챗지피티 등을 이용 하여 작성