Latent Space의 의미와 활용
🖇️ Latent Space(잠재 공간)의 의미
딥러닝에서 고차원 데이터를 저차원으로 인코딩한 Embedding Vector가 매핑되는 공간으로, Embedding Space와 동의어로 사용되기도 한다. 즉, 데이터의 본질적인 특징들만 압축하여 표현한 공간이다. 예를 들어 이미지나 텍스트와 같은 복잡한 입력 데이터를 신경망에 넣으면, 모델은 내부적으로 입력 데이터를 의미 있는 축소된 데이터인 Embedding Vector로 변환하고, 이 Embedding Vector들이 존재하는 공간이 Latent Space이다.
일반적으로 머신 러닝의 맥락에서 Space는 데이터 포인트를 수치적으로 표현하여 매핑하고, 다른 데이터 포인트들과 비교 또는 샘플링하는 공간을 의미한다. Vector로 표현되는 데이터 포인트들이 특정 Latent Space에 매핑되면 유사한 의미를 가진 Vector들은 코사인 유사도, 유클리드 거리 또는 내적과 같은 메트릭을 통해 서로 유사하거나 가까워지는 것을 확인할 수 있다.
실제로 AutoEncoder, VAE(Variational AutoEncoder), GAN과 같은 모델은 입력 데이터를 Latent Space로 변환한 뒤, 이를 보간하여 새로운 데이터 샘플을 생성한다.
🖇️ AutoEncoder와 Latent Space
AutoEncoder는 이름과 같이 라벨링 되어 있지 않은 데이터를 자동적으로 encoding하여 Latent Space로 보낸 후, 이를 다시 decoding하여 원본 데이터로 복원하는 신경망 모델이다. 입력을 출력으로 복사하는 방법을 학습하며, 특성 추출기, 차원 축소, 노이즈 제거와 같은 작업에서 주로 사용된다. AutoEncoder의 구조는 크게 3가지로 구분된다.
1. Encoder: 입력 데이터를 저차원의 Latent Space로 변형한다
2. Decoder: Latent Space의 표현을 원본 데이터로 복원한다
3. Latent Space: Encoder와 Decoder 사이의 중간 레이어로, 입력 데이터의 중요한 특징을 저차원 벡터 형태로 표현한다
AutoEncoder는 입력 데이터의 제한된 정보만 Decoder에게 전달할 수 있기 때문에 데이터의 가장 특징적인 부분만 추출해야 한다. 따라서 자연스럽게 입력 데이터의 Latent Space에 효과적인 매핑을 학습하게 된다.
이 때, Latent Space에서 저차원으로 표현된 벡터는 시각화해서 직접 확인할 수 있다. 아래는 MNIST 데이터의 2D Latent Space를 시각화한 자료이다. Latent Space에서 0~9까지의 숫자 클래스가 클러스터링되는 것을 확인할 수 있다. 그러나 클러스터의 경계에 있는 점들이 많으며 어떤 숫자들은 전혀 다른 영역에 존재하기도 한다. 이를 해결하려면 Latent Space의 차원을 증가시키는 방법을 사용할 수 있다. 차원을 증가시키면 Latent Space 안의 변수 안에 데이터의 특징이 더 많이 담기기 때문에 고차원의 Latent Space는 더욱 정확하고 세부적인 복원을 가능하게 한다.
참고자료
[Hands-On] 오토인코더의 이해와 구현
Autoencoder를 직접 구현해보고 이를 통해 특징 추출 및 생성 기술에 대한 이해를 높이세요.
medium.com
https://www.ibm.com/kr-ko/think/topics/latent-space
잠재 공간이란 무엇인가요? | IBM
머신 러닝의 잠재 공간은 데이터의 기본 구조를 알려주는 필수적인 특성만 보존한 데이터 포인트의 압축된 표현입니다.
www.ibm.com
A Simple AutoEncoder and Latent Space Visualization with PyTorch
I. Introduction
medium.com
'AI > 핸즈온 머신러닝' 카테고리의 다른 글
| 순환신경망, RNN(Recurrent Neural Network) (0) | 2025.04.02 |
|---|
