Motivation

🚨 기존의 문제점

• Autoregressive Model
  • 데이터를 순서대로 생성 → p(x)가 아래와 같이 설정됨.

$$ p_{\theta} (x_1, x_2, ..., x_n) = \prod_{i=1}^n p_{\theta}(x_i |x_{<i}) $$

• VAE

  • directed model
    • latent variable z 를 뽑고, x를 생성한다. (순서를 가진다.)
    • 이런 형태로 세팅을 하다 보니 직접 식을 구할 수 없고, ELBO 형태를 만들게 됨.
      • 모델 구조로 인해 어쩔 수 없는 ELBO 문제 발생

  $$ \max_{\theta} \log p_{\theta}(x) $$

  $$ \log p_{\theta}(x) = log \int p_{\theta}(x|z)p(z)dz $$

  $$ \log p(x) \geq \mathbb{E}{q(z \mid x)}[\log p(x|z)] - D{KL}(q(z|x)||p(z)) $$

  • p(z) ⇒ 정규분포로 제한

⇒ 제한된 모델 구조!

• GAN

GAN의 경우에는 명시적으로 확률 분포 p(x)를 정의하지 않아도 됨.

⇒ 이전 모델과 달리, 구조적 제약 적고, 모델링 자유도 높음.

그러나 여전히 문제점 존재

1. Likelihood가 정의되지 않음.

   1. p(x)를 정의하지 않아 log p(x)를 최대화하도록 학습되지 못한다.
   2. VAE의 경우에는 ELBO 값을 출력함으로써 확인이 가능.

2. unstable training

   1. Generator / Discriminator가 경쟁하는 구조. ⇒ 균형을 맞추기 어렵고, 무한히 진동할 수 있음.

3. hard to evaluate

   1. 확률분포를 명시적으로 정의하지 않아서 잘 학습이 되고 있는지 확인 X

4. Mode Collapse

   1. 특정 숫자만 계속 생성해냄 (MNIST의 경우)
   2. cheating (잘되는 것들만 계속 생성)