Variational autoencoders: Model & Inference

• Model multinomial non-linear factor analysis

  For each user $u$

  $z_u \sim N(0, I_k),\; \pi(z_u) \propto exp \left\{ f_\theta(z_u) \right\}, x_u \sim Multi(N_u,\pi(z_u)).$

  $f_\theta : Non-linear \; function$

• Inference: reason about the (intractable) posterior

  $p(z_u|x_u) \approx N(\mu_u,\sigma^2_u)$

  $\mu_u, \sigma^2_u : Non-linear\;function$

Why multinomial is very good loss function for recommender system?

• Commonly used in language models (e.g., LDA) and economics (e.g., multinomial logit choice model)
• Close poxy to the top-N ranking loss relative to Gaussian and logistic

  • The likelihood rewards the model for putting probability mass on the non-zero entries in the click matrix

  • Since $\pi(z_u)$ must sum to 1, the items have to compete for limited budget

    $\Rightarrow$ Effectively ranking non-zero entries higher

Training VAEs

$\mathbb{E}_{q(z|x)}[logp(x|z)] - \beta \cdot KL(q(z|x))||p(z))$

• Setting $\beta < 1$ relaxes the prior constraint

  $\rightarrow$  $\beta$ 를 1보다 작은 값으로 하는 사전 제약(prior constraint) 세팅을 통하여 기존 버전(standard version)의 encoder보다 약한(weaker) regularization를 줄 수 있도록 하였다. 이를 통하여 사후 큐브(posterior cube)에 대한 제약을 실질적으로 완화한다. 
  

  • For RecSys, we don’t necessarily need all the statistical property of a generative model
  • Trading off the ability of performing ancestral sampling for better fitting the data

위 논문에서는 적어도 추천 시스템에 대해서는 생성 모델의 모든 통계적 속성이 반드시 필요한 것은 아니라고 주장했으며, (In this paper, author argues that they don't necessarily need all the statistical property of a generatvie model at least for recommender system). 실제 데이터 포인트를 생성하기 위해 조상 샘플링을 수행할 수 있는 모델이 필요하지 않다고 말하고 있다 (they don't need the model to be able to perform ancestral sampling to generate realistic data point).

실제 데이터 포인트를 생성하기 위해 조상 샘플링을 수행할 수 있는 모델이 필요하지 않습니다.

Selecting $\beta$