UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction UMAP은 주어진 manifold가 uniform 하다는 가정 하에 차원 축소의 관점에서 manifold learning을 수행할 수 있다. Data manifold를 UMAP으로 해석하기 전에 만족해야할 아래 세 가지 가정이 존재한다. 데이터는 Riemannian manifold 상에서 균일하게 분포한다. Riemannian metric이 국소적으로 일정하다. (또는 근사적으로 일정하다고 할 수 있다.) 주어진 manifold는 국소적으로 연결되어 있다. Benefits of UMAP 빠르다. 일반화된 embedding 차원: 시각화 용도인 t-SNE와 다르게 UMAP..

Paper: Empirical Evaluation of Rectified Activations in Convolution Network ReLU, Leaky ReLU (or parametric ReLU,PReLU) 그리고 Randomized ReLU (RReLU)을 실험적으로 비교한 논문 ReLU 보다는 Leaky ReLU가 낫다. Leaky ReLU의 hyperparameter를 조정하자. 논문에서서는 Default 값인 0.01이 아닌 1/5.5 를 사용하였을 때 더 좋은 결과를 얻었다. 0.01은 너무 작은 값이어서 그런 것 같다.

Objective InfoGAN, an information-theoretic extension to the Generative Adversarial Network that is able to learn disentangled representations in a completely unsupervised manner. How? Information-theoretic regularization: 정보 이론을 GAN에 접목. noise z와 Code c로 생성 샘플을 생성할 때, Latent Code c~P(c)에 대해서 c와 생성 샘플 G(z,c) 사이에 mutual information이 최대화 되도록 유도하는 손실 함수를 추가하여 GAN을 학습. Variational Mutual Information..