GAN을 에너지 기반 관점에서 바라보며, 이를 위해 GAN과 Auto-encoder를 결합한 네트워크 구조를 제안한다. 주어진 데이터에 대해서 data manifold 공간 상에 포함되는 경우에 낮은 energy, 그 외에는 경우인 contrastive sample에 높은 energy를 배정할 수 있는 "energy function" (또는 "contrast function")를 Auto-encoder 구조를 가진 Discriminator로 두어 adversarial training을 수행한다. Network Architecture 왜 Discriminator의 구조를 Auto-Encoder로 두어야하는가? Energy is Reconstruction Loss: ||Dec(Enc(x)) -x||. Rea..

Authors: Sangwoo Mo, Minsu Cho, Jinwoo Shin Affiliation: KAIST, POSTECH Conference: CVPR 2020 slide Motivation GAN은 오랜 학습 시간 + 많은 학습 데이터를 필요 BigGAN is trained on 1M of images for 120 GPU days Current state-of-the-art GANs, however, often require a large amount of training data and heavy computational resources, which thus limits the applicability of GANs in practical scenarios. Previous Works Wh..

Conference: ICLR 2017 Authors: Zachary C Lipton, Subarna Tripathi Affiliation: University of California, San Diego. Contribution: stochastic clipping GAN에서 주어진 이미지의 latent code를 복원하는 과정에서 latent code z에 stochastic clipping 을 제안 간단히 구현 가능하며, 기존 방식보다 더욱 정확하고 노이즈에 강건한 복원을 간단하게 가능케 함. 또한, 학습할 때 사용하지 않은 도메인의 이미지를 projection 하는 과정에서도 유의미한 encoding을 보인다. Introduction 본 논문에서는 gradient 기반으로 GAN에서 주어진 이미지..

Authors: Spyros Gidaris, Praveer Singh, Nikos Komodakis ICLR 2018 "Self-supervised" Learning의 한 연구 사례로, 매우 간단하게 네트워크에게 중요한 feature를 학습하도록 할 수 있다. 이전에 발표된 self-supervised 방법론보다 훨씬 쉽고 + 효과적이다. In the above formulation, the geometric transformations G must define a classification task that should force the ConvNet model to learn semantic features useful for visual perception tasks (e.g., object det..

UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction UMAP은 주어진 manifold가 uniform 하다는 가정 하에 차원 축소의 관점에서 manifold learning을 수행할 수 있다. Data manifold를 UMAP으로 해석하기 전에 만족해야할 아래 세 가지 가정이 존재한다. 데이터는 Riemannian manifold 상에서 균일하게 분포한다. Riemannian metric이 국소적으로 일정하다. (또는 근사적으로 일정하다고 할 수 있다.) 주어진 manifold는 국소적으로 연결되어 있다. Benefits of UMAP 빠르다. 일반화된 embedding 차원: 시각화 용도인 t-SNE와 다르게 UMAP..

Paper: Empirical Evaluation of Rectified Activations in Convolution Network ReLU, Leaky ReLU (or parametric ReLU,PReLU) 그리고 Randomized ReLU (RReLU)을 실험적으로 비교한 논문 ReLU 보다는 Leaky ReLU가 낫다. Leaky ReLU의 hyperparameter를 조정하자. 논문에서서는 Default 값인 0.01이 아닌 1/5.5 를 사용하였을 때 더 좋은 결과를 얻었다. 0.01은 너무 작은 값이어서 그런 것 같다.