[논문 리뷰] Empirical Evaluation of Rectified Activations in Convolution Network

• Paper: Empirical Evaluation of Rectified Activations in Convolution Network

• ReLU, Leaky ReLU (or parametric ReLU,PReLU) 그리고 Randomized ReLU (RReLU)을 실험적으로 비교한 논문

• ReLU 보다는 Leaky ReLU가 낫다.

• Leaky ReLU의 hyperparameter를 조정하자.

  • 논문에서서는 Default 값인 0.01이 아닌 1/5.5 를 사용하였을 때 더 좋은 결과를 얻었다.
  • 0.01은 너무 작은 값이어서 그런 것 같다.