Lecture 6 Training Neural Networks part I

활성화 함수 종류 Sigmoid, tanh, ReLU, Leaky ReLu, Maxout, ELU Sigmoid 문제점 1. Kill gradient(Vanishing Gradient) X가 특정값 일 때 기울기가 소실되는 경우가 발생 2. Sigmoid outputs are not zero-centered 0을 중심으로 이뤄지지 않으면 Slow Convergence를 가져옴 파란색 화살표가 최적의 그라디언트 방향인데 지그재그 방향으로 찾아가기 때문에 효율적으로 그라디언트를 찾질 못함! 3. Exp is a bit compute expensive 컴퓨팅 비용이 비싸다!! Sigmoid 이제 잘 안쓴다!! Tanh 함수 장점: -1 부터 1까지의 범위, Zero centered 단점: 여전히 그라디언트 소..