23년 이전 글/Flipped learning
Lecture 6 Training Neural Networks part I
활성화 함수 종류 Sigmoid, tanh, ReLU, Leaky ReLu, Maxout, ELU Sigmoid 문제점 1. Kill gradient(Vanishing Gradient) X가 특정값 일 때 기울기가 소실되는 경우가 발생 2. Sigmoid outputs are not zero-centered 0을 중심으로 이뤄지지 않으면 Slow Convergence를 가져옴 파란색 화살표가 최적의 그라디언트 방향인데 지그재그 방향으로 찾아가기 때문에 효율적으로 그라디언트를 찾질 못함! 3. Exp is a bit compute expensive 컴퓨팅 비용이 비싸다!! Sigmoid 이제 잘 안쓴다!! Tanh 함수 장점: -1 부터 1까지의 범위, Zero centered 단점: 여전히 그라디언트 소..
Lecture 4 역전파와 신경망
아래에 코드 구현은 깃허브에 있습니다(코드 해석) GitHub - dlfrnaos19/flip_learning: flip_learning flip_learning. Contribute to dlfrnaos19/flip_learning development by creating an account on GitHub. github.com 신경망 신경망에 대해서 주로 사람의 뇌구조와 닮았다는 표현을 많이 쓰는데 교수는 이러한 신경망을 단순히 클래스 형태로 바라보라고 합니다 아래의 내용은 여태 강의를 보면 자주 봤을 기존의 스코어 함수에 대한 내용이 적혀있습니다 이제부터 봐야하는 내용은 신경망의 형태인데요 가장 심플한 신경망의 형태로 보겠습니다 2개의 레이어로 된 신경망에서는 기존에 스코어 함수 하나로 끝나던 ..