-26일차- Deep Network
Deep Network
Deep Network의 배경
이미지넷
2010년 ILSVR2010을 시작으로 대량의 이미지 데이터를 포함하는 데이터셋
이미지 데이터 수집 시 167개국에서 5만명의 작업자가 라벨링에 참여
이미지 분류에 사용되는 기술들
이미지 분류 모델 평가에 사용되는 top-5 error와 top-1 error
딥러닝 관련 논문을 보다보면 실험 평가 부분에서 top-5 error와 top-1 error라는 용어들을 심심찮게 발견하게 된다. top-5 error와 top-1 error는 이미지 분류(image classification) 성능을 평가하기 위한 것들..
bskyvision.com
Evaluation & Calculate Top-N Accuracy: Top 1 and Top 5
I have come across few (Machine learning-classification problem) journal papers mentioned about evaluate accuracy with Top-N approach. Data was show that Top 1 accuracy = 42.5%, and Top-5 accuracy ...
stackoverflow.com
ImageNet이 만들어진 이야기
어떻게 컴퓨터가 사진을 이해하게 되었는가
어린이가 사진을 볼 때, '고양이', '책', '의자'와 같이 단순한 것을 식별할 수 있습니다. 이제 컴퓨터도 그런 것을 할 수 있습니다. 그 다음은 뭘까요? 이 흥미로운 발표에서, 컴퓨터 비전 전문가
www.ted.com
딥 네트워크
AlexNet
CNN과 클래스가 조금 많이(?) 증가한 네트워크, ReLU와 드롭다웃, 오버래핑 풀링등의 추가
[CNN 알고리즘들] AlexNet의 구조
LeNet-5 => https://bskyvision.com/418 AlexNet => https://bskyvision.com/421 VGG-F, VGG-M, VGG-S => https://bskyvision.com/420 VGG-16, VGG-19 => https://bskyvision.com/504 GoogLeNet(inception v1) =>..
bskyvision.com
CNN 잘쓰기
VGG
2014년 이미지넷 챌린지 준우승 모델
VGG에서는 3X3 커널을 사용해서 더 많은 레이어를 쌓고 이미지의 비선형적 특성을 더 잘 잡아낼 수 있게 만듦
레이어가 많아질때의 연산
입/출력 채널의 수를 각각 C라고 했을 때
커널 크기가 7x7인 CNN 레이어를 한 개 쌓으면 (7x7)×C 2 번 연산
커널 크기가 5x5인 CNN은 (5x5)×C 2의 연산
레이어가 N개 일 때, Nx(3x3)xC 2개의 연산으로 레이어가 3개더라도 5x5인 레이어 1개와 비슷한 연산수를 유지
https://arxiv.org/pdf/1409.1556.pdf
https://m.blog.naver.com/laonple/220686328027
https://ratsgo.github.io/deep%20learning/2017/10/09/CNNs/
Vanishing gradient
레이어가 깊으면 데이터에 따른 차이가 충분하게 반영되지 못하며, Gradient가 작아져서
기울기 소실이 발생하게 됨
기울기 소실에 대하여
기울기 소실에 대응하는 방법
활성화 함수를 변경하거나, 가중치 초기화 방법을 통해서 기울기 소실을 완화 가능
ResNet
VGG-19와 네트워크 비교
Skip Connection
레이어의 입력을 다른 곳에 이어서 Gradient가 깊은 곳까지 이어지도록 함
