※ batch normalization 논문, 동빈나 유튜브 및 다른 자료를 참조하였습니다. 논문이나, kaggle 등 competition에서 batch normalization을 많이 접하게 된다. batch normalization (BN)은 어떤 효과를 가져올까? lr을 잘못 잡으면 gradient가 explode / vanish하거나 local minimum에 빠지는 경우가 생기던 기존 문제 -> parameter scale때문이라고 정의 -> BN수행시 parameter scale의 영향을 받지 않아 높은 lr설정 가능 -> 빠른 학습 weight 초기화에 대한 민감도가 낮아진다 ( lr 등의 hyper parameter 설정에 대한 부담을 줄일 수 있다.) 모델을 일반화 하는 효과(train..

GAN을 깊게 공부하다가 DCGAN에서 Transposed Convolution이라는 것을 마주하게 되었다. 그러한 김에 여러가지 convolition 연산에 대해 정리해보기로 했음 :) 1. Strided Convolution padding없이 kernel이 지정된 stride에 맞게 이동하면서 conv연산을 진행해줌으로써 너비와 높이가 감소합니다. 2. Dilated Convolution Dilated Convolution은 Convolutional layer에 또 다른 파라미터인 dilation rate를 도입했습니다. dilation rate은 커널 사이의 간격을 정의합니다. dilation rate가 2인 3x3 커널은 9개의 파라미터를 사용하면서 5x5 커널과 동일한 시야(view)를 가집니다..

※ 본 글은 강의 및 여러 자료를 참고하여 쓰여진 글입니다. ※ github: github.com/chaeyeongyoon/ComputerVision_Study chaeyeongyoon/ComputerVision_Study Contribute to chaeyeongyoon/ComputerVision_Study development by creating an account on GitHub. github.com RCNN은 2-stage object detection의 대표적인 방법입니다. stage 1 Region Prposal selective search로 2000개의 object가 있을만한 region을 추천해줍니다. stage 2 CNN Detection ImageNet으로 Pretrained된 A..

※ 본 카테고리의 글은 youtube Sung Kim 강좌, 책 및 다른자료들을 참고하여 작성되었습니다. ※ github: github.com/chaeyeongyoon/DeepLearning_basics chaeyeongyoon/DeepLearning_basics Contribute to chaeyeongyoon/DeepLearning_basics development by creating an account on GitHub. github.com 딥러닝 네트워크 모듈을 여러형태로 쌓아 구성할 수 있습니다. CNN은 다음 그림과 같이 이미지를 일부로 나누어 처리합니다. 즉 작은 영역에 집중하는 것입니다. 다음은 conv layer, ReLU layer을 간단히 설명한 그림입니다. pooling이란? sa..