Google Machine Learning Bootcamp 202255 2. Deep Convolutional Models: Case Studies #2 Practical Advice for Using ConvNets Using Open-Source Implementation open-source implementation을 잘 활용하여라. skeleton code를 가져와서 implementation을 배울수도, pre-trained model을 가져와서 transfer learning을 할 수도 있고 어쨌든 open-source implementation을 잘 활용하면 좋다! Transfer Learning 쌩으로 model training을 하는 것은 시간도 많이 걸리고 hyperparameter을 tuning하는것도 힘들다. 다른 분들이 이미 training 시킨 model을 가져와서 weight를 고정시키고 transfer learning을 하자.. 2022. 8. 1. 2. Deep Convolutional Models: Case Studies #1 Case Studies Classic Networks LeNet - 5, AlexNet, VGG - 16 -> VGG - 19, ... ResNets Residual block: make shorcut from shallow layer to deeper layer (skip connection) \( a^{[l + 2]} = g( z^{[l + 2]} + a^{[l]} ) \) 이론적으로는 plain network의 layer가 깊어질수록 training error가 낮아져야 하는데 practical 하게는 낮아지다가 높아진다. 하지만 ResNet을 사용했을 때에는 training error가 layer 수가 많아질수록 낮아진다. Why ResNets Work? Activation function이 Re.. 2022. 8. 1. 1. Foundations of Convolutional Neural Networks Convolutional Neural Networks Computer Vision Image classification, object detection, neural style transfer, ... Edge Detection Example 이런 방식으로 vertical, horizontal edge를 탐지할 수 있다고 한다. More Edge Detection 이렇게 filter로 convolution을 함으로써 edge를 탐지할 수 있다는 것을 알았다. 그렇다면 filter의 weight를 neural network로 학습시키면 어떨까. low-level feature인 edge를 magic filter로 잘 탐지하지 않을까. Padding 그냥 convolution을 계속하다 보면 당연하게도 ou.. 2022. 7. 28. 2. ML Strategy Error Analysis Carrying Out Error Analysis error를 일으키는 원인이 performance에 얼마나 영향을 미치는지 수치적으로 확인하여 우선순위를 정한다. 영향을 많이 미치는 요인을 해결하는 것이 짧은 시간에 높은 performance의 변화를 만들 가능성이 크다. Cleaning Up Incorrectly Labeled Data DL algorithms are pretty robust to random errors in the training set Incorrectly labeled data가 dev set error에 얼마나 영향을 미치는지를 수치로 판단하여 이를 수정하는데 집중할 것인지 아닌지를 결정하는 것이 좋다. 하지만 수치적으로 판단하기가 어려운 게 현실일.. 2022. 7. 21. 이전 1 ··· 8 9 10 11 12 13 14 다음
