2. Deep Convolutional Models: Case Studies #2

Practical Advice for Using ConvNets

 

 

 

Using Open-Source Implementation

 

open-source implementation을 잘 활용하여라.

 

skeleton code를 가져와서 implementation을 배울수도, pre-trained model을 가져와서 transfer learning을 할 수도 있고 어쨌든 open-source implementation을 잘 활용하면 좋다!

 

 

Transfer Learning

 

쌩으로 model training을 하는 것은 시간도 많이 걸리고 hyperparameter을 tuning하는것도 힘들다.

 

다른 분들이 이미 training 시킨 model을 가져와서 weight를 고정시키고 transfer learning을 하자.

 

뒤에 있는 layer를 조금 바꿔도 되고, 이미 training된 weight를 가지고 initialization을 할 수도 있을 것이다.

 

 

Data Augmentation

 

mirroring, random cropping, ratation, shearing, local warping, color shifting, PCA color augmentation 등등

 

multithreading을 이용해서 다양하게 data augmentation을 하면서 training을 동시에 할 수 있을 것이다.

 

 

State of Computer Vision

 

little data -> more hand-engineering ("hacks")

 

lots of data -> simpler algorithms (less hand-engineering)

 

Two sources of knowlege: labeled data, hand engineered features / netwrok architecture / other components

 

Tips for doing well on benchmarks / winning competitions: ensembling (voting, ...), multi-crop at test time (convert one input to multiple inputs)

 

Use architectures of networks published in the literature, open source implementation if possible, pretrained models and fine-tune on your dataset