분류 전체보기195 1. Practical Aspects of Deep Learning #3 Setting Up your Optimization Problem Normalizing Inputs 1. Subtract mean \( \mu = \frac{1}{m} \sum^m_i x^{(i)} \) \( x := x - \mu \) 2. Normalize variance \( \sigma^2 = \frac{1}{m} \sum^m_i x^{(i)}*x^{(i)} \) \( x /= \sigma \) Vanishing / Exploding Gradients network가 너무 깊으면 gradient가 너무 작아 사라지거나 너무 커 폭발할 수 있다. Weight initialization for Deep Networks Numerical Approximation of Gradients Gradient .. 2022. 7. 10. Kubernetes in Google Cloud #1 Introduction to Docker Docker은 application을 개발하고, 옮기고, 돌리기 위한 open platform이다. Infrastructure과 application을 분리할 수 있는데, Windows 위에서 Linux를 돌리는 것처럼 현재의 환경과 application이 원하는 환경이 다를 때에도 쉽게 해당 application을 쉽게 돌릴 수 있다. docker run specific-name Docker에게 특정 container를 실행시키도록 시킨다. Docker daemon은 먼저 local에서 특정 container image가 있는지를 찾는다. 만약 없다면 Docker Hub라 불리는 공공 저장소에서 그 image를 가져와 이를 토대로 container를 만들어 돌린.. 2022. 7. 9. 1. Practical Aspects of Deep Learning #2 Regularizing your Neural Network Regularization l2 norm(vector)의 합이 Frobenius norm(matrix)이 된다. Why Regularization Reduces Overfitting? regularization parameter lambda가 크다고 가정하면 weight는 0에 가까울 것이다. 따라서, 1. 몇몇 node들이 사라지며 model의 크기가 줄어든다고 볼 수 있을 것이며, 2. activation function이 non-linearity를 제대로 model에 부여할 수 없다. (activation function이 없어지는 효과가 나타나 이것도 model의 크기가 줄어든다고 볼 수 있다.) overfitting이 불가능할 정도로 m.. 2022. 7. 6. 1. Practical Aspects of Deep Learning #1 Setting up your Machine Learning Application Train / Dev / Test sets Previous: 70% / 30%, 60% / 20% / 20% Modern: 1M number of data (Big data) -> make dev, test sets as small as possible (ex. 98% / 1% / 1%) In mismatched train/test distribution, ensure that dev and test come from the same distribution. Not having a test set might be okay. (Only dev set) Bias / Variance Basic Recipe for Machine L.. 2022. 7. 5. 이전 1 ··· 19 20 21 22 23 24 25 ··· 49 다음
