Google Machine Learning Bootcamp 202255 1. Practical Aspects of Deep Learning #2 Regularizing your Neural Network Regularization l2 norm(vector)의 합이 Frobenius norm(matrix)이 된다. Why Regularization Reduces Overfitting? regularization parameter lambda가 크다고 가정하면 weight는 0에 가까울 것이다. 따라서, 1. 몇몇 node들이 사라지며 model의 크기가 줄어든다고 볼 수 있을 것이며, 2. activation function이 non-linearity를 제대로 model에 부여할 수 없다. (activation function이 없어지는 효과가 나타나 이것도 model의 크기가 줄어든다고 볼 수 있다.) overfitting이 불가능할 정도로 m.. 2022. 7. 6. 1. Practical Aspects of Deep Learning #1 Setting up your Machine Learning Application Train / Dev / Test sets Previous: 70% / 30%, 60% / 20% / 20% Modern: 1M number of data (Big data) -> make dev, test sets as small as possible (ex. 98% / 1% / 1%) In mismatched train/test distribution, ensure that dev and test come from the same distribution. Not having a test set might be okay. (Only dev set) Bias / Variance Basic Recipe for Machine L.. 2022. 7. 5. 4. Deep L-layer Neural Network Deep L-layer Neural Network layer L개를 가지고 있는 neural network를 L-layer neural network라 한다. Why Deep Representation? 1. low-level으로부터 high-level로 점차 output을 끌어올림 (우리가 원하는 output이 high쪽이라고 했을 때) 2. 얉지만 기하급수적으로 큰 hidden units을 필요로하는 function을 작은 hidden units을 가진 L-layer deep neural network로 표현할 수 있음. Parameters vs Hyperparameters Parameters: weights, bias Hyperparameters: Learning rate, iterations, h.. 2022. 7. 4. 3. Shallow Neural Networks Neural Network Representation input layer와 output layer을 제외한 나머지 layer를 hidden layer라 부른다. input layer를 제외한 hidden layer와 output layer를 갯수로 어떤 neural network를 # layer neural network라 부른다. Computing a Neural Network's Output logistic regression 같은 경우 한 노드에 두 step의 computation이 있다. 하나는 \( z = w^Tx + b \)를 계산하는 것이고 다른 하나는 \( a = \sigma(z) \)를 계산하는 것이다. Activation Functions activation function의 종류는 .. 2022. 7. 2. 이전 1 ··· 10 11 12 13 14 다음
