4. Deep L-layer Neural Network

Deep L-layer Neural Network

 

 

layer L개를 가지고 있는 neural network를 L-layer neural network라 한다.

 

 

Why Deep Representation?

 

 

1. low-level으로부터 high-level로 점차 output을 끌어올림 (우리가 원하는 output이 high쪽이라고 했을 때)

 

2. 얉지만 기하급수적으로 큰 hidden units을 필요로하는 function을 작은 hidden units을 가진 L-layer deep neural network로 표현할 수 있음.

 

 

Parameters vs Hyperparameters

 

 

Parameters: weights, bias

 

Hyperparameters: Learning rate, iterations, hidden layer number, hidden units, choice of activation function, ...