Rectifier
Activation_rectified_linear.svg.png
In the context of artificial neural networks, the rectifier is an activation function defined as
$$ f(x) = \max(0, x) $$
개요
Activation function중 하나 이다. 이것이 강력한 이유는 우선 Gradient descent를 하기위해 합성 함수미분을 하게되고, 그 결과 Activation Function을 미분해서 곱해야 하는데 기존의 Sigmoid는 기울기가 최대 1/4이기 때문에 Gradient descent를 여러 Layer로 해나갈 때 마다 Error가 \((1/4)^2\) 씩 소멸되는(Vanish) 문제가 있다.
그러나 ReLU의 경우 기울기가 0 or 1로 학습이 되는 경우는 100% Error가 전파되어 이러한 문제가 없다. 또한 Activation 값이 sigmoid 처럼 [0,1]로 제한되는 것이 아니고 무제한이기 때문에 좀 더 확실한 표현력을 가진다고 볼 수 있다. 그 결과 Regularization도 강력하고 Representation 도 강력한 효과를 지니게 된다.