Backpropagation

오차역전파법(Backpropagation) 또는 오류역전파 알고리즘은 다층 퍼셉트론 학습에 사용되는 통계적 기법을 의미한다.

기계 학습에서 사용되는 학습 구조로 다층 퍼셉트론이 있다. 일반적인 다층 퍼셉트론의 형태는 입력층 - 은닉층 - 은닉층 - ... - 출력층으로 구성되며, 각 층은 서로 교차되는 weight 값으로 연결되어 있다. 출력층에서 제시한 값에 대해, 실제 원하는 값으로 학습하는 방법으로 통계적 방법에 의한 오차역전법을 사용한다.

오차역전법은 동일 입력층에 대해 원하는 값이 출력되도록 개개의 weight를 조정하는 방법으로 사용되며, 속도는 느리지만, 안정적인 결과를 얻을 수 있는 장점이 있어 기계 학습에 널리 사용되고 있다.

역전파는 기울기 하강법 (Gradient descent)을 사용한다.

Category

• Backpropagation:Example

Derivation

Since backpropagation uses the method, one needs to calculate the derivative of the squared error function with respect to the weights of the network. Assuming one output neuron,¹ the squared error function is:

$$ E = \tfrac{1}{2}(t - y)^2 $$ , where

$$ E $$ is the squared error,

$$ t $$ is the target output for a training sample, and

$$ y $$ is the actual output of the output neuron.

See also

• Machine learning
• Deep learning
• 경사 하강법 (Gradient descent)
• Convolutional neural network#CNN Backpropagation

Favorite site

• Wikipedia (en) Backpropagation에 대한 설명
• [추천] A Step by Step Backpropagation Example ² (Backpropagation을 실제 예제로 보여준다)
  • Github: Neural Network with Backpropagation (Python sample code)
• [추천] 역전파 : Backpropagation
• Coursera Neural Networks for Machine Learning Week3 - Backpropagation
• 딥러닝_Neural Network_backpropagation
• [추천] Naver blog: Machine learning 01 ~ 18 (머신러닝 한글 블로그) ³
  • [http://blog.naver.com/laonple/220513815694 Machine learning (기계 학습) - Class 9 :<Case Study>

    Backpropagation for Neural Network(역전파)]

    • Principles of training multi-layer neural network using backpropagation ⁴
• [추천] Lecture 3: CNN: Back-propagation ⁵
• Roboticist: 인공 신경망 학습 (역전파)
• 4층 인공 신경망 학습 (역전파) (역전파 기본 공식 유도)
• [추천] 역전파 데모 (PC에 최적화됨)
• 오차 역전파 (backpropagation) - ratsgo's blog
• [추천] CNN의 역전파(backpropagation) - ratsgo's blog

References