Skip to content

Errors and residuals

In statistics and optimization, errors and residuals are two closely related and easily confused measures of the deviation of an observed value of an element of a statistical sample from its "theoretical value". The error (or disturbance) of an observed value is the deviation of the observed value from the (unobservable) true value of a quantity of interest (for example, a population mean), and the residual of an observed value is the difference between the observed value and the estimated value of the quantity of interest (for example, a sample mean). The distinction is most important in regression analysis, where the concepts are sometimes called the regression errors and regression residuals and where they lead to the concept of studentized residuals.

오차(error)의 정의

모집단에서 실제값이 회귀선과 비교해 볼 때 나타나는 차이(정확치와 관측치의 차이)

오차의 종류

정오차(constant error)
일정한 조건하에서 같은 방향 또는 같은 크기로 일어나는 오차
  • 물리적 원인에 따른 오차
  • 기계적 원인에 따른 오차
  • 개인적 특성에 따른 오차
우연오차(accident error)
관측 조건에 따라서 그때그때 나타나는 오차
착오(mistake)
관측자의 부주의로 인한 오차

회귀분석에서 오차의 가정 

y = bx + a + 오차

회귀식 모형에서는 오차를 포함하고 있음

잔차 (Residual)

  • 때론, 모집단에서 추출한, 표본들의 평균(표본평균)과 개별 표본값 간의 편차를 말하나,
  • 주로, 추정 오차 (Estimation Error)와 거의 같은 의미를 지님

추정 오차 (Estimation Error)

  • 표본 집단에 기초해 산출된 기대값(추정값)과 확률시행 결과의 관측값과의 차이
  • 즉, 회귀직선(추정곡선) 등을 통해 얻은 추정값과 실제 관측치와의 차이

See also

Favorite site

References

  1. Gimmesilver_-_What_is_regression.pdf ↩