Skip to content

Precision and recall

이진 분류 기법(binary classification)을 사용하는 패턴 인식과 정보 검색 분야에서, 정밀도는 검색된 결과들 중 관련 있는 것으로 분류된 결과물의 비율이고, 재현율은 관련 있는 것으로 분류된 항목들 중 실제 검색된 항목들의 비율이다. 따라서 정밀도와 재현율 모두 관련도(Relevance)의 측정 기준 및 지식을 토대로 하고 있다.

개요

mAP는 이진 분류기의 성능 지표로 사용되는 정밀도와 재현율을 이용한 지표이며 객체 검출 알고리즘의 성능을 평가하는데 널리 사용합니다.

  • 정밀도(Precision)는 양성으로 판정된 것 중 실제로 참인 것의 비율을 나타냅니다. ‘참 양성 / (참 양성 + 거짓 양성)’으로 정의됩니다.
  • 재현율(Recall)은 실제 값이 참인 것 중 판정이 양성인 것의 비율을 나타냅니다. ‘참 양성 / (참 양성 + 거짓 음성)’으로 정의됩니다.

재현율은 민감도(sensitivity)라는 이름으로도 불립니다.

딥러닝 객체 검출 알고리즘에서는 검출된 상자가 참일 가능성(확률)이 같이 출력됩니다. 확률이 몇 퍼센트 이상일 때 양성으로 판정할지의 기준선인 ‘임계값’을 몇으로 정하는지에 따라서 예측 결과가 참인지 거짓인지가 달라지기 때문에 정밀도와 재현율도 모두 달라지게 됩니다. 임계값을 바꿔가면서 실제로 참인 객체가 임계값 내에 포함될 때마다 정밀도와 재현율을 모두 측정하면 실제로 참인 객체 만큼의 정밀도, 재현율 쌍이 생기게 됩니다. 여기서 정밀도(Precision)만을 골라 내어 평균을 낸 것이 평균 정밀도(AP; average precision)입니다.

객체 검출에서 출력되는 경계 박스는 참인지 거짓인지가 출력되지 않고 경계 박스의 위치만이 출력됩니다. 이 경계 박스를 실제로 참으로 볼지 거짓으로 볼지는 실체 위치(ground truth)와 검출된 객체 상자 간의 IoU 값이 일정 이상인지를 평가하여 이루어집니다.

mAP는 평균 정밀도를 다시 한번 더 평균 낸 값입니다. 분류기가 검출 가능한 각 분류 별로 정해진 테스트셋에서 평균 정밀도를 구하고 평균 정밀도를 다시 한번 더 평균 내면 mAP 값의 결과가 나오게 됩니다.

정보 검색 분야

정보 검색 분야에서, 정밀도와 재현율은 검색된 문서(retrieved documents; 웹 검색 엔진에 의해 생성된 문서들) 및 관련 있는 문서(relevant documents; 웹 문서들 중 찾고자 하는 주제와 실제로 관련 있는 것들)에 의해 정의된다.

정밀도

정보 검색 분야에서 정밀도(precision)는 검색된 문서들 중 관련 있는 문서들의 비율이다.

$$ \text{precision}=\frac{|{\text{relevant documents}}\cap{\text{retrieved documents}}|}{|{\text{retrieved documents}}|} $$

재현율

정보 검색 분야에서 재현율(recall)은 관련 있는 문서들 중 실제로 검색된 문서들의 비율이다.

$$ \text{recall}=\frac{|{\text{relevant documents}}\cap{\text{retrieved documents}}|}{|{\text{relevant documents}}|} $$

오차 행렬 (Confusion matrix) 표현

실제 정답

Positive

Negative

실험 결과

Positive

True Positive

False Positive</br>(Type I error)

Negative

False Negative</br>(Type II error)

True Negative

통계적 분류 분야에서 정밀도(precision)와 재현율(recall)은 다음과 같이 정의된다:

\(\text{Precision}=\frac{tp}{tp+fp} \,\)
\(\text{Recall}=\frac{tp}{tp+fn} \,\)

여기서 재현율은 Sensitivity로도 불리며, 정밀도는 Positive Predictive Value(PPV)로 불리기도 한다; 통계적 분류 분야에서 사용되는 다른 기준으로 True Negative Rate(Specificity)와 정확도(Accuracy) 등이 있다.

\(\text{True negative rate}=\frac{tn}{tn+fp} \,\)
\(\text{Accuracy}=\frac{tp+tn}{tp+tn+fp+fn} \,\)

See also

Favorite site

References

  1. Darkpgmr.tistory.com_-_Understanding_precision_and_recall.pdf ↩

  2. Tykimos.github.io_-_Evaluation_Talk.pdf ↩