Performance Evaluation

Methods for Performance Evaluation

어떻게 성능을 측정할 것인가?

이것은 Learning 알고리즘에 의존적인 문제이다. 생각해 볼 수 있는 지표들은 아래와 같다.

Class of distribution: 균등함의 정도를 나타낸다.

Cost of misclassification

Size of training and test sets

Holdout 방법 

Reserve 2/3 for training and 1/3 for testing 으로

Metrics for Performance Evaluation

Computing Cost of Classification

주어진 Cost  Matrix

Sensitivity and Specificity

바이너리 classification test에서 주로 사용 하는 통계적인 measure가 Sensitivity와 specificity 이다.

Wikipedia: URL

Sensitivity는 

True positive rate

recall

로 불린다.

Specificity는

True negative rate

예측한것 들 중에서 실제로 negative 인것 / 전체 negative 인것

좀 더 읽어보기

---

Practical Machine Learning post

Receiver Operating Characteristic, Cross validation