Methods for Performance Evaluation


어떻게 성능을 측정할 것인가?


이것은 Learning 알고리즘에 의존적인 문제이다. 생각해 볼 수 있는 지표들은 아래와 같다.


Class of distribution: 균등함의 정도를 나타낸다.

Cost of misclassification

Size of training and test sets



Holdout 방법 

Reserve 2/3 for training and 1/3 for testing 으로



Metrics for Performance Evaluation






Computing Cost of Classification


주어진 Cost  Matrix





Sensitivity and Specificity


바이너리 classification test에서 주로 사용 하는 통계적인 measure가 Sensitivity와 specificity 이다.


Wikipedia: URL


Sensitivity는 

True positive rate

recall

로 불린다.

Specificity

True negative rate


예측한것 들 중에서 실제로 negative 인것 / 전체 negative 인것












좀 더 읽어보기


Practical Machine Learning post

Receiver Operating Characteristic, Cross validation












'Data Science > Theory' 카테고리의 다른 글

Bayesian Classifiers  (0) 2015.04.23
K Nearest Neighbors - Classification  (0) 2015.04.23
Performance Evaluation  (0) 2015.04.19
Classification: Decision Tree  (2) 2015.04.19
Data Type and Data preprocessing  (0) 2015.04.18
Support Vector Machine  (0) 2015.04.17

+ Recent posts