Classification Metrics: Precision, Recall, F1 Score, Accuracy

Classification metrics

F1 Score, Precision, Recall, Accuracy는 분류(classification)에서 모델의 성능을 평가하기 위해 사용되는 지표들입니다.
이들 각각은 모델이 얼마나 잘 작동하는지에 대한 다양한 측면을 측정합니다.

Precision (정밀도)

• 정의: 모델이 Positive로 예측한 것들 중 실제로 Positive인 것의 비율을 나타냅니다.
• 수식: Precision = TP / TP + FP 
  - TP: True Positive (실제로 Positive인 것을 Positive로 예측한 경우)
  - FP: False Positive (실제로는 Negative인 것을 Positive로 잘못 예측한 경우)
• 설명: Precision는 모델이 얼마나 정확하게 Positive 클래스를 예측하는지 측정하며,
  잘못된 Positive 예측(FP)을 최소화하려는 경우에 중요한 지표입니다.

Recall (재현율)

• 정의: 실제 Positive인 것들 중 모델이 Positive로 올바르게 예측한 비율을 나타냅니다.
• 수식: Recall = TP / TP + FN
  - FN: False Negative (실제로 Positive인 것을 Negative로 잘못 예측한 경우)
• 설명: Recall은 모델이 실제 Positive인 것들을 얼마나 잘 감지하는지를 측정하며,
  놓치는 Positive 예측(FN)을 최소화하는 것이 중요한 경우에 사용됩니다.

F1 Score

• 정의: Precision과 Recall의 조화 평균입니다.
• 수식: F1 = 2 × (Precision × Recall) / (Precision + Recall)
• 설명: F1 Score는 모델이 Precision과 Recall 사이에서 얼마나 균형을 잘 맞추고 있는지를 나타내는 지표입니다.
  두 값의 차이가 크지 않게 잘 조정되었는지 평가할 때 사용됩니다.
  높은 F1 Score는 모델이 Positive 예측을 정확하게 하면서도 실제 Positive를 놓치지 않음을 의미합니다.

Accuracy (정확도)

• 정의: 전체 예측 중에서 올바르게 분류된 비율을 나타냅니다.
• 수식: Accuracy = TP + TN / TP + TN + FP + FN
  - TN: True Negative (실제로 Negative인 것을 Negative로 예측한 경우)
• 설명: 정확도는 모든 클래스에 걸쳐 모델이 얼마나 잘 분류했는지 평가합니다.
  하지만 데이터가 불균형할 경우(한 클래스의 비율이 매우 높은 경우), 정확도는 의미가 없을 수 있습니다.

각 지표는 특정 상황과 목표에 따라 다르게 중요시될 수 있습니다.
예를 들어, 의료 분야에서는 Recall이 중요할 수 있으며, 스팸 필터링 시스템에서는 Precision이 더 중요할 수 있습니다.
F1 Score는 Precision과 Recall 사이의 균형을 중요시하는 경우 유용한 지표입니다.

기타 주요 지표들

1. Receiver Operating Characteristic (ROC) Curve 및 AUC (Area Under the Curve):
   ROC Curve는 모델의 True Positive Rate(Recall)과 False Positive Rate의 관계를 시각적으로 보여줍니다.
   AUC(Area Under the Curve)는 이 ROC 곡선 아래 면적을 나타내며, 1에 가까울수록 모델 성능이 좋음을 의미합니다.
2. Confusion Matrix:
   Confusion Matrix는 모델의 분류 결과를 정리한 표로, True Positive, True Negative, False Positive, False Negative를 한눈에 보여줍니다. 이를 통해 각 클래스 간 혼동이 얼마나 발생하는지 쉽게 파악할 수 있습니다.
3. Class Imbalance:
   Class Imbalance는 한 클래스가 다른 클래스보다 훨씬 많은 데이터를 가지고 있을 때 발생하며, 이로 인해 모델 성능이 왜곡될 수 있습니다. 클래스 불균형 문제를 해결하기 위해서는 데이터 전처리 기법(Over-sampling, Under-sampling, SMOTE 등) 또는 모델 기반 접근법(비용 민감 학습, 클래스 가중치 조정 등)을 사용할 수 있습니다.
4. Precision-Recall Curve:
   Precision-Recall Curve는 불균형한 데이터 상황에서 ROC Curve보다 더 유용할 수 있으며,
   다양한 임계값에서 Precision과 Recall의 변화를 시각화합니다.
5. Cross-validation:
   Cross-validation은 데이터를 여러 개의 훈련 및 검증 세트로 나누어 모델의 성능을 평가하는 방법입니다.
   이를 통해 모델의 일반화 성능을 더 정확하게 평가할 수 있습니다.
   
   

Metrics for Classification Model