[빅데이터분석기사/실기] 제2유형. 평가지표

제2유형 평가지표에 대한 내용입니다.

통계에 대한 내용이라 비전공자는 다소 어렵기 때문에 그냥 통째로 암기!ㅎㅎ

 

 

 

---

1. 이진분류 평가지표(0과 1로 이루어진 데이터)

 

 

import pandas as pd

from sklearn.ensemble import RandomForestClassifier

 

# train 데이터

train = pd.DataFrame({

    'f1': [2, 3, 5, 7, 11, 13, 17, 19, 23, 29],

    'f2': [30, 28, 26, 24, 22, 20, 18, 16, 14, 12],

    'target': ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B']

})

 

# test 데이터

test = pd.DataFrame({

    'f1': [7, 9, 15],

    'f2': [23, 18, 26]

})

 

# target 데이터 분리

target = train.pop('target')

 

# 머신러닝 학습 및 예측

clf = RandomForestClassifier(random_state=0)

clf.fit(train, target)

pred = clf.predict(test)

print(pred)

['B' 'A' 'A']

 

 

2. 머신러닝 예시 코드(predict)

 

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import accuracy_score

 

train = pd.DataFrame({

    'f1': [2, 3, 5, 7, 11, 13, 17, 19, 23, 29],

    'f2': [30, 28, 26, 24, 22, 20, 18, 16, 14, 12],

    'target': ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B']

})

 

# 검증 데이터 30% 분리

target = train.pop('target')

X_train, X_val, y_train, y_val = train_test_split(train, target, test_size=0.3, random_state=0)

 

# 머신러닝 학습 및 X_val 데이터로 예측

clf = RandomForestClassifier(random_state=0)

clf.fit(X_train, y_train)

y_pred = clf.predict(X_val) # predict

 

print("val:", y_pred) # 예측값

print("정확도:", accuracy_score(y_val, y_pred)) # 정확도 평가

 

# test 데이터로 예측한 결과

test = pd.DataFrame({

    'f1': [7, 9, 15],

    'f2': [23, 18, 26]

})

pred = clf.predict(test)

print("test:", pred)

val: ['A' 'A' 'A']
정확도: 0.6666666666666666
test: ['B' 'A' 'A']

 

 

3. 이진분류 데이터의 정확도

import pandas as pd

y_true = pd.DataFrame([0, 1, 1, 0, 0, 1, 1, 1, 1, 0]) # 실제값(y_val)

y_pred = pd.DataFrame([0, 0, 1, 1, 0, 0, 0, 1, 1, 0]) # 예측값(y_pred)

y_true_str = pd.DataFrame(['B', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B']) # 실제값

y_pred_str = pd.DataFrame(['B', 'B', 'A', 'A', 'B', 'B', 'B', 'A', 'A', 'B']) # 예측값

 

from sklearn.metrics import accuracy_score

accuracy = accuracy_score(y_true, y_pred)

print("숫자 데이터 정확도:", accuracy)

accuracy = accuracy_score(y_true_str, y_pred_str)

print("문자 데이터 정확도:", accuracy)

숫자 데이터 정확도: 0.6
문자 데이터 정확도: 0.6

 

 

4. F1 Score⭐

 

from sklearn.metrics import f1_score

f1 = f1_score(y_true, y_pred)

print("숫자 데이터 F1 스코어:", f1)

f1 = f1_score(y_true_str, y_pred_str, pos_label='A') # 문자일 경우, pos_label에 양성값을 설정

print("문자 데이터 F1 스코어:", f1)

숫자 데이터 F1 스코어: 0.6
문자 데이터 F1 스코어: 0.6

 

 

5. 머신러닝 예시 코드(predict_proba)

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import roc_auc_score

 

df = pd.DataFrame({

    'f1': [2, 3, 5, 7, 11, 13, 17, 19, 23, 29],

    'f2': [30, 28, 26, 24, 22, 20, 18, 16, 14, 12],

    'target': ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B']

})

 

target = df.pop('target')

X_train, X_val, y_train, y_val = train_test_split(df, target, test_size=0.5, random_state=0)

 

clf = RandomForestClassifier(random_state=42)

clf.fit(X_train, y_train)

y_pred = clf.predict_proba(X_val) # predict_proba

 

print(y_pred) # 예측값(0일 확률, 1일 확률)

roc_auc_score(y_val, y_pred[:,1]) # 정확도 평가

[[0.32 0.68]
 [1.   0.  ]
 [0.75 0.25]
 [1.   0.  ]
 [0.74 0.26]]

0.25

 

 

6. ROC-AUC, 숫자 데이터⭐

 

from sklearn.metrics import roc_auc_score

import numpy as np

 

# 실제값 (0: 음성, 1: 양성)

y_true = pd.DataFrame([0, 1, 0, 1, 1, 0, 0, 0, 1, 1])

# 예측값

y_pred_proba = np.array([

    [0.8, 0.2], # (0일 확률, 1일 확률)

    [0.1, 0.9],

    [0.77, 0.23],

    [0.6, 0.4],

    [0.2, 0.8],

    [0.4, 0.6],

    [0.6, 0.4],

    [0.8, 0.2],

    [0.3, 0.7],

    [0.4, 0.6]

])

 

roc_auc = roc_auc_score(y_true, y_pred_proba[:,1]) # (실제값, 양성(1)일 예측값)

print("ROC-AUC:", roc_auc)

ROC-AUC: 0.92

 

 

7. ROC-AUC, 문자 데이터

 

y_true_str = pd.DataFrame(['A', 'B', 'A', 'B', 'B', 'A', 'A', 'A', 'B', 'B'])

y_pred_proba_str = np.array([

    [0.8, 0.2],

    [0.1, 0.9],

    [0.77, 0.23],

    [0.6, 0.4],

    [0.2, 0.8],

    [0.4, 0.6],

    [0.6, 0.4],

    [0.8, 0.2],

    [0.3, 0.7],

    [0.4, 0.6]

])

 

roc_auc = roc_auc_score(y_true_str, y_pred_proba_str[:,1])

print("ROC-AUC:", roc_auc)

ROC-AUC: 0.92

 

 

8. 다중분류 평가지표(여러 값으로 이루어진 데이터)의 정확도

y_true = pd.DataFrame([2, 2, 3, 3, 2, 1, 3, 3, 2, 1]) # 실제값

y_pred = pd.DataFrame([2, 2, 1, 3, 2, 1, 1, 2, 2, 1]) # 예측값

y_true_str = pd.DataFrame(['B', 'B', 'C', 'C', 'B', 'A', 'C', 'C', 'B', 'A']) # 실제값

y_pred_str = pd.DataFrame(['B', 'B', 'A', 'C', 'B', 'A', 'A', 'B', 'B', 'A']) # 예측값

 

from sklearn.metrics import accuracy_score

accuracy = accuracy_score(y_true, y_pred)

print("숫자 데이터 정확도:", accuracy)

accuracy = accuracy_score(y_true_str, y_pred_str)

print("문자 데이터 정확도:", accuracy)

정확도: 0.7
정확도: 0.7

 

 

9. F1 Score⭐

from sklearn.metrics import f1_score

f1 = f1_score(y_true, y_pred, average='macro')  # 다중분류는 average= micro, macro, weighted 작성

print("숫자 데이터 F1 스코어:", f1)

 

f1 = f1_score(y_true_str, y_pred_str, average='macro')

print("문자 데이터 F1 스코어:", f1)

F1 스코어: 0.6518518518518518
F1 스코어: 0.6518518518518518

 

 

10. 회귀 평가지표

import pandas as pd

y_true = pd.DataFrame([0, 2, 5, 2, 4, 4, 7, 10]) # 실제값

y_pred = pd.DataFrame([1.14, 2.53, 4.87, 3.08, 4.21, 5.53, 7.51, 10.32]) # 예측값

 

10-1) MSE(Mean Squared Error) → 작을수록 좋음

from sklearn.metrics import mean_squared_error

mse = mean_squared_error(y_true, y_pred)

print("MSE:", mse)

MSE: 0.6889125

 

10-2) MAE(Mean Absolute Error) → 작을수록 좋음⭐

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)

print("MAE:", mae)

MAE: 0.68125

 

10-3) 결정 계수(R-squared) → 높을수록 좋음(0 < R² < 1)⭐

from sklearn.metrics import r2_score

r2 = r2_score(y_true, y_pred)

print("결정 계수:", r2)

결정 계수: 0.9207007194244604

 

10-4) RMSE(Root Mean Squared Error) → 작을수록 좋음⭐

from sklearn.metrics import mean_squared_error

mse = mean_squared_error(y_true, y_pred)

rmse = mse ** 0.5

print("RMSE:", rmse) 

RMSE: 0.830007530086324