- 모델을 평가해야 하는 이유와 훈련·테스트 분리를 이해한다.
- 회귀(오차)와 분류(정확도)의 평가 지표로 모델을 비교할 수 있다.
- 분석 목적에 가장 적합한 분석 방법을 선택할 수 있다.
생각 열기 — "잘 맞힌다"를 어떻게 증명할까?
"우리 예측 모델, 진짜 잘 맞아요!"라는 말을 믿어도 될까요? 증거(숫자)가 있어야죠. 모델이 얼마나 잘 맞히는지 객관적으로 재는 것이 평가예요. 그리고 모델이 하나가 아니라 여럿일 때는 서로 비교해 더 나은 것을 골라야 해요. 평가와 비교가 없으면, 그럴듯해 보이지만 실제론 엉터리인 모델을 믿게 될 수도 있어요. 이번 시간엔 모델을 저울에 다는 법을 배웁니다.
시험공부를 할 때, 풀어 본 문제(외운 문제)만 다시 풀면 100점이 나와요. 하지만 그게 진짜 실력일까요? 모델을 평가할 때도 같은 함정이 있어요. 어떻게 하면 '진짜 실력'을 잴 수 있을까요?
외운 문제로 시험 보지 않기 — 훈련 vs 테스트
모델을 학습시킨 데이터로 평가하면, 시험 범위를 미리 외우고 같은 문제를 푸는 것과 같아요 — 점수는 높지만 '진짜 실력'은 알 수 없죠. 그래서 데이터를 둘로 나눠요.
훈련(학습) 데이터로 모델을 만들고, 한 번도 안 본 테스트 데이터로 평가해요. 새로운 데이터에도 잘 맞아야 진짜 좋은 모델이니까요. 「인공지능 기초」 2단원에서 배운 과적합 (훈련 데이터만 달달 외워 새 데이터엔 약한 현상)을 잡아내는 것도 바로 이 테스트 평가예요.
무엇으로 잴까 — 오차와 정확도
평가 지표는 분석 종류에 따라 달라요. 회귀(숫자 예측)는 예측이 실제와 얼마나 벗어났는지(오차)를 재고(작을수록 좋음), 분류(범주 판별)는 얼마나 맞혔는지(정확도)를 재요(클수록 좋음). 두 모델을 직접 비교해 봅시다!
목적에 맞게 — 최적의 분석 방법 선택
이 단원에서 회귀·군집·연관을 배웠어요. 그런데 "어떤 방법이 제일 좋아요?"라는 질문엔 정답이 없어요. 분석 목적에 따라 최적의 방법이 다르거든요. 아래에서 목적별로 어떤 방법과 평가 지표가 어울리는지 골라 보세요.
하고 싶은 일(목적)을 누르면 알맞은 분석 방법과 평가 지표를 추천해 줘요.
실제 데이터 과학에서는 여러 방법을 모두 시도해 보고, 평가 지표로 비교한 뒤 가장 좋은 것을 골라요. "이 데이터엔 어떤 모델이 가장 잘 맞을까?"는 해 보기 전엔 모르거든요. 그래서 이 단원의 마지막 교훈은 '만들고 → 평가하고 → 비교하고 → 가장 적합한 것을 선택하라'예요. 평가와 비교야말로 데이터 과학의 완성입니다!
확인 문제
바로바로 채점!
5차시 확인 문제
4문항 · 즉시 채점
1모델 평가에서 '훈련 데이터'와 '테스트 데이터'를 나누는 이유는?
2매출액을 예측하는 회귀 모델의 성능을 평가하기에 알맞은 지표는?
3분석 방법 선택에 대한 설명으로 옳은 것은?
4[OX] 좋은 분석가는 여러 분석 방법을 시도해 평가·비교한 뒤 가장 적합한 것을 선택한다.
더 알아보기
교과서 너머의 이야기 — 클릭해서 펼쳐 보세요
개념정확도의 함정 — 99% 정확한데 쓸모없는 모델?
"이 모델은 정확도 99%!"가 늘 좋은 걸까요? 함정이 있어요. 예를 들어 1000명 중 10명만 걸리는 희귀병을 진단하는 모델이, 무조건 '정상'이라고만 답해도 정확도는 99%예요(990명을 맞히니까). 하지만 정작 중요한 환자 10명은 한 명도 못 잡죠! 이처럼 한쪽으로 치우친 데이터에서는 정확도만 보면 속아요. 그래서 「인공지능 기초」 2단원에서 배운 정밀도(찾아낸 것 중 진짜 비율)와 재현율(진짜 중 찾아낸 비율)을 함께 봐야 해요. 암 진단처럼 놓치면 큰일인 문제는 재현율을, 스팸 분류처럼 잘못 걸러내면 곤란한 문제는 정밀도를 더 중시하죠. 평가 지표도 목적에 맞게 골라야 한다는 거예요 — 하나의 숫자에 속지 마세요!
실전여러 번 시험 보기 — 교차 검증(cross-validation)
데이터를 훈련·테스트로 한 번만 나누면, 어쩌다 운 좋게(또는 나쁘게) 나뉘어 평가가 들쭉날쭉할 수 있어요. 이를 보완하는 것이 교차 검증(cross-validation)이에요. 데이터를 예를 들어 5조각으로 나눈 뒤, 4조각으로 학습하고 1조각으로 평가하기를 조각을 바꿔 가며 5번 반복해요. 그리고 5번의 평가 점수를 평균내면, 한 번의 우연에 휘둘리지 않는 안정적인 성능을 알 수 있죠. (※ 이름이 비슷하지만, 4차시까지 말한 '여러 방법으로 비교하기'와는 다른, 모델 평가 전용 기법이에요.) 진짜 데이터 과학 프로젝트에서는 이렇게 꼼꼼히 평가해 모델을 고른답니다 — 다음 단원(4단원)에서 직접 프로젝트를 해 볼 때 떠올려 보세요!
생각좋은 모델 = 정확한 모델? — 설명 가능성과 공정성
모델을 '정확도'만으로 평가하면 놓치는 게 있어요. 첫째, 설명 가능성이에요. 아주 복잡한 모델 (딥러닝 등)은 정확하지만 '왜 그렇게 판단했는지' 설명하기 어려워요(블랙박스). 의료·대출·채용처럼 이유가 중요한 결정에서는, 조금 덜 정확해도 설명 가능한 모델이 더 나을 수 있죠. 둘째, 공정성이에요. 전체 정확도는 높아도 특정 집단(성별·지역 등)에서만 자주 틀린다면 차별이 될 수 있어요. 그래서 좋은 모델의 기준은 정확도 + 설명 가능성 + 공정성 + 목적 적합성을 두루 보는 것이에요. 숫자 하나로 모델의 '좋음'을 다 잴 수는 없다는 것 — 데이터 과학자가 끝까지 사람의 판단과 책임을 놓지 말아야 하는 이유랍니다.