- 회귀의 개념과 회귀선(추세선), 오차(잔차)를 이해한다.
- 통계적 회귀(최소제곱)와 기계학습 회귀(경사하강)의 방법 차이를 설명할 수 있다.
- 두 방법의 분석 결과를 비교하고 해석할 수 있다.
생각 열기 — 점들 사이로 직선 하나
2단원에서 '공부 시간과 성적'의 산점도를 봤죠? 점들이 오른쪽 위로 향하는 양의 상관이었어요. 이제 한 걸음 더 나아가, 그 점들 사이로 '가장 잘 어울리는 직선'을 그으면 어떨까요? 그 직선만 있으면 "공부를 7시간 하면 성적은 몇 점쯤?"을 예측할 수 있어요. 이렇게 데이터로 직선(또는 곡선)을 찾아 값을 예측하는 것이 회귀(regression)입니다.
점들 사이로 직선을 그을 때, '가장 잘 어울리는' 직선은 어떤 기준으로 정할까요? 직선과 점들 사이의 거리(오차)를 어떻게 하면 좋을지 생각해 보세요.
가장 잘 맞는 직선 찾기 — 오차를 줄여라
'가장 잘 어울리는 직선'의 기준은 오차(잔차)가 가장 작은 직선이에요. 잔차는 각 점과 직선 사이의 세로 거리(실제값 − 예측값)예요. 직접 직선을 조절해 오차를 줄여 보세요!
'공부 시간(시간) → 성적(점)' 데이터예요. 슬라이더로 직선을 조절해 오차 크기를 줄여 보세요. 그다음 두 버튼으로 컴퓨터가 찾는 방법을 비교해요.
같은 직선, 다른 길 — 통계 vs 기계학습
놀랍게도 두 버튼은 거의 같은 직선에 도달했을 거예요. 같은 목표(오차 최소)인데 가는 길이 달라요.
📐 통계적 회귀 — 최소제곱법
수식으로 한 번에 정답을 계산해요. 오차를 최소로 만드는 기울기·절편을 공식으로 딱 구하죠. 빠르고 정확하며, "기울기 = 영향력"처럼 결과를 해석하기 좋아요. 대신 데이터에 대한 가정(직선 관계 등)이 필요해요.
🤖 기계학습 회귀 — 경사하강법
아무 직선에서 시작해 오차를 조금씩 줄이며 반복해 정답에 다가가요(학습!). 느려 보여도, 변수가 아주 많거나 관계가 복잡할 때(공식으로 못 풀 때)도 쓸 수 있어 유연해요. 예측 성능에 집중하죠.
이 단순한 데이터에선 둘의 직선이 거의 같아 예측값도 비슷해요. 하지만 관점이 달라요 — 통계적 회귀는 "공부 1시간 → 성적 +약 6점"처럼 관계를 설명하는 데 강하고, 기계학습 회귀는 복잡한 데이터에서도 잘 예측하는 데 강해요. 목적이 '이해·설명'이면 통계, '복잡한 예측'이면 기계학습이 유리할 때가 많아요. (그래서 둘을 모두 알고 비교하는 게 중요해요!)
예측, 그리고 조심할 것
회귀선이 있으면 새 값을 예측할 수 있어요. 위 직선으로 '공부 8시간'을 넣으면 성적 예측이 나오죠. 하지만 조심할 점이 있어요.
관측한 데이터가 '공부 1~10시간'뿐인데, "그럼 100시간 공부하면 성적 600점?"이라고 하면 안 돼요. 성적은 100점이 최대니까요! 모델은 학습한 데이터 범위 안에서만 믿을 수 있어요. 범위를 한참 벗어난 예측(외삽)은 빗나가기 쉬워요. 또 회귀선은 '경향'일 뿐, 모든 점이 직선 위에 있는 건 아니에요 — 예측엔 항상 오차가 따른다는 걸 기억하세요.
우리 반의 두 변수(예: 키와 몸무게, 일주일 운동 시간과 체력장 기록)를 모아 산점도를 그려 보세요. 회귀선을 그어 '경향'을 찾고, ① 기울기가 무엇을 뜻하는지 ② 이 직선으로 무엇을 예측할 수 있는지 ③ 예측이 빗나갈 수 있는 경우는 언제인지 이야기해 봅시다.
확인 문제
바로바로 채점!
2차시 확인 문제
4문항 · 즉시 채점
1회귀에서 '가장 잘 맞는 직선'을 정하는 기준은?
2통계적 회귀(최소제곱법)의 특징으로 알맞은 것은?
3기계학습 회귀(경사하강법)에 대한 설명으로 알맞은 것은?
4[OX] 회귀선은 학습한 데이터 범위를 한참 벗어난 값도 항상 정확히 예측한다.
더 알아보기
교과서 너머의 이야기 — 클릭해서 펼쳐 보세요
개념왜 '제곱'일까 — 최소제곱법의 이름
최소제곱법(least squares)은 이름 그대로 '오차의 제곱의 합'을 최소로 만드는 방법이에요. 왜 그냥 오차가 아니라 제곱일까요? 첫째, 오차에는 +(직선 위)와 −(직선 아래)가 있는데 그냥 더하면 서로 상쇄돼 버려요. 제곱하면 모두 양수가 되어 상쇄를 막죠. 둘째, 제곱은 큰 오차에 더 큰 벌점을 줘요 — 오차가 2면 4, 10이면 100이 되니, 멀리 벗어난 점을 직선이 더 신경 쓰게 만들어요. 셋째, 제곱 함수는 매끄러워서 미분으로 최솟값을 깔끔히 구할 수 있어요(그래서 공식으로 한 번에 풀려요). 이런 수학적 편리함 덕분에 최소제곱법은 200년 넘게 사랑받는 회귀의 기본이 되었답니다.
확장직선만 회귀가 아니다 — 곡선·다중 회귀
이 차시에서는 가장 단순한 직선 회귀(단순 선형 회귀)를 다뤘지만, 회귀는 훨씬 넓어요. 관계가 휘어 있으면 곡선(다항 회귀)으로 맞출 수 있고, 입력 변수가 여러 개일 때는 다중 회귀를 써요 — 예를 들어 집값을 '크기' 하나가 아니라 '크기 + 방 수 + 위치 + 지은 연도'로 예측하는 거죠. 변수가 많아질수록 사람 머리로는 직선을 상상하기 어렵고, 이럴 때 경사하강법 같은 기계학습 방법이 빛을 발해요. 더 나아가 인공신경망(딥러닝)도 사실은 아주 복잡한 회귀·분류를 하는 거예요 (「인공지능 기초」에서 봤죠!). 직선 하나에서 시작한 회귀가 현대 인공지능까지 이어지는 셈이에요.
주의회귀의 함정 — 관계가 있다고 원인은 아니다
회귀선의 기울기가 크면 "X가 Y에 큰 영향을 준다"고 말하고 싶어져요. 하지만 2단원에서 배웠듯 상관(관계)이 곧 인과(원인)는 아니에요. 예를 들어 '아이스크림 판매량'으로 '물놀이 사고'를 회귀하면 기울기가 양수로 나오지만, 아이스크림이 사고의 원인은 아니죠(둘 다 '여름' 때문!). 또 숨은 변수가 진짜 원인일 수도 있어요. 그래서 회귀 결과를 해석할 때는 "이 관계가 정말 인과일까, 아니면 다른 설명이 있을까?"를 꼭 따져야 해요. 회귀는 '예측'에는 강력하지만, '원인 규명'에는 신중함이 필요한 도구랍니다. 숫자가 깔끔하게 나온다고 해서 그게 곧 진실인 것은 아니에요.