출석 번호로 시험 점수를 맞힐 수 있을까
쓸모 있는 특성 고르기

어느 반 학생 열 명의 기록입니다. 이번 시험 점수를 미리 맞혀 보는 프로그램을 만들려고 합니다. 쓸 수 있는 정보가 여섯 가지 있어요.

단위 — 공부시간(시간) · 수면시간(시간) · 지난점수(점) · 신발크기(mm) · 출석번호(번) · 무작위값(0~1 사이의 아무 숫자). 이 열 명은 6차시 실습 코드에 글자로 박혀 있는 데이터입니다.

학생	공부시간	수면시간	지난점수	신발크기	출석번호	무작위값	이번 점수
A	1.0	6	58	250	7	0.37	58
B	2.0	8	64	270	2	0.91	61
C	2.5	7	70	255	10	0.14	70
D	3.0	5	66	280	4	0.62	68
E	3.5	7	78	265	1	0.05	79
F	4.0	6	74	245	9	0.88	77
G	4.5	8	85	275	3	0.29	88
H	5.0	7	82	260	6	0.71	84
I	5.5	6	90	285	8	0.44	92
J	6.0	7	93	250	5	0.19	95

먼저 예측해 봅시다. 여섯 개 중 예측에 쓸 두 개를 눈으로 골라 보세요. 아마 대부분 공부시간과 지난점수를 고를 거예요. 그리고 출석번호는 아무도 고르지 않겠지요. 당연합니다 — 출석 번호는 이름 순서로 붙은 번호일 뿐이니까요.

그런데 여기서 물음이 하나 생깁니다. '당연하다'는 느낌을 숫자로 바꿀 수 있을까요? "공부시간은 관계가 있어 보인다"와 "출석번호는 관계가 없어 보인다" 사이에는 몇 점짜리 차이가 있을까요. 사람이 열 줄을 눈으로 훑는 것은 되지만, 특성이 100개, 데이터가 10만 줄이면 눈으로는 못 합니다.

두 값이 함께 오르내리는 정도를 −1에서 +1 사이의 숫자 하나로 나타낸 것을 상관계수(correlation coefficient) r이라고 합니다.

5차시에서 우리는 이런 자로 잰 값들을 나란히 세우는 법을 배웠습니다. 오늘 재려는 것은 길이도 온도도 아닌 관계예요. 그런데 재는 일에는 언제나 눈금과 단위가 필요합니다. 위의 두 자는 단위가 둘씩이라 같은 것을 재도 숫자가 달라지지요. 상관계수 r도 하나의 눈금인데, 단위가 없습니다 — 어떤 두 값을 재든 −1과 +1 사이의 같은 눈금으로 나옵니다. 그래서 ‘공부시간 ↔ 점수’와 ‘기온 ↔ 잔반량’처럼 전혀 다른 두 관계를 같은 자리에 놓고 견줄 수 있어요.

식이 왜 그렇게 생겼나

식을 외우기 전에 무엇을 재려는지부터 봅시다. “함께 움직인다”는 말은 “한쪽이 자기 평균보다 클 때 다른 쪽도 자기 평균보다 크다”는 뜻입니다. 그러니 각자 자기 평균에서 얼마나 벗어났는지를 재서 곱하면 됩니다.

• 둘 다 평균보다 크면 → (양수) × (양수) = 양수
• 둘 다 평균보다 작으면 → (음수) × (음수) = 양수
• 하나는 크고 하나는 작으면 → (양수) × (음수) = 음수

이 곱을 모두 더한 값이 분자입니다. 함께 움직이면 양수가 쌓이고, 반대로 움직이면 음수가 쌓이고, 아무 규칙이 없으면 서로 상쇄되어 0 근처가 됩니다.

그런데 이 값만으로는 곤란합니다. 점수를 100점 만점 대신 1000점 만점으로 바꾸면 분자가 10배가 되어 버려요. 관계의 세기는 그대로인데 숫자만 커집니다. 그래서 각자 벗어난 정도(제곱합의 제곱근)로 나눠 −1~+1 안에 눌러 넣습니다. 이것이 분모입니다.

      Σ (x − x̄)(y − ȳ)          ← 함께 벗어난 정도를 모두 더한다
r = ───────────────────────────
    √Σ(x − x̄)² · √Σ(y − ȳ)²     ← 각자 벗어난 정도로 나눠 −1~1 로 만든다

손으로 한 번 따라가 보기 — 앞 다섯 명만

열 명을 다 계산하기 전에, 앞 다섯 명(A~E)의 공부시간과 점수만 떼어 손으로 해 봅시다. 평균은 공부시간 2.4시간, 점수 67.2점입니다.

세로줄 「x − x̄」와 「y − ȳ」의 합이 언제나 0이 되는 것을 확인해 두세요. 평균에서 벗어난 정도를 모두 더하면 반드시 0입니다 — 평균의 정의가 그렇습니다.

학생	x 공부시간	x − x̄	y 점수	y − ȳ	(x−x̄)(y−ȳ)	(x−x̄)²	(y−ȳ)²
A	1.0	−1.4	58	−9.2	+12.88	1.96	84.64
B	2.0	−0.4	61	−6.2	+2.48	0.16	38.44
C	2.5	+0.1	70	+2.8	+0.28	0.01	7.84
D	3.0	+0.6	68	+0.8	+0.48	0.36	0.64
E	3.5	+1.1	79	+11.8	+12.98	1.21	139.24
합	—	0	—	0	29.10	3.70	270.80

분모를 마저 구합니다. √3.70 = 1.9235, √270.80 = 16.4560. 그러면

r = 29.10 ÷ (1.9235 × 16.4560) = +0.9193

다섯 명으로 재니 +0.9193입니다. 그런데 열 명을 다 넣고 재면 +0.9721이 나옵니다. 같은 관계인데 값이 달라졌어요. 이 차이를 기억해 두세요. 개념 2에서 다시 만납니다.

눈으로 익히기 — r이 다르면 그림이 어떻게 다른가

열 명의 점수를 세로축에 두고, 가로축을 세 가지로 바꿔 가며 점을 찍었습니다.

반례 — r이 0인데 관계가 완벽할 수 있다

상관계수는 직선 관계만 잽니다. 그래서 이런 일이 생깁니다.

열 명의 여섯 가지 정보를 전부 재면 이렇게 나옵니다.

실습 코드가 화면에 찍어 주는 값입니다. 두 자리로 반올림한 것이 왼쪽, 네 자리까지가 오른쪽입니다.

특성	r (두 자리)	r (네 자리)	막대	읽는 법
지난점수	+0.99	+0.9935	++++++++++++++++++++	거의 직선. 가장 센 관계
공부시간	+0.97	+0.9721	+++++++++++++++++++	역시 아주 세다
수면시간	+0.16	+0.1613	+++	있는 듯 없는 듯
신발크기	+0.16	+0.1568	+++	있는 듯 없는 듯
출석번호	+0.01	+0.0144	+	사실상 관계 없음 — 예상대로
무작위값	−0.31	−0.3057	−−−−−−	왜 0이 아닌가?

여기서 멈춰 생각해 봅시다. 출석번호(+0.01)는 우리가 예상한 대로입니다. 아무 관계가 없으니 0 근처가 나왔어요. 그런데 무작위값은 출석번호보다도 더 관계가 없는 숫자입니다. 컴퓨터가 아무렇게나 뽑았으니까요. 그런데 왜 −0.31일까요?

어떤 학생은 이렇게 말할지도 모릅니다. “혹시 무작위값 안에 뭔가 숨은 규칙이 있나?” 아닙니다. 답은 훨씬 심심하고, 훨씬 중요합니다 — 열 명밖에 안 되기 때문입니다.

200번 되풀이해서 확인하기

서로 아무 관계가 없는 두 수열을 만들어 r을 재는 일을 200번 되풀이해 봅시다. “관계가 없으니 r은 0”이 맞다면 200번 다 0 근처가 나와야 합니다. 실제 결과는 이렇습니다.

서로 아무 관계 없는 두 난수열의 상관계수를 200번씩 잰 결과입니다. 실습 코드 【2】가 그대로 찍어 줍니다.

사람 수	|r| 평균	|r| 최대	|r| > 0.3 인 횟수	|r| > 0.6 인 횟수
10명	0.2819	0.8269	85 / 200 (42.5%)	15 / 200
30명	0.1310	0.5650	14 / 200 (7.0%)	0 / 200
100명	0.0812	0.2724	0 / 200	0 / 200
300명	0.0453	0.2565	0 / 200	0 / 200
1000명	0.0243	0.0808	0 / 200	0 / 200

읽어 봅시다. 열 명일 때는, 아무 관계 없는 두 수열에서도 |r|이 0.3을 넘는 일이 200번 중 85번(42.5%)입니다. 거의 절반이에요. 최대 0.8269까지 나왔습니다. 0.83이면 누구라도 “이건 관계가 있다”고 말할 값이지요.

사람 수를 늘리면 |r| 평균이 0.2819 → 0.1310 → 0.0812 → 0.0453 → 0.0243으로 착실히 0 쪽으로 내려갑니다. 1000명이면 |r|이 0.3을 넘는 일이 200번 중 0번이에요.

개념 1로 돌아가 보면

앞에서 우리는 앞 다섯 명만으로 r을 계산했지요. 그때 다른 특성도 같이 재 보면 이런 값이 나옵니다.

앞 다섯 명은 열 명에서 앞부분만 떼어 온 것입니다. 데이터를 바꾼 것이 아니라 덜 본 것뿐인데 결론이 이렇게 달라집니다.

특성	앞 다섯 명(5명)	열 명 전부(10명)	무슨 일이 났나
공부시간	+0.9193	+0.9721	진짜 관계는 사람이 늘어도 남는다
출석번호	−0.2775	+0.0144	다섯 명만 보면 “관계 있음”처럼 보인다
무작위값	−0.6518	−0.3057	−0.65! 부호까지 그럴듯하다

다섯 명만 봤다면 우리는 “출석 번호가 작을수록 점수가 높다(−0.28)”는 엉뚱한 결론에 이를 뻔했습니다. 열 명으로 늘리자 그 값은 +0.0144로 사그라들었어요. 데이터가 적을 때 상관계수를 믿는 것이 왜 위험한지, 이 한 줄이 보여 줍니다.

이번에는 24개월치 기록을 봅시다. 세 가지를 달마다 적어 두었어요 — 그달의 평균 기온, 아이스크림 판매량, 물놀이 사고 건수입니다. 앞 12개월은 이렇습니다.

⚠️ 이 표는 실제 통계가 아닙니다. 이 수업을 위해 지어낸 24개월치 자료예요. 지어낸 데이터인 것이 오히려 중요합니다 — 우리가 무엇을 심었는지 우리가 알기 때문입니다.

달	1	2	3	4	5	6	7	8	9	10	11	12
기온(℃)	1	3	8	14	19	23	27	28	23	17	9	3
아이스크림(만 개)	58.9	73.4	113.2	240.7	264.0	323.1	350.1	372.1	336.6	239.7	151.5	79.6
물놀이 사고(건)	1.4	3.9	7.3	8.8	10.2	12.8	15.1	14.4	13.6	9.3	7.0	3.2

아이스크림과 사고의 상관을 재면 r = +0.9716입니다. 거의 +1이에요. 개념 1의 기준으로 보면 지난점수(+0.99)에 맞먹는 아주 센 관계입니다. 그렇다면 이렇게 말해도 될까요?

“아이스크림을 금지하면 물놀이 사고가 줄어든다.”

안 됩니다. 왜 안 되는지를 데이터로 보이겠습니다. 먼저 세 번째 열, 기온과의 상관을 재 봅시다.

무엇과 무엇	r	읽는 법
아이스크림 ↔ 사고	+0.9716	함께 오르내린다
기온 ↔ 아이스크림	+0.9911	더워지면 아이스크림이 팔린다
기온 ↔ 사고	+0.9821	더워지면 물에 들어간다

세 값이 전부 0.97 위입니다. 즉 기온이 두 가지를 동시에 밀어 올리고 있습니다. 아이스크림과 사고는 서로를 일으키는 것이 아니라, 같은 것에 함께 끌려다니는 중이에요. 이렇게 뒤에 숨어서 둘을 함께 움직이는 것을 숨은 변수(confounder)라고 합니다.

기온의 몫을 덜어 내 보면

말로만 하지 말고 재 봅시다. 기온으로 아이스크림 판매량을 예측하는 직선을 하나 긋고, 실제 값에서 그 예측을 뺍니다. 남은 것이 잔차(residual)입니다. 사고 건수에도 같은 일을 합니다. 그런 다음 남은 것끼리 상관을 재요.

+0.9716이 −0.0680으로 사라졌습니다. 둘을 함께 오르내리게 한 것은 아이스크림이 아니라 기온이었다는 뜻입니다.

언제	r(아이스크림, 사고)
그냥 잰 값	+0.9716
기온의 몫을 각각 덜어 내고 남은 것끼리	−0.0680

그래도 예측에는 쓸 수 있을까 — 재 보자

여기서 조심할 것이 있습니다. “인과가 아니다”가 “쓸모없다”는 말은 아닙니다. 사고 건수를 예측하는 세 가지 방법을 실제로 만들어 오차를 재 보면 이렇습니다.

RMSE는 오차를 제곱해 평균 낸 뒤 제곱근을 씌운 값입니다. 작을수록 잘 맞힌 것이에요. 회귀는 9차시에서 제대로 배웁니다. 여기서는 성능을 재는 자로만 씁니다.

무엇으로 사고를 예측하나	오차(RMSE)	아이스크림 계수
아이스크림만	0.9918	+0.03682
기온만	0.7902	(안 씀)
기온 + 아이스크림	0.7884	−0.00365

읽어 봅시다. 아이스크림만으로도 꽤 맞힙니다(0.9918). 그러니 “예측에 쓸 수 있느냐”는 물음의 답은 예입니다. 그런데 기온을 이미 알고 있으면 이야기가 달라져요. 0.7902에서 0.7884로, 아이스크림이 줄여 주는 오차가 거의 없습니다. 그때 아이스크림의 계수는 −0.00365 — 0에 딱 붙습니다. 더 보탤 정보가 없다는 뜻이에요.

학생들이 흔히 하는 생각이 있습니다. “쓸모없는 특성이면 기계가 알아서 무시하겠지. 그러니까 일단 다 넣고 보자.” 그럴듯합니다. 정말 그런지 실제로 재 봅시다.

이번에는 학생 260명짜리 데이터를 씁니다. 이 데이터는 우리가 만들었기 때문에 점수를 정하는 진짜 규칙을 우리가 압니다.

점수 = 5.0 × 공부시간 + 0.55 × 지난점수 + 20.0 + (약간의 흔들림)

즉 점수를 정하는 것은 공부시간과 지난점수 둘뿐입니다. 여기에 아무 뜻 없는 특성 열세 개(출석번호 하나와 난수 열두 개)를 나란히 붙여 두었어요. 이 열세 개는 점수와 정말로 아무 관계가 없습니다.

칸의 값은 RMSE(점)입니다. 시험은 언제나 같은 200명으로 봅니다. 왼쪽에서 오른쪽으로 갈수록 아무 뜻 없는 특성이 늘어납니다.

훈련 인원	특성 2개 진짜 둘만		특성 4개		특성 6개		특성 10개 난수 잔뜩
	훈련	시험	훈련	시험	훈련	시험	훈련	시험
10명	2.073	3.979	2.043	3.966	1.748	4.541	0.000	5.285
16명	3.427	2.879	3.402	2.932	3.126	3.421	2.849	4.185
20명	3.293	2.898	3.257	2.981	3.162	3.172	2.929	3.942
30명	2.997	2.878	2.985	2.867	2.938	2.934	2.900	3.155
60명	2.739	2.927	2.687	2.977	2.560	3.088	2.510	3.290

표에서 세 가지를 읽는다

• 훈련 오차는 예외 없이 내려간다. 스무 칸을 왼쪽에서 오른쪽으로 훑어보세요. 한 번도 올라가지 않습니다. 이건 우연이 아니라 수학이에요 — 최소제곱은 오차 제곱을 줄이도록 맞추므로, 손잡이(특성)가 늘면 줄일 여지도 늡니다. 새 특성이 순전한 난수여도 그렇습니다. 난수의 우연한 들쭉날쭉함까지 외워 버려요.
• 시험 오차는 대체로 올라간다. “반드시”가 아니라 “대체로”입니다. 스무 칸 중 두 칸(훈련 10명·4개, 훈련 30명·4개)은 아주 조금 내려갔어요. 우연입니다. 훈련 쪽은 예외가 없고, 시험 쪽은 예외가 있습니다. 이 차이를 정확히 말할 줄 아는 것이 오늘의 공부입니다.
• 가장 무서운 칸은 왼쪽 맨 아래. 훈련 10명에 특성 10개를 넣으면 훈련 오차가 0.000이 됩니다. 한 명도 안 틀렸어요. 그런데 시험 오차는 5.285로 이 표에서 가장 나쁩니다.

왜 그런가 — 두 가지 까닭

중복된 특성 — 나쁘지는 않지만 보태는 것도 없다

쓸모없는 특성 말고, 이미 있는 특성과 거의 같은 특성을 넣으면 어떻게 될까요? 키와 발 크기를 둘 다 넣는 경우가 그렇습니다. 사람의 키와 발 크기는 아주 세게 함께 움직여요. 그러면 발 크기가 새로 알려 주는 것이 거의 없습니다.

개념 3에서 우리는 이미 이 장면을 봤습니다. 기온을 이미 알고 있을 때 아이스크림의 계수가 −0.00365로 0에 붙던 것 — 바로 그것이에요. 중복 특성은 잡음처럼 성능을 크게 망치지는 않지만, 대신 가중치가 둘 사이에 아무렇게나 나뉘어 모델을 설명하기 어렵게 만듭니다. “키의 영향이 얼마인가”를 물었을 때 답이 흔들리게 되지요.

지금까지의 이야기는 한 방향이었습니다 — “관계 없는 특성은 빼라.” 그런데 반대 방향의 사고도 있습니다. 쓸모 있는 특성이 상관계수 순위에서 조용히 탈락하는 것이에요. 2차시의 급식 데이터로 돌아가 그 장면을 만나 봅시다.

2차시는 그 스무 날치로 두 가지 기준선을 세웠지요.

2차시가 이 스무 날치로 정한 합격선이 0.70kg이었습니다. (이 스무 날치는 요일 패턴이 유난히 또렷하게 지어진 연습용 데이터입니다. 2차시의 예순 날치에서는 같은 일이 이만큼 크게 일어나지 않습니다.)

어떻게 예측하나	평균 오차	뜻
기준선 ① 늘 전체 평균(13.4kg)이라고 답한다	3.18 kg	아무것도 안 본 것과 같다
기준선 ② 요일별 평균으로 답한다	0.70 kg	요일 하나로 4.5배 줄었다

2차시는 여기서 물음 하나를 남겨 두었습니다 — “날씨나 행사를 더하면 어디까지 내려갈까? 6차시에서 실제로 재 본다.” 오늘 그 값을 확정합니다.

새 특성 둘의 상관을 재면 — 둘 다 버려야 할 것처럼 보인다

같은 스무 날에 그날 낮 기온과 학교 행사가 있었는지를 덧붙였습니다. 개념 1에서 배운 대로 상관계수를 재 봅시다.

특성	잔반량과의 r	순위만 보면?
그날 낮 기온(℃)	+0.1521	0에 가깝다 → 버린다
학교 행사 여부(0/1)	−0.0413	더 0에 가깝다 → 버린다

둘 다 0 근처입니다. 개념 2에서 배운 것을 떠올리면 스무 날짜리 데이터에서 |r| 0.15는 우연으로도 흔히 나오는 값이에요. 그러니 “쓸모없는 특성”이라고 결론 내리고 버려도 될 것 같습니다.

그런데 그러면 안 됩니다. 왜 그런지 보려면, 이 데이터에서 잔반량을 지배하는 것이 무엇인지부터 봐야 해요.

수요일이 20.5kg, 금요일이 9.0kg. 요일 하나가 오르내림을 통째로 지배합니다. 기온이 만드는 차이는 이 큰 파도에 완전히 묻혀 버려요.

요일	월	화	수	목	금
네 주치 잔반(kg)	10 · 11 · 9 · 12	13 · 12 · 14 · 13	20 · 21 · 19 · 22	14 · 15 · 13 · 14	9 · 8 · 10 · 9
요일별 평균	10.5	13.0	20.5	14.0	9.0

요일의 몫을 덜어 내고 다시 재면

개념 3에서 배운 잔차를 여기서도 씁니다. 각 날의 잔반량에서 그 요일의 평균을 뺍니다. 남는 것이 “요일로는 설명되지 않는 부분”이에요.

잔차 = [-0.5, 0.0, -0.5, 0.0, 0.0,  0.5, -1.0, 0.5, 1.0, -1.0,
        -1.5, 1.0, -1.5, -1.0, 1.0,  1.5, 0.0, 1.5, 0.0, 0.0]

이 잔차와 기온·행사의 상관을 다시 재 봅시다.

숨어 있었던 겁니다. 요일이라는 큰 파도가 잔반량의 오르내림을 통째로 지배하는 바람에, 기온의 효과가 그 밑에 깔려 원자료 상관으로는 보이지 않았던 것이에요.

그래서 오차는 얼마나 내려갔나

2차시가 정한 합격선 0.70kg을 0.32kg까지 내렸습니다. 알고리즘은 하나도 바꾸지 않았습니다. 좋은 특성 둘을 찾았을 뿐이에요.

쓴 특성	평균 오차	기준선 ②에 견주면
요일만 (= 2차시의 합격선)	0.7000 kg	—
요일 + 기온	0.5091 kg	1.4배 좋아짐
요일 + 행사	0.6000 kg	1.2배 좋아짐
요일 + 기온 + 행사	0.3219 kg	2.2배 좋아짐

정리하면 상관계수는 이렇게 두 방향으로 우리를 속입니다.

지금까지는 있는 특성 중에서 고르는 이야기였습니다. 그런데 실제 일은 그다음이 더 큽니다. 쓸 만한 특성이 데이터 안에 그대로 들어 있는 경우가 드물기 때문이에요. 가진 열을 조합하고 바꿔서 새 특성을 만들어 내는 일을 특성 공학(feature engineering)이라고 합니다.

① 있는 열에서 뽑아낸다

가진 열	만들어 낸 특성	왜 더 나은가
생년월일 2009-03-14	나이 17	생년월일은 숫자로 크기를 비교할 수 없다. 나이는 된다.
입장 시각 · 퇴장 시각	체류 시간(분)	우리가 궁금한 것은 얼마나 머물렀나이지 몇 시에 왔나가 아니다.
키(cm) · 몸무게(kg)	체질량지수 = 몸무게 ÷ 키²	두 열이 함께 만드는 뜻을 한 열로 모은다.
날짜	요일 · 시험 기간인가	개념 5에서 본 그것. 날짜 자체보다 요일이 훨씬 세다.

2차시의 급식 데이터가 좋은 예입니다. 기록에는 날짜가 적혀 있었지, “수요일”이라고 적혀 있지 않았어요. 날짜를 요일로 바꾼 그 한 걸음이 평균 오차를 3.18kg에서 0.70kg으로 끌어내렸습니다. 좋은 특성 하나를 찾는 것이 알고리즘을 바꾸는 것보다 성능을 더 올리는 일은 아주 흔합니다.

② 범주를 숫자로 바꾼다 — 원-핫 인코딩

“월·화·수·목·금”은 글자입니다. 기계는 숫자만 다루니 바꿔야 해요. 가장 쉬운 방법은 번호를 매기는 것입니다 — 월=1, 화=2, 수=3, 목=4, 금=5. 그런데 이러면 기계가 “금요일은 월요일의 다섯 배”라고 읽습니다. 요일에는 그런 크기 관계가 없는데도요.

그래서 원-핫 인코딩(one-hot encoding)을 씁니다. 요일 하나를 칸 여러 개로 펼치고, 해당하는 칸만 1로 둡니다.

요일이 다섯인데 칸은 넷입니다. 넷이 모두 0이면 자동으로 금요일이니 다섯 번째 칸은 필요가 없어요. 굳이 넣으면 다섯 칸이 서로를 완전히 설명하는 중복이 되어 계산이 불안정해집니다. 개념 5의 실습 코드가 실제로 네 칸만 씁니다.

그날	월?	화?	수?	목?	읽는 법
월요일	1	0	0	0	월 칸만 켠다
수요일	0	0	1	0	수 칸만 켠다
금요일	0	0	0	0	넷 다 0 — 그것으로 금요일이 정해진다

개념 4의 표는 누가 미리 재 둔 것이었습니다. 이제 여러분이 직접 재 보세요. 아래 스위치판에는 학생 260명의 특성 열다섯 개가 스위치로 놓여 있습니다. 초록 테두리 둘이 점수를 실제로 정하는 진짜 특성이고, 나머지 열셋은 출석번호와 난수 — 아무 뜻도 없는 것들이에요.

스위치를 누를 때마다 그 자리에서 최소제곱을 다시 풀어 훈련 오차와 시험 오차를 계산합니다. 미리 적어 둔 답을 여는 것이 아닙니다. 공책을 펴 두세요. 아래 과제의 값은 확인 문제에서 다시 묻습니다.

과제 ① 표를 채운다 — 훈련 20명에서

🔄 초기화를 누르고 훈련 인원이 20명인지 확인한 뒤, 아래 네 줄을 차례로 만들어 값을 적으세요. ‘앞에서부터’는 스위치판 왼쪽 위에서 오른쪽으로 세어 가라는 뜻입니다.

켜는 특성	켠 개수	훈련 오차	시험 오차	시험 − 훈련
공부시간 · 지난점수 (진짜 둘만)
위 둘 + 출석번호 + 난수01
위 넷 + 난수02 · 난수03
위 여섯 + 난수04~난수07

‘훈련 오차’ 세로줄부터 보세요. 위에서 아래로 내려가며 한 번이라도 올라갔나요? 그다음 ‘시험 오차’ 세로줄을 보세요. 두 줄이 반대 방향으로 움직입니다. 이 네 줄이 개념 4 표의 ‘20명’ 가로줄과 같은지 맞춰 보세요.

과제 ② 반례를 만든다 — 훈련 오차 0을 찍어 본다

• 훈련 인원을 10명으로 내립니다. 진짜 둘만 켜기를 눌러 두 값을 적어 두세요.
• 거기에 스위치판 순서대로 여덟 개를 더 켭니다(출석번호 · 난수01~난수07). 훈련 오차가 0.000으로 떨어지는 순간을 보세요. 그때 시험 오차는 얼마인가요?
• 다른 여덟 개를 골라도 훈련 오차가 0.000이 되는지 확인하세요. 그리고 “훈련 정확도 100%”가 왜 나쁜 소식인지 한 줄로 공책에 적으세요.
• 거꾸로도 해 봅니다. 전부 켜기를 누른 채 훈련 인원을 10에서 60까지 천천히 올려 보세요. 시험 오차가 처음으로 4.0 아래로 내려가는 인원은 몇 명입니까? 사람이 늘면 왜 난수의 해가 줄어드는지 개념 2와 이어 설명해 보세요.

과제 ③ 순위의 한계를 확인한다

▶ 순위대로 하나씩을 훈련 20명에서 눌러 보세요. |r|이 큰 것부터 하나씩 켜지며 곡선이 열다섯 점까지 그려집니다.

• 시험 오차가 가장 낮은 지점이 몇 개째인지 적으세요. 그때 켜진 특성은 무엇입니까?
• 세 번째로 켜지는 특성의 이름과 r을 적으세요. 그것은 진짜 특성입니까, 난수입니까? 왜 3위를 차지했을까요? (개념 2를 떠올리세요.)
• 맨 마지막으로 켜지는 특성은 무엇입니까? 그 r은 얼마인가요? “출석 번호로 시험 점수를 맞힐 수 있을까”라는 오늘의 제목에 한 줄로 답하세요.

개념 5의 급식 데이터입니다. 스위치는 셋뿐이에요 — 요일 · 기온 · 행사. 여덟 가지 조합을 전부 눌러 볼 수 있습니다. 누를 때마다 스무 날의 예측을 다시 계산해 평균 오차(MAE)를 찍어 줍니다.

과제 ④ 여덟 칸을 다 채운다

요일	기온	행사	평균 오차(kg)	기준선 ①(3.18)보다 좋은가
끔	끔	끔
끔	켬	끔
끔	끔	켬
끔	켬	켬
켬	끔	끔
켬	켬	끔
켬	끔	켬
켬	켬	켬

표를 다 채운 뒤 위 네 줄(요일 끔)과 아래 네 줄(요일 켬)을 견주어 보세요. 기온과 행사는 좋은 특성입니까, 나쁜 특성입니까? 이 물음에 한 낱말로 답할 수 없다는 것이 개념 5의 결론이었습니다. 그 까닭을 표로 설명해 보세요.

시뮬레이터는 누군가 미리 만들어 둔 것입니다. 이제 코드로 갑니다. 아래 프로그램은 오늘 본 여섯 장면을 한 번에 다 찍어 줍니다 — 열 명의 상관계수, 200번 되풀이 실험, 아이스크림, 260명 표, 순위대로 고르기, 그리고 급식.

다만 네 곳이 비어 있습니다. 그 넷을 채워야 돌아갑니다. 그중 둘은 상관계수 식의 분자와 분모예요. 개념 1에서 손으로 따라간 바로 그 식입니다.

채우지 않고 그냥 실행하면 SyntaxError가 납니다 — 정상입니다. 다 채우고 실행하면 166줄이 찍혀요. 맨 처음 【1】에 +0.97 · +0.16 · +0.99 · +0.16 · +0.01 · −0.31이 나오면 corr()를 제대로 짠 것입니다.

과제 ⑤ 시뮬레이터와 코드를 나란히 놓는다

이 코드의 【5】가 찍어 주는 순위표와, 손으로 ①의 막대 그림을 나란히 놓아 보세요. 열다섯 줄이 같은 차례로 늘어서 있고, r 값도 소수 넷째 자리까지 같아야 합니다. 다르면 둘 중 하나가 틀린 것입니다.

같은 방식으로 【4】의 ‘20명’ 가로줄과 과제 ①의 표를, 【6】의 마지막 표와 과제 ④의 아래 네 줄을 맞춰 보세요. 화면에서 손으로 만든 값과 코드가 찍은 값이 같다는 것을 확인하는 일이 오늘 실습의 마지막 단계입니다.

과제 ⑥ 코드를 부숴 본다

• 【5】의 정렬 기준에서 abs를 빼 보세요(-t[1]). 순위표 아래쪽 차례는 눈에 띄게 바뀝니다 — r이 음수인 난수들이 뒤로 밀려서 3위였던 난수12(−0.2909)가 꼴찌로 갑니다. 그런데 결론은 하나도 달라지지 않아요. 상위 두 개도, 가장 낮은 시험 오차 2.898도 그대로입니다. 왜 그럴까요? 순위표의 위 두 줄 부호를 보면 답이 보입니다. 그리고 어떤 데이터였다면 큰일이 났을지 한 줄로 적으세요.
• 【2】의 TRIALS = 200을 20으로 줄여 보세요. 표의 숫자가 얼마나 흔들리는지 보고, ‘되풀이 횟수’도 표본 크기라는 것을 확인하세요.
• 【1】의 X10에서 뒤 다섯 줄을 지워 다섯 명만 남겨 보세요. 출석번호와 무작위값의 r이 어떻게 바뀌나요? 개념 2의 표와 맞춰 보세요.

물음	오늘의 답	근거가 된 숫자
관계의 세기를 어떻게 재나	상관계수 r — 함께 벗어난 정도를 더해 각자 벗어난 정도로 나눈다	공부시간 +0.9721
r이 0이 아니면 관계가 있는 것인가	아니다. 표본이 적으면 우연이 상관을 만든다	10명일 때 |r|>0.3이 85/200
r이 높으면 원인인가	아니다. 숨은 변수가 둘을 함께 밀 수 있다	+0.9716 → −0.0680
쓸모없는 특성은 무시되나	아니다. 훈련은 좋아지고 시험은 나빠진다	20명: 3.293/2.898 → 2.929/3.942
r이 낮으면 버려도 되나	아니다. 더 센 특성 밑에 깔려 있을 수 있다	기온 +0.1521 → +0.7420
그래서 무엇을 얻었나	알고리즘을 하나도 안 바꾸고, 좋은 특성 둘로 급식 예측을 2.2배 정확하게	0.70 kg → 0.32 kg

오늘의 제목에 답해 봅시다. 출석 번호로 시험 점수를 맞힐 수 있을까? 열 명으로 재면 r은 +0.0144, 260명 중 훈련 20명으로 재면 +0.0069로 열다섯 개 중 꼴찌입니다. 맞힐 수 없어요. 그런데 넣어도 그만인 것은 아닙니다. 넣으면 훈련 오차를 조금 낮춰 주고, 그 대가로 시험 오차를 올립니다. 쓸모없는 특성은 ‘무해’가 아니라 ‘유해’입니다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.