단원 홈

Ⅰ. 데이터 과학의 이해2차시

카메라를 단 교차로는
정말 안전해졌나

39%는 무엇이 만든 숫자인가

시가 사고 잦은 교차로 스무 곳에 단속 카메라를 달았더니 한 해 만에 사고가 39% 줄었습니다. 시는 이 숫자를 들고 카메라를 200곳으로 늘리려 합니다. 오늘 우리는 카메라를 한 대도 달지 않은 도시에서 똑같은 39%를 만들어 보고, 그 숫자를 무엇과 견주어야 결정을 걸 수 있는지 찾아냅니다.

  • [12데과01-01]
  • 50분네 정거장
  • 도구순수 파이썬 · chart(1차시에 이어)
  • 자료가상 도시 — 교차로 200곳 · 도시 300개

학습 목표

  1. 개념에서

    한 해의 사고 수가 진짜 위험 + 운임을 알고, 극단을 골라 뽑으면 아무것도 안 해도 평균 쪽으로 돌아온다는 것을 말할 수 있다.

  2. 손으로

    앞뒤 비교와 제비뽑기 비교 집단을 파이썬으로 각각 재어, 어느 쪽이 진짜 효과 둘레에 서는지 확인할 수 있다.

  3. 확인에서

    결정 · 잰 것 · 비교 대상 · 사후 검증 네 칸으로 새 사례를 따지고, 시장에게 보낼 세 줄 권고를 쓸 수 있다.

1
여는 장면 · 5분

보도자료 한 장 — "카메라를 달았더니 39% 줄었다"

어느 시가 지난해 사고가 가장 많았던 교차로 20곳을 골라 단속 카메라를 달았습니다. 한 해가 지나 사고 기록을 다시 세어 보니, 그 20곳의 한 해 평균 사고가 8.55건에서 5.25건으로 줄었습니다. 시는 보도자료를 내고 카메라를 200곳 전체로 늘리겠다고 밝혔습니다.

숫자는 틀리지 않았습니다. 8.55도 5.25도 실제로 센 값이고, 줄어든 비율도 계산이 맞습니다. 그런데 "카메라 덕분에 줄었다"는 문장도 숫자가 한 말일까요? 이 문장이 참이려면 카메라를 달지 않았을 때의 이듬해를 알아야 하는데, 그 해는 오지 않았습니다.

시정 · 가상 보도자료

사고 잦은 교차로 20곳 단속 카메라 — 한 해 만에 사고 39% 감소, 시는 200곳으로 확대

교차로 200곳의 사고 기록 · 이 보도자료는 수업을 위해 지어낸 것입니다
표 1보도자료가 실은 표카메라를 단 20곳 가운데 사고가 많았던 여섯 곳 · 한 해 사고 건수
교차로1년 차이듬해줄어든 수이 교차로의 진짜 위험
4번128−4가려 둠
140번124−8가려 둠
28번107−3가려 둠
29번101−9가려 둠
107번106−4가려 둠
50번99그대로가려 둠
20곳 평균8.555.25−3.30가려 둠

여섯 곳 가운데 다섯 곳이 이듬해에 줄었고(한 곳은 그대로), 20곳 평균으로도 3.30건이 줄었습니다. 맨 오른쪽 칸은 이 교차로가 원래 한 해 몇 건쯤 나는 곳인지 — 오늘은 그 칸을 우리가 알고 있습니다. 아직은 가려 둡니다.

오늘 두 해를 부르는 말을 정해 둡니다 — 카메라를 단 해가 1년 차, 그다음 해가 이듬해입니다. 파이썬 코드와 실험실에서는 이듬해를 2년 차라고도 씁니다. 같은 해를 가리키는 두 이름입니다. 자료: 가상 도시(교차로 200곳) — 3정거장 코드 ①이 만드는 값과 같다(원장 계산 · 브라우저 실측)

먼저 예측

여러분이 시의회 의원이라면, 이 보도자료를 받고 200곳으로 늘리는 안에 찬성하겠습니까? 찬성이든 반대든 무엇을 더 보고 정하겠는지 한 문장으로 적어 두세요. 3정거장 미션 ①에서 여러분이 적은 문장과 실제 숫자를 맞대어 봅니다.

체크포인트 1

39%라는 숫자가 참이라는 것과 '카메라 덕분'이라는 문장이 참이라는 것은 다른 말임을 보았다.

다음 정거장 · 개념 15분 →
2
개념 · 15분

결정을 거는 숫자에는 견줄 상대가 있어야 한다

2-1결정 앞에서 묻는 네 칸

데이터로 결정한다는 말은 '숫자를 본다'가 아니라 결정을 바꿀 수 있는 숫자를 미리 정해 두고 본다는 뜻입니다. 그 준비는 네 칸으로 적을 수 있습니다 — 결정(무엇을 바꾸나) · 잰 것(무엇을 숫자로 삼았나) · 비교 대상(무엇과 견주나) · 사후 검증(바꾼 뒤 어떻게 확인하나).

네 칸 가운데 가장 자주 비는 칸이 비교 대상입니다. 그 칸이 비면 '바꾸기 전'이 저절로 비교 대상이 되는데, 오늘 보게 되듯 그것이 가장 잘 속이는 상대입니다.

표 2같은 네 칸에 두 사례를 넣어 본다1차시 제멜바이스 · 오늘 교차로 카메라
칸제멜바이스(1847)교차로 카메라(오늘)
결정의사·학생이 병동에 들어가기 전 손을 씻게 한다단속 카메라를 200곳으로 늘린다
잰 것산모 100명당 사망자 수교차로 한 곳의 한 해 사고 건수
비교 대상같은 해 제2병동 — 손을 씻지 않는 조산사 병동비어 있다 — '작년의 같은 교차로'뿐
사후 검증해마다 두 병동의 격차를 다시 잰다정해 두지 않았다

제멜바이스가 한 일은 손 씻기만이 아니었습니다. 같은 해에 같은 도시에서 손을 씻지 않는 병동을 곁에 두고 잰 것이 그를 설득력 있게 만들었지요. 오늘의 보도자료에는 그 칸이 비어 있습니다.

Ⅰ-1 에서 가져옴제1병동과 제2병동은 같은 해에 나란히 있었습니다. 그래서 그 해에만 있었던 일(날씨 · 붐빔 · 유행)은 두 병동에 똑같이 닿았고, 남은 차이는 병동이 다른 몫이었습니다. 오늘 찾는 것도 그 '나란히 있는 상대'입니다.

결정 앞에서 묻는 네 칸 — 차례대로

  1. 결정이 숫자가 달라지면 무엇을 바꾸나 — 바꿀 것이 없으면 잴 까닭도 없다
  2. 잰 것결정이 바꾸려는 것과 숫자가 같은 것인가
  3. 비교 대상무엇과 견주나 — '바꾸기 전'뿐이라면 그 칸은 빈 것이다
  4. 사후 검증바꾼 뒤 무엇을 어떻게 다시 재기로 미리 정했나

이 넷은 오늘만 쓰는 틀이 아닙니다. 3정거장 미션 ④에서 쥐 꼬리 포상금과 뉴 코크를 같은 네 칸에 넣어 보고, 확인 문제에서 학교의 방과후 보충에도 넣어 봅니다.

2-2한 해의 사고 = 진짜 위험 + 운

교차로마다 '한 해에 몇 건쯤 나는 곳인가'라는 진짜 위험이 있습니다. 시야가 가렸는지, 차가 얼마나 지나는지, 신호가 어떤지에 따라 정해지는 값이지요. 그런데 실제로 세어진 한 해 사고 수는 그 값에 운이 얹힌 숫자입니다. 같은 교차로라도 어떤 해는 위로, 어떤 해는 아래로 흔들립니다.

그러면 사고가 가장 많았던 20곳을 고르는 일은 무엇을 고르는 일일까요? 진짜 위험이 높은 곳만 뽑히는 게 아니라, 그 해에 운이 나빴던 곳이 함께 뽑힙니다. 그리고 운은 다음 해에 똑같이 따라오지 않습니다. 그래서 아무것도 하지 않아도 이듬해에는 평균 쪽으로 돌아옵니다 — 이것을 평균으로의 회귀라고 합니다.

표 3가려 둔 칸을 연다표 1과 같은 여섯 곳 · 진짜 위험과 그 순위
교차로1년 차이듬해진짜 위험진짜 위험 순위
4번1285.4429위
140번1245.6028위
28번1077.001위
29번1012.5899위
107번1066.614위
50번996.0419위

28번은 200곳 가운데 진짜 위험이 1위인 교차로입니다 — 카메라를 달 만한 곳이지요. 그런데 29번은 진짜 위험이 99위인데도 그해에 10건이 나서 함께 뽑혔고, 이듬해에는 1건으로 내려앉았습니다. 고른 20곳 가운데 진짜 위험 상위 20곳에 들지 못한 13곳이 이듬해 낙폭 66건 가운데 53건(80%)을 만들었습니다 — 한 곳당 평균 4.08건씩 내려왔지요. 진짜로 위험한 7곳은 1.86건만 내려왔습니다. 자료: 가상 도시(교차로 200곳) — 진짜 위험은 자료를 만들 때 우리가 정한 값이다(원장 계산)

20곳 전체로 넓혀 보면 더 또렷합니다. 고른 20곳의 진짜 위험 평균은 5.18건인데 1년 차에는 8.55건이 나왔습니다 — 차이 3.37건이 운입니다. 이듬해에는 운이 0.07건밖에 얹히지 않아 5.25건이 되었지요. 반대쪽 20곳을 보면 같은 일이 거꾸로 일어납니다.

그림 1한 해의 사고를 진짜 위험과 운으로 쪼개면막대 = 그해에 센 사고 · 먹 점선 = 진짜 위험 · 두 판은 세로 눈금이 같다
고른 20곳1년 차에 사고가 가장 많았던 곳진짜 위험 5.18건 · 세로는 한 해 사고 건수02468진짜 위험8.551년 차운 +3.37건5.25이듬해운 +0.07건그해에 센 사고운이 더해진 몫운이 덜어낸 몫 — 진짜 위험까지반대쪽 20곳1년 차에 사고가 가장 적었던 곳진짜 위험 1.75건 · 세로는 한 해 사고 건수02468진짜 위험0.101년 차운 -1.65건2.05이듬해운 +0.30건그해에 센 사고운이 더해진 몫운이 덜어낸 몫 — 진짜 위험까지 고른 20곳1년 차에 사고가 가장 많았던 곳진짜 위험 5.18건 · 세로는 한 해 사고 건수02468진짜 위험8.551년 차운 +3.37건5.25이듬해운 +0.07건그해에 센 사고운이 더해진 몫운이 덜어낸 몫 — 진짜 위험까지반대쪽 20곳1년 차에 사고가 가장 적었던 곳진짜 위험 1.75건 · 세로는 한 해 사고 건수02468진짜 위험0.101년 차운 -1.65건2.05이듬해운 +0.30건그해에 센 사고운이 더해진 몫운이 덜어낸 몫 — 진짜 위험까지

고른 20곳은 운이 3.37건 얹힌 해에 뽑혔고, 이듬해에는 그 얹힘이 사라져 진짜 위험 가까이 내려왔습니다. 반대쪽 20곳은 운이 1.65건 덜어낸 해에 '가장 안전한 곳'이 되었고, 이듬해에는 올라갔습니다. 두 무리 모두 아무것도 바꾸지 않았습니다. 자료: 가상 도시 200곳 — 코드 ①이 찍는 값과 같다(원장 계산)

그래서 '사고가 가장 많던 곳을 고쳤더니 줄었다'는 문장은 고친 것의 효과가 없어도 참이 됩니다. 줄어든 몫이 손을 댄 덕인지, 골라 뽑은 탓인지 문장만으로는 가릴 수 없습니다.

중요한 것은 회귀가 아무 때나 생기지 않는다는 점입니다. 같은 도시의 200곳 전체는 3.04건에서 3.02건으로 그대로였습니다. 회귀는 극단을 골라 뽑을 때만 생기고, 더 극단을 고를수록 커집니다 — 3정거장 코드 ④가 그 크기를 잽니다.

규칙극단을 골라 뽑은 집단의 앞뒤 비교는 효과의 증거로 쓰지 않는다. 보고할 때는 무엇과 견주었는지를 숫자 옆에 함께 적는다.

숫자 두 개를 나란히 놓으면 회귀의 흔적이 더 또렷해집니다. 같은 도시 · 같은 두 해인데 고른 방식만 다른 네 쌍입니다.

고른 20곳 · 무엇과 견주느냐에 따라
39%1년 차와 견주면
vs
2.8%선정 전 세 해와 견주면
고른 20곳의 다섯 해 — 고른 해만 튀었다먹 점선 = 선정 전 세 해 평균 5.40건8.553년 전1년 차이듬해

같은 이듬해 5.25건인데 — 견줄 상대가 숫자를 만든다.

반대쪽 20곳 · 가장 안전했던 곳
0.101년 차(건)
→
2.05이듬해(건)
0.102.05진짜 위험 1.751년 차이듬해

같은 회귀의 반대쪽 — 거꾸로 늘었다.

전체 200곳 · 고르지 않았을 때
3.041년 차(건)
→
3.02이듬해(건)
3.043.02진짜 위험 3.051년 차이듬해

고르지 않으면 회귀도 없다 — 그대로다.

고른 20곳 · 정말 위험한 곳이었나
20고른 곳(개)
인데
7진짜 위험 상위 20곳
1년 차 상위 20곳 — 동그라미 스무 개진짜 위험도 상위 20곳에 함께 든 곳 7개

스무 곳 가운데 일곱 곳만 겹친다.

자료: 가상 도시 200곳 — 네 쌍의 숫자는 모두 3정거장 코드 ①이 찍는 값이다.

2-3고르는 손을 묶는 방법 — 제비뽑기 비교 집단

회귀를 없앨 수는 없습니다. 대신 회귀를 양쪽이 똑같이 겪게 만들 수는 있습니다. 사고가 많았던 40곳을 후보로 정해 둔 뒤, 그 안에서 누가 카메라를 받을지를 제비가 정하게 하는 것입니다. 그러면 운이 나빴던 곳이 양쪽에 고루 나뉘고, 운이 빠지는 몫도 양쪽이 똑같이 가져갑니다.

이렇게 나눈 두 집단은 1년 차가 같습니다(아래 그림에서 6.55건 대 6.55건). 그러니 견줄 것은 '앞과 뒤'가 아니라 같은 해(2년 차)의 두 집단입니다 — 1차시에서 같은 해 두 병동의 격차를 본 것과 같은 생각이지요. 식으로 적으면 비교 집단과 견준 효과 = 1 − 카메라 곳 2년 차 ÷ 비교 곳 2년 차 입니다.

그림 2제비뽑기 비교 집단 — 가르고, 같은 해끼리 견준다이 도시의 카메라는 진짜로 위험을 20% 줄인다
① 고르는 손을 묶는다사고가 많았던 40곳을 후보로 두고, 제비가 20곳씩 가른다후보 40곳 — 여기까지는 내가 고른다제비뽑기카메라 20곳달았다비교 20곳안 달았다두 집단의 1년 차 평균 6.55건 · 6.55건 — 같다.운 나쁜 곳이 양쪽에 똑같이 나뉘었다는 뜻이다.② 같은 해끼리 견준다카메라 곳과 비교 곳, 두 해씩02466.551년 차3.952년 차카메라 20곳6.551년 차5.402년 차비교 20곳보도 숫자 = 1 − 카메라 곳 2년 차 ÷ 비교 곳 2년 차= 1 − 3.95 ÷ 5.40 = 27%앞뒤만 보면 40% · 진짜 효과 20%비교 곳도 겪은 회귀(6.55 → 5.40)를카메라 곳도 똑같이 겪었다고 본다. ① 고르는 손을 묶는다사고가 많았던 40곳을 후보로 두고, 제비가 20곳씩 가른다후보 40곳 — 여기까지는 내가 고른다제비뽑기카메라 20곳달았다비교 20곳안 달았다두 집단의 1년 차 평균 6.55건 · 6.55건 — 같다.운 나쁜 곳이 양쪽에 똑같이 나뉘었다는 뜻이다.② 같은 해끼리 견준다카메라 곳과 비교 곳, 두 해씩02466.551년 차3.952년 차카메라 20곳6.551년 차5.402년 차비교 20곳보도 숫자 = 1 − 카메라 곳 2년 차 ÷ 비교 곳 2년 차= 1 − 3.95 ÷ 5.40 = 27%앞뒤만 보면 40% · 진짜 효과 20%비교 곳도 겪은 회귀(6.55 → 5.40)를카메라 곳도 똑같이 겪었다고 본다.

앞뒤만 보면 40%, 비교 집단과 견주면 27%, 진짜 효과는 20%입니다. 27%는 아직 20%가 아닙니다 — 한 도시의 2년 차에도 운이 섞이기 때문이지요. 그 흔들림의 폭은 3정거장 코드 ③이 도시 300개로 잽니다. 자료: 가상 도시(씨앗 7 · 제비 99) — 코드 ②가 찍는 값과 같다(원장 계산)

2-4재기 쉬운 것만 좋아진다

비교 대상을 제대로 두어도 한 칸이 더 남습니다 — 잰 것입니다. 시가 카메라의 성과를 '카메라 앞 적발 건수'로 잰다고 해 봅시다. 적발이 잘 되는 자리에 카메라를 옮기거나 적발을 늘리는 쪽으로 일이 굴러가기 쉽습니다. 그렇게 되면 적발 건수는 올라가는데 결정이 바꾸려던 것 — 사고와 부상 — 은 그대로일 수 있습니다.

이것을 굿하트의 법칙이라고 부릅니다. 지표가 목표가 되는 순간 그것은 더 이상 좋은 지표가 아니다는 말이지요. 지표를 쓰지 말라는 뜻이 아니라, 결정이 바꾸려는 것과 내가 잰 것이 같은지 계속 확인하라는 뜻입니다.

3정거장 미션 ④에서 쥐 꼬리 포상금과 뉴 코크 두 장의 데이터 시트를 오늘의 네 칸에 넣어 보며, 이 어긋남이 어떻게 생기는지 직접 짚어 봅니다.

체크포인트 2

회귀가 왜 생기는지, 제비뽑기 비교 집단이 왜 그것을 지우는지, 그리고 잰 것과 목표가 어긋날 수 있다는 것까지 말할 수 있다.

다음 정거장 · 손으로 20분 →
3
손으로 · 20분

카메라 0대로 39%를 만들고, 그것을 막는 장치를 만든다

1

카메라를 하나도 달지 않은 도시에서 39%를 만든다

7분

코드 ①은 교차로 200곳짜리 가상 도시를 만들고, 1년 차에 사고가 가장 많았던 20곳과 가장 적었던 20곳의 이듬해를 찍습니다. 상위 20곳이 줄어드는 것은 이미 보았지요. 그렇다면 하위 20곳은 이듬해에 어떻게 될까요? 늘까요, 줄까요, 그대로일까요 — 먼저 정해 두세요.

기본 · 3.5분 빈칸 ①에 '1년 차 사고가 가장 많았던 TOP 곳'을 고르는 줄을 채우고 ▶ 실행하세요. order 는 사고가 많은 순서로 줄 세운 교차로 번호입니다. 이 한 줄이 실험실 1단계에서 여러분의 손이 하는 일과 같습니다.

도전 TOP 을 5 로 바꿔 보세요. 더 극단을 고르면 '감소율'이 커집니다 — 코드 ④가 그 크기를 끝까지 재어 봅니다.

탐구 risk 를 만드는 줄에서 6 을 0 으로 바꾸면 모든 교차로의 진짜 위험이 1건으로 같은 도시가 됩니다. 그런 도시에서 상위 20곳을 고르면 '감소율'은 커질까요, 작아질까요?

실험실 · 3.5분 이제 그 20곳을 여러분이 직접 고릅니다. 이 실험실의 카메라는 전원이 들어오지 않습니다 — 사고를 줄이는 힘이 0이라는 뜻입니다. 그래도 계약을 따낼 수 있는지, 1단계와 2단계를 해 보세요. 3 · 4단계는 미션 ②에서 씁니다.

보도 숫자를 한 번 낸 뒤에 [진짜 위험 보기]가 열립니다 — 켜면 사건 파일이 드러납니다. 자료를 만들 때 우리가 정해 둔 교차로마다의 진짜 위험과, 내가 고른 곳의 지난 다섯 해가 그것입니다. 실제 자료에서는 결코 볼 수 없는 칸이지요 — 오늘 가상 도시를 쓰는 까닭입니다.

시뮬레이터

전원 없는 카메라 — 영업왕과 감사관

사고를 하나도 줄이지 못하는 카메라로 '39% 감소'를 만들어 팔 수 있을까

  1. 1지도에서 교차로를 눌러 카메라 20대를 놓는다
  2. 2줄어들 비율을 다이얼로 예측하고 잠근다
  3. 3[1년 뒤]를 눌러 보도자료를 찍는다
단계
카메라 자리
내가 약속하는 감소율
감사관의 제비
한 해를 보낸다
사건 파일
보기
내 방식 — 사고 상위 몇 곳에 다나
흔들림의 폭
1단계 · 계약을 따낸다교차로를 눌러 카메라를 놓으세요

보도 숫자 = 1 − 고른 곳 이듬해 평균 ÷ 고른 곳 1년 차 평균 — 정수 %로 반올림(보도자료가 하는 대로)

운 = 그해에 센 사고 − 진짜 위험 · 이 실험실의 카메라는 사고를 0건 줄인다 — 화면의 변화는 모두 운과 고르는 손의 몫이다

보도 숫자—%
고른 곳 1년 차—
고른 곳 이듬해—
진짜 위험 평균—
진짜 위험 상위 20곳과 겹침—
판1
도전 A

1단계 · 39%를 넘겨라. 전원 없는 카메라로 보도 숫자 39% 이상을 만들어 계약을 따내세요.

도전 B

1단계 · 공포 기사를 써라. 이번에는 반대로, 보도 숫자가 −100% 아래(사고가 두 배 넘게 늘어 보이는 판)가 되게 놓아 보세요.

도전 C

3단계 · 감사를 뚫어라. 후보 40곳은 내가 고르되 제비가 카메라를 정합니다. 보도 숫자 +10% 이상을 한 번이라도 만들어 보세요.

자료: 가상 도시(교차로 200곳, 씨앗 2026) · 도시 300개(씨앗 1000~1299 · 제비 5000~5299) · 도시 7 — 원장이 브라우저(Pyodide)로 뽑아 쪽 안에 실었다. 1단계 첫 판의 이듬해는 코드 ①이 만드는 값과 같고, [다시 — 다른 2년 차]부터는 이 판이 그 자리에서 새로 뽑는다.

이 도시에서 카메라의 효과는 인데도 보도 숫자는 % 가 나왔다. 줄어든 몫은 카메라가 아니라 에서 나왔고, 그 증거는 이다.

확인 문제 1에 시장에게 보낼 세 줄 권고를 적어 제출 →
2

감사관이 온다 — 제비뽑기가 고르는 손을 묶는다

6분

이번 도시의 카메라는 진짜로 위험을 20% 줄입니다. 사고가 많았던 40곳을 제비뽑기로 20곳씩 갈라 한쪽에만 달았습니다. 앞뒤만 본 효과와 비교 집단과 견준 효과 가운데 어느 쪽이 진짜 20%에 더 가까울까요? 그리고 나머지 한쪽은 20%보다 클까요, 작을까요?

기본 · 3.5분 코드 ②는 아래 실험실 3 · 4단계와 같은 규칙으로 도는 파이썬입니다. 빈칸 ②에 같은 해(2년 차)의 두 집단을 견주는 식을 채우세요 — 1차시에서 같은 해 두 병동을 견준 것과 같습니다.

도전 EFFECT 를 0.0 으로 바꿔 보세요 — 효과가 없는 카메라인데 ①은 몇 %를 보고하고 ②는 몇 %를 보고하나요?

탐구 제비 씨앗 random.seed(99) 의 99 를 다른 수로 바꾸면 ②가 얼마나 흔들립니까? 한 도시에서 한 번 뽑은 숫자를 그대로 믿어도 되는지 생각해 보세요.

실험실 · 2.5분 코드 ②가 한 일을 이번에는 손으로 해 봅니다. 미션 ①의 실험실로 돌아가 3단계 「감사」를 여세요. 후보 40곳은 여전히 내가 고르지만, 그 안에서 누가 카메라를 받을지는 제비가 정합니다. 보도 숫자가 어디쯤에 떨어지는지 보고, [300개 도시로]를 켜서 한 판이 아닌 폭을 확인하세요. 도전 C까지 마쳤다면 4단계 「진짜」로 넘어갑니다 — 코드 ②의 도시가 거기 있습니다.

↑ 실험실 3단계로 가기 →

제비뽑기로 나누면 두 집단의 가 같아지므로, 비교 곳이 겪은 를 카메라 곳도 똑같이 겪었다고 볼 수 있다. 그래서 같은 해끼리 견주면 남는 것은 이다.

확인 문제 3에 적어 제출 →
3

한 도시는 우연일 수 있다 — 같은 일을 300번

3분

코드 ③은 효과가 0인 카메라를 도시 300개에 달아 보고, 두 방법이 보고하는 '효과'를 상자그림 두 개로 그립니다. ① 앞뒤만 본 값과 ② 비교 집단과 견준 값은 각각 어디에 몰릴까요? 그리고 '효과가 0 이하'라고 정직하게 보고하는 도시는 300개 가운데 몇 개나 될까요?

기본 · 3분 코드 ③은 채워져 있습니다. 그대로 ▶ 실행하세요(브라우저에서 1초쯤 걸립니다). 상자그림 두 개가 어디에 서 있는지와 얼마나 넓은지를 함께 보세요.

도전 맨 위의 EFFECT = 0.0 을 0.2 로 바꿔 보세요. 진짜 20%짜리 카메라일 때 두 상자는 각각 어디에 섭니까?

탐구 코드 ④를 함께 돌려 보세요 — 더 극단을 고를수록 착시가 커지는 모양이 막대로 나옵니다. 이 그림은 미션 ④에서 씁니다.

효과가 0인데도 ① 방법은 300개 도시 가운데 곳에서만 0 이하를 보고했다. 늘 한쪽으로 틀리는 방법은 이므로, 보고할 때는 한 도시의 숫자 하나가 아니라 를 함께 적는다.

확인 문제 4에 적어 제출 →
4

재는 자가 숫자를 만든다 — 사례 두 장을 네 칸에

4분

여기까지는 비교 대상 칸의 이야기였습니다. 이제 잰 것 칸을 봅니다. 코드 ④를 먼저 돌려 보면, 고르는 기준(상위 몇 곳)만 바꿔도 보고되는 '감소율'이 42.5%에서 16.9%까지 달라집니다 — 재는 자를 어떻게 잡느냐가 숫자를 만든다는 뜻이지요. 그다음 사례 두 장을 같은 네 칸에 넣어 봅니다.

기본 · 1분 코드 ④는 채워져 있습니다. 그대로 ▶ 실행해 막대 넷을 보세요.

도전 KS 에 200 을 더해 보세요 — 200곳 전체를 고르면 '감소율'은 얼마가 됩니까?

탐구 risk 줄을 [3.0] * N(모든 교차로의 진짜 위험이 같은 도시)으로 바꾸면 상위 20곳의 착시가 52.8%로 커집니다. 왜 그럴까요? 반대로 [2.0] * 180 + [12.0] * 20 (정말 위험한 20곳이 따로 있는 도시)으로 바꾸면 4.5%로 작아집니다.

규칙성과 지표를 정할 때는 그 지표를 올리는 가장 쉬운 길을 먼저 적어 본다. 그 길이 원래 목표와 어긋나면 지표를 바꾸거나 다른 숫자를 함께 잰다.

데이터 시트 · 3분 아래 두 장을 읽고, 확인 문제 6의 표에 결정 · 잰 것 · 비교 대상 · 사후 검증을 채운 뒤 '결정이 바꾸려던 것'과 '잰 것'이 어긋난 칸에 동그라미를 치세요. 교차로 카메라까지 세 줄입니다.

자료 ㉮하노이의 쥐 꼬리 포상금 (1902)프랑스령 하노이 · 흑사병을 옮기는 쥐를 줄이려고
무엇기록에 남은 것
한 일1902년 4월, 시가 쥐 꼬리 한 개에 1센트를 주기로 했다. 쥐를 통째로 가져오지 않아도 됐다.
숫자하루에 7,000~14,000마리가 예사였고, 1902년 6월 12일 하루에만 20,114마리가 잡힌 것으로 기록됐다.
그다음하수도에서 꼬리 없는 쥐가 돌아다니는 것이 발견됐다. 꼬리만 자르고 놓아 준 것이다. 교외에서는 꼬리를 대려고 쥐를 기르는 곳까지 나왔다.

시가 바꾸려던 것은 도시의 쥐 수였는데, 잰 것은 가져온 꼬리 수였습니다. 출처: Michael G. Vann, “Of Rats, Rice, and Race: The Great Hanoi Rat Massacre”, French Colonial History 4(2003) · Vann & Clarke, The Great Hanoi Rat Hunt(2018)

자료 ㉯뉴 코크와 맛 시험 (1985)코카콜라 · 맛으로 지고 있다는 판단에서
무엇기록에 남은 것
한 일이름을 가린 맛 시험 약 19만 건을 거쳐 새 배합을 정하고, 1985년 4월 옛 배합을 내렸다.
숫자시험에서 61%가 새 배합을 더 좋아했다. 다만 최종 배합으로 한 시험은 전체의 20%쯤이었다.
그다음항의가 빗발쳐 79일 만인 7월에 옛 배합이 '코카콜라 클래식'으로 돌아왔다.

회사가 바꾸려던 것은 사람들이 사 마시는 양이었는데, 잰 것은 한 모금을 마셨을 때의 맛 선호였습니다. 한 캔을 다 마시는 경험도, 옛 맛에 대한 애착도 그 시험에는 들어 있지 않았지요. 출처: 코카콜라사 공식 연혁 “New Coke” · Encyclopædia Britannica ‘New Coke’

쥐 꼬리는 칸이, 뉴 코크는 칸이 어긋났다. 교차로 카메라에서 비어 있던 칸은 이다.

확인 문제 6의 표를 채워 제출 →
체크포인트 3

카메라 0대로 39%를 만들어 보았고, 제비뽑기가 그것을 어떻게 지우는지 한 도시와 300개 도시에서 확인했고, 잰 것이 목표와 어긋나는 사례 둘을 네 칸에 넣었다.

다음 정거장 · 정리·확인 10분 →
4
정리·확인 · 10분

오늘의 탐험 일지

  1. 찾은 것

    한 해의 사고는 진짜 위험 + 운이라, 가장 나빴던 곳을 고르는 순간 운까지 뽑힌다 — 효과 0인 카메라도 39%를 만든다.

  2. 도구의 한계

    앞뒤 비교는 극단을 골라 뽑은 집단에서 늘 한쪽으로 틀린다 — 효과가 0인 도시 300개에서 한 곳도 0 이하를 보고하지 않았다.

  3. 보고의 규칙

    숫자 옆에 무엇과 견주었는지를 적는다. 고르는 손은 제비뽑기로 묶고, 견주는 것은 같은 해의 두 집단으로 한다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.

1. 시장에게 보내는 세 줄 권고를 쓰시오. 여는 장면의 '39% 감소'만으로 카메라를 200곳에 늘리면 안 되는 까닭을 코드 ① [A]의 숫자 둘 이상으로 들고, 늘리기 전에 무엇을 어떻게 비교해야 하는지를 적으시오.
📖 모범 답안

① 39%는 카메라의 몫이 아닐 수 있습니다. 오늘 실습의 도시는 카메라의 효과를 0으로 정해 두었는데도 상위 20곳이 8.55 → 5.25건(39%)으로 줄었습니다. 그 20곳의 진짜 위험 평균은 5.18건으로 1년 차보다 훨씬 낮고, 진짜 위험 상위 20곳과 겹치는 곳도 7곳뿐이었습니다. 반면 200곳 전체는 3.04 → 3.02건으로 그대로였습니다.

② 줄어든 몫은 '가장 나빴던 곳을 골라 뽑은 것'에서 나왔습니다. 한 해의 사고는 진짜 위험에 운이 얹힌 값이라, 운이 나빴던 해에 뽑힌 곳은 아무것도 하지 않아도 이듬해 평균 쪽으로 돌아옵니다(평균으로의 회귀).

③ 늘리기 전에 비교 집단을 만드십시오. 사고가 많은 곳 40곳을 후보로 정한 뒤 제비뽑기로 20곳씩 갈라 한쪽에만 달고, 같은 해(2년 차)의 두 집단을 견줍니다([B]: 1 − 3.95 ÷ 5.40 = 27%). 그리고 늘리기 전에 몇 곳에서 몇 해를 볼지를 미리 정해 두어야 합니다.

2. 같은 도시에서 사고가 가장 적었던 20곳은 0.10 → 2.05건으로 늘었다. 시가 그 20곳에 '안전 교차로 표창'을 준 뒤 사고가 늘자 "표창이 방심을 불렀다"는 해석이 나왔다. 이 해석을 평가하시오.
📖 모범 답안

같은 회귀의 반대쪽입니다. 그 20곳의 진짜 위험 평균은 1.75건인데 1년 차에 운이 좋아 0.10건까지 내려갔고, 이듬해에는 표창과 무관하게 진짜 위험 쪽(2.05건)으로 올라왔습니다.

그러므로 "표창이 방심을 불렀다"는 표창을 받지 않은 비슷한 교차로와 견주기 전에는 말할 수 없습니다. 극단을 골라 뽑은 집단에서는 아무 일도 하지 않아도 되돌아오는 몫이 늘 먼저 나타나고, 그 몫은 '좋아졌다'로도 '나빠졌다'로도 읽힐 수 있습니다.

3. 코드 ② [B]의 표 — 카메라 단 20곳 6.55 → 3.95건, 카메라 안 단 20곳 6.55 → 5.40건. ① 비교 집단과 견준 카메라 효과를 식과 함께 구하고, ② 그 값이 앞뒤 비교(40%)보다 진짜 효과(20%)에 가까운 까닭과 ③ 그런데도 20%와 딱 같지 않은 까닭을 쓰시오.
📖 모범 답안

① 1 − 3.95 ÷ 5.40 = 0.2685… → 약 27% 입니다.

② 제비뽑기로 갈랐기 때문에 두 집단의 1년 차가 6.55건으로 같습니다. 그러니 비교 곳이 겪은 평균으로의 회귀(6.55 → 5.40건)를 카메라 곳도 똑같이 겪었다고 볼 수 있습니다. 같은 해의 두 집단을 견주면 그 공통 몫이 지워지고 카메라의 몫만 남습니다. 반면 앞뒤만 본 40%에는 회귀의 몫이 통째로 섞여 들어가 늘 부풀려집니다.

③ 그래도 딱 20%가 아닌 것은 한 도시의 2년 차에도 운이 섞이기 때문입니다. 20곳씩은 작은 수라 우연이 남습니다. 코드 ③의 도전처럼 같은 일을 도시 300개에서 되풀이하면 ②의 가운데 값이 19.6%로 진짜 효과 둘레에 서고, ①은 46.6%로 여전히 부풀어 있습니다.

4. 코드 ③ [C]에서 카메라 효과가 0인데도 ① 앞뒤만 본 방식은 도시 300개 모두가 0보다 큰 '효과'(가운데 33.5%)를 보고했고, ② 비교 집단 방식은 가운데 −1.0%에 160곳이 0 이하였다. 코드 ④ [D]에서는 상위 5곳을 고르면 착시가 42.5%, 100곳이면 16.9%였다. 이 두 결과가 '가장 나쁜 곳부터 고치는' 정책을 평가하는 일에 주는 교훈을 쓰시오.
📖 모범 답안

① 극단을 고를수록 운의 몫이 커진다. 상위 5곳이면 42.5%, 100곳이면 16.9% — 고르는 기준만 바꿔도 '성과'가 두 배 넘게 달라집니다. 가장 나쁜 곳부터 고치는 정책은 구조상 반드시 극단을 고르게 되므로 이 착시를 늘 안고 갑니다.

② 앞뒤만 보는 방법은 틀린 방향으로만 틀린다. 효과가 0인데도 300곳 가운데 한 곳도 0 이하를 보고하지 않았습니다. 늘 '성공'만 보고하는 방법은, 실패를 알려 줄 수 없으므로 평가 방법으로 쓸 수 없습니다.

③ 비교 집단 방식은 한 도시에서 ±로 흔들리지만 가운데가 진짜에 선다. 그래서 설치 전에 평가 방법(제비뽑기 비교 집단 · 몇 곳 · 몇 해)을 정해 두어야 하고, 한 도시의 숫자 하나는 반드시 흔들림의 폭과 함께 읽어야 합니다.

5. 적용 — "1학기 중간고사 최하위 10명에게 방과후 보충을 했더니 기말고사에서 평균 12점 올랐다. 보충을 전교로 넓히자." 결정 전에 확인할 것 두 가지를 오늘의 개념으로 쓰시오.
📖 모범 답안

① 보충을 받지 않은 비슷한 점수대 학생들의 변화(비교 집단). 최하위 10명은 극단을 골라 뽑은 집단이라 보충이 없어도 평균 쪽으로 되돌아오는 몫이 있습니다. 한 번의 시험 점수는 실력에 그날의 운이 얹힌 값이기 때문입니다.

② 대상을 정한 기준과 재는 방법. 가능하다면 대상자를 제비뽑기로 나눠 한쪽만 먼저 보충하고 같은 시험에서 두 집단을 견줍니다. 그게 어렵다면 한 번의 시험이 아니라 여러 번 시험의 평균으로 대상을 정하고 그 평균과 견줍니다 — 실험실의 사건 파일에서 보았듯, 고른 20곳도 선정 전 세 해 평균은 5.40건이어서 그 평균과 견주면 이듬해 5.25건은 2.8% 줄었을 뿐입니다.

6. 시가 카메라의 성과를 '카메라 앞 적발 건수'로 삼았다고 하자. 아래 표에 세 사례의 네 칸을 채우고, '결정이 바꾸려던 것'과 '잰 것'이 어긋난 칸이 어디인지 밝힌 뒤, 교차로에서 원래 목표를 재려면 무엇을 어떻게 재야 하는지 쓰시오.
사례결정잰 것비교 대상사후 검증
쥐 꼬리(1902)
뉴 코크(1985)
교차로 카메라
📖 모범 답안

표 — 쥐 꼬리: 결정 = 포상금을 준다 / 잰 것 = 가져온 꼬리 수 / 비교 대상 = 없음(포상 전후뿐) / 사후 검증 = 없음. 뉴 코크: 결정 = 배합을 바꾼다 / 잰 것 = 한 모금 맛 선호 61% / 비교 대상 = 옛 배합·펩시와의 맛 비교(맛에서만) / 사후 검증 = 출시 뒤 판매·반응을 미리 정해 두지 않음. 교차로: 결정 = 카메라를 200곳으로 늘린다 / 잰 것 = 적발 건수(원래는 사고 건수) / 비교 대상 = 비어 있음 / 사후 검증 = 정해 두지 않음.

어긋난 칸 — 쥐 꼬리와 뉴 코크는 '잰 것' 칸이 어긋났습니다. 꼬리 수는 늘었지만 도시의 쥐는 줄지 않았고(꼬리만 자르고 놓아 주거나 길러서 댔다), 한 모금 맛은 이겼지만 사 마시는 양은 따라오지 않았습니다. 교차로 카메라에서 비어 있던 칸은 '비교 대상'이었고, 성과를 적발 건수로 삼는 순간 '잰 것'까지 어긋납니다.

무엇을 어떻게 재야 하나 — 원래 목표는 사고와 부상을 줄이는 것이므로 사고 건수와 부상자 수를 재고, 그것을 제비뽑기로 고른 비교 교차로의 같은 해 값과 견줍니다. 적발 건수는 '카메라가 켜져 있는가'를 확인하는 보조 숫자로만 쓰고, 성과 지표로 삼지 않습니다.

+
더 알아보기

같은 함정에 빠진 이야기 셋

착륙 점수 20회 — 칭찬도 꾸중도 없었다모의 점수 · 진짜 실력 70점에 운이 더해진다5060708090진짜 실력 70점① 가장 잘한 3회 다음 회는 평균 -13.3점② 가장 못한 3회 다음 회는 평균 +18.7점잘한 뒤 칭찬하면 다음이 나빠지고,못한 뒤 꾸중하면 다음이 좋아진 것처럼 보인다.
역사

꾸중하면 나아지고 칭찬하면 나빠진다?

심리학자 대니얼 카너먼이 이스라엘 공군 비행 교관들에게 '잘한 일을 칭찬하라'고 강의했을 때, 한 교관이 반박했습니다. 훌륭한 착륙을 칭찬하면 다음 착륙은 대개 더 나빴고, 형편없는 착륙을 호되게 꾸짖으면 다음은 대개 나아졌다는 것이지요. 교관들의 관찰은 사실이었습니다.

다만 원인이 달랐습니다. 착륙 점수도 실력 + 그날의 운이라, 아주 잘한 착륙 뒤에는 칭찬이 없어도 내려오고 아주 못한 착륙 뒤에는 꾸중이 없어도 올라옵니다. 평균으로의 회귀가 벌의 효과처럼 보인 것이지요. 카너먼은 이 순간을 자기 생애의 가장 중요한 깨달음 가운데 하나로 적었습니다. 운동부 기록이나 시험 성적에서도 같은 착각을 찾아보세요 — '슬럼프 뒤에 특훈을 했더니 살아났다'는 이야기가 그렇습니다.

도해: 진짜 실력 70점에 운이 얹히는 모의 점수 20회. 가장 높은 3회와 가장 낮은 3회를 주황으로 표시하고 그다음 회의 변화를 적었다 — 칭찬도 꾸중도 없는 숫자다. · 출처: 대니얼 카너먼 『생각에 관한 생각』(2011) 17장 「평균으로의 회귀」

1948년 — 봉투가 정한 두 집단겉에는 병원 이름과 번호만 — 안은 아무도 몰랐다스트렙토마이신55명처음 6개월 안에 숨진 사람 4명누워 쉬기만52명처음 6개월 안에 숨진 사람 15명● 숨진 사람 · ● 살아남은 사람누가 새 약을 받을지 의사가 고르지 않았다 —무작위 배정이 '고른 사람의 눈'을 지운다.
방법 더 깊이

제비뽑기로 나눈 첫 임상 시험

1948년 영국 의학연구심의회(MRC)는 결핵 치료제 스트렙토마이신의 효과를 확인하는 시험을 보고했습니다. 환자 107명 가운데 누가 새 약을 받을지 의사가 고르지 않았습니다. 배정은 미리 만든 무작위 숫자로 정해 봉투에 넣어 봉했고, 봉투 겉에는 병원 이름과 번호만 적혀 있었습니다.

결과는 스트렙토마이신 55명 중 4명, 누워 쉬기만 한 52명 중 15명이 처음 6개월 안에 숨진 것이었습니다. 중요한 것은 숫자만이 아닙니다. 의사가 고르면 더 나아 보이는 환자나 더 나쁜 환자를 새 약에 몰아줄 수 있고, 그러면 차이가 약 때문인지 고른 기준 때문인지 가를 수 없습니다. 무작위 배정은 '고른 사람의 눈'을 지웁니다 — 오늘 교차로에서 제비가 한 일과 똑같습니다.

도해: 봉투가 두 갈래를 정하고, 두 집단의 처음 6개월 사망자를 동그라미로 센 그림(숫자는 아래 출처의 값). · 출처: Medical Research Council, “Streptomycin treatment of pulmonary tuberculosis”, BMJ 1948;2:769–782

오늘 접속한 사람을 제비가 가른다어느 쪽에 갈지는 아무도 고르지 않는다A 화면지금 시작하기버튼 글자 하나만 다르다B 화면3초면 끝나요버튼 글자 하나만 다르다가입한 비율11.2%A 화면13.6%B 화면두 집단은 제비가 갈랐으니차이는 버튼 글자의 몫이다.예시 숫자 — 몇 명이면 이 차이를믿을 수 있는지는 Ⅲ단원에서.
현장

앱이 오늘 나에게 다른 화면을 보여 주는 까닭

서비스 기획자와 데이터 분석가는 A/B 테스트를 매일 돌립니다. 오늘 접속한 사람을 제비로 둘로 나눠 한쪽에만 버튼 글자를 바꾼 화면을 보여 주고, 가입한 비율을 견주는 것이지요. 여러분이 지금 쓰는 앱에서도 옆자리 친구와 화면이 조금 다를 수 있습니다.

왜 굳이 나누느냐 하면, 새 화면을 전체에 한꺼번에 바꾼 뒤 지난주와 견주면 오늘 교차로에서 본 함정에 그대로 빠지기 때문입니다. 그 주에 방학이 시작됐는지, 광고를 얼마나 했는지가 모두 섞여 들어가지요. 같은 시간에 나란히 있는 두 집단을 만드는 것 — 제멜바이스의 두 병동, 1948년의 봉투, 오늘의 제비가 모두 같은 장치입니다.

도해: 제비가 사용자를 두 화면으로 가르고 가입 비율을 견주는 흐름. 막대의 11.2% · 13.6%는 모양을 보이려고 든 예시 숫자다. 몇 명이면 이 차이를 믿을 수 있는지는 Ⅲ단원에서 다룬다.