튀는 값은 틀린 값인가,
다른 이야기인가

여는 장면에 적어 둔 내 예측입니다. 오늘 이 문장이 몇 분쯤 빗나가는지 끝에서 확인합니다.

실험실을 열기 전에 하나 더 짐작해 두세요 — 표본 2,000행 가운데 2시간 이상 탄 줄은 몇 행일까요? 6시간 이상이면? 이동거리가 0인 줄은?

점 구름 위로 한 획을 그어 '자전거로는 갈 수 없는 곳'을 갈라 보세요. 손을 떼면 획이 곧은 선으로 맞춰지고, 그 선이 무엇을 잡고 무엇을 가두는지를 한 주 119만 행으로 세어 줍니다. 도전 셋을 풀면 카드가 스스로 닫힙니다.

자료: 따릉이 대여이력(OA-15182) 2024-06-10~16 한 주 1,195,687행 — 거리·시간·속도 칸 개수표와 빨간 점 632개, 그리고 코드 ①~⑤가 읽는 표본 2,000행을 쪽 안에 실었다. 화면의 '잡은 빨강 · 갇힌 회색'은 어림이 아니라 한 주 전수를 다시 센 값이다(원장 phen_week_l05.py와 같은 식).

기본 실험실에서 이름 붙인 선을 코드로 옮깁니다. 빈칸 ①에 '자전거로 낼 수 없는 시속'을 채우고 ▶ 실행해, 상식 규칙 셋에 걸린 줄을 세어 보세요.

도전 r_long 의 120을 360(6시간)으로 바꿔 보세요 — 0행이 나옵니다. 그런데 같은 주 전체 1,195,687행에는 6시간 넘은 대여가 264행 있어요(0.022% → 2,000행이면 기대 0.44행). '0행'은 '없다'는 뜻일까요?

탐구 규칙 셋을 '분만 쓰는 것' · '거리만 쓰는 것' · '두 열을 함께 쓰는 것'으로 가르고, 두 열을 함께 써야만 보이는 이상함이 있는 까닭을 한 줄로 적어 보세요.

• 가로선·세로선으로는 회색 수천~수십만 행이 함께 갇히는 것을 보았다.
• 원점을 지나는 비스듬한 선에 '시속 ○km' 이름이 붙는 것을 보았다.
• 거리 0이 46행인데 같은 곳 반납은 7행뿐 — 나머지 39행은 다른 대여소로 갔다.
• 규칙 셋이 잡은 줄의 수를 공책에 적고, 내 짐작과 맞대어 보았다.

여는 장면의 줄 ㉮를 '오류'라고 말하려면 열을 맞대야 하고, 그 근거는 이다. 한 열만 보면 이기 때문이다.

도전에서 본 '6시간 이상 0행'은 확인 문제 6에서 다시 묻습니다.

이용시간 칸은 정수 분입니다. 90초를 탔으면 '1분'으로 적히지요 — 30초가 버려집니다. 그렇다면 기록이 '1분'인 대여의 분으로 잰 속도는 실제보다 빠를까요, 느릴까요? 얼마나?

기본 대여·반납 두 시각의 차를 초로 재어 속도를 다시 계산합니다. 빈칸 ②에는 실험실에서 핀을 꽂은 자리(초)를 넣으세요.

도전 빈칸의 180을 120과 240으로 바꿔 보세요 — 120초면 53.8% 대 1.6%, 240초면 22.3% 대 0.3%가 됩니다. 절벽이 가장 가파른 자리가 곧 기록 규칙입니다.

탐구 이용시간(분)이 두 시각의 차와 1분 넘게 어긋난 줄이 표본에 셋 있고, 셋 다 반납 대여소 칸이 비어 있습니다(예: 기록 60분 · 두 시각 135.9분). 이 줄들의 '분'을 믿어도 될까요? 무엇으로 확인하겠습니까?

• 기록이 짧을수록 배율이 커진다 — 1분 1.67배, 4분 1.12배.
• 표본의 시속 30 초과 1행은 초시계로 재도 그대로 1행이다.
• 거리 0의 비율이 3분을 경계로 43.6% → 0.3%로 꺾인다.

다른 대여소로 갔는데 거리가 0인 39행은 이 아니라 이다. 근거는 이고, 그래서 이 줄들은 처리해야 한다.

자료를 모르는 사람이 쓰는 일반 규칙을 같은 표본에 걸어 봅니다. 2,000행 가운데 몇 %가 울타리 밖으로 나갈까요? 그리고 그중 상식 규칙에도 걸리는 줄은 몇 행일까요?

기본 빈칸 ③에 울타리 식의 나머지 절반을 채우세요 — 울타리 = Q3 + 1.5 × IQR, 그리고 IQR = Q3 − Q1 입니다.

도전 1.5를 3으로 바꾸면 울타리가 82.0분, 밖이 89행으로 줄어듭니다. 그런데 규칙에도 걸린 줄은 14행 그대로예요 — 문턱을 두 배로 해도 상식 규칙이 잡은 줄은 달라지지 않습니다.

탐구 한 주 전체 1,195,687행으로 재도 Q1 6 · Q3 25 · 울타리 53.5분이 똑같습니다. 표본과 전체의 울타리가 같은데도 '밖'을 모두 빼면 안 되는 까닭은 무엇일까요?

• 울타리 밖 196행 가운데 182행은 상식 규칙에 하나도 안 걸린다.
• 밖에서 가장 빠른 줄도 시속 23.5 — 자전거로 낼 수 있는 속도다.
• 개념 2-3의 오른쪽 꼬리 그림과 맞대어, 왜 밖이 많은지 말해 보았다.

IQR 울타리가 주는 것은 목록이지 목록이 아니다. 이용시간 분포가 이기 때문이다.

손으로 그은 울타리와 같은 재료(중앙값 · IQR)로 도구가 자를 만듭니다. 2시간 이상인 14행을 빼고 다시 재면 평균·표준편차와 중앙값·IQR 가운데 어느 쪽이 더 크게 움직일까요?

기본 fit 이 기억한 두 숫자를 먼저 읽고, 빈칸 ④에 울타리(분)를 이 자의 눈금으로 옮길 나눗수를 채우세요. 코드 ③의 중앙값·IQR과 같은 숫자가 나오는지 봅니다.

도전 빼는 줄을 '2시간 이상'에서 울타리 밖 196행으로 바꿔 보세요 (("울타리 밖 뺌", t[t["분"] <= fence]) 한 줄을 더합니다) — 평균 21.3 → 14.4, 표준편차 25.3 → 12.2, 그리고 버티던 가운데도 11.5 → 10.0으로 움직입니다. 많이 빼면 버티는 자도 흔들립니다.

탐구 RobustScaler 대신 StandardScaler(평균 · 표준편차)로 같은 울타리를 만들면 무엇이 달라질까요 — 긴 꼬리가 그 자를 어느 쪽으로 끌어당길지 생각해 보세요.

• fit 이 기억한 11.5 · 19.0이 코드 ③의 중앙값·IQR과 같은 숫자다.
• 눈금 2.21을 넘는 행도 196행 — 손으로 그은 울타리와 같은 줄이다.
• 14행을 빼니 평균·표준편차는 21.3·25.3 → 20.4·22.9, 가운데·폭은 11.5·19.0 → 11.0·19.0.

도구가 해 준 일은 이고, 해 주지 않은 일은 이다. 그 증거는 넘는 행이 으로 같다는 것이다.

규칙 셋이 뽑은 명단을 이제 사람이 판정합니다. 표 4의 여섯 줄은 모두 실제 표본에 있는 줄이에요. 판정한 뒤에는 처리가 결론을 얼마나 바꾸는지 잽니다 — 거리 0인 46행을 빼면 평균 이용시간은 오를까요, 내릴까요?

기본 처리 네 가지를 나란히 돌려 '한 번 탈 때 평균 몇 분'이 어떻게 달라지는지 봅니다. 빈칸 ⑤에는 코드 ③에서 구한 울타리 변수를 넣으세요.

도전 — 일부러 틀린 길 plans 에 "시속 30 초과만 뺌": t[t["속도"] <= 30] 을 더해 보세요(속도 열을 만드는 줄도 함께). 한 줄만 빼려 했는데 1,998행이 나옵니다 — 0분 0m 대여(목동역 2번 출구 → 3번 출구)의 속도는 NaN이고 NaN <= 30 은 거짓이라 조용히 함께 빠지거든요. ~(t["속도"] > 30) 으로 쓰면 1,999행입니다.

탐구 물음이 '한 번 탈 때 몇 분'이 아니라 '한 번 탈 때 몇 km'라면 거리 0인 줄은 어떻게 처리해야 할까요? 물음이 바뀌면 처리도 바뀝니다.

20분 밖 · 빨리 끝냈다면 규칙을 사람이 적지 않고 알고리즘에게 맡기면 어떻게 될까요? IsolationForest는 파생 변수 없이 분·거리 두 열만 보고 '쉽게 떨어져 나오는 줄'을 골라 냅니다. 골라 낸 줄이 상식 규칙과 몇 행이나 겹칠지 먼저 짐작해 보세요.

탐구 contamination=0.01 을 0.05로 바꾸면 외톨이가 100행(규칙과 겹침 15행)이 됩니다. 이 숫자는 누가 정해야 할까요? 알고리즘이 고른 '이상함'과 사람이 판정한 '틀림'은 어떻게 다른가요?

표 4를 읽으며 개념 2-4의 네 물음(다른 열 · 무리 · 있을 수 있나 · 적혔나)을 차례로 던져 보세요. 부류와 근거는 확인 문제 5의 표에 적습니다.

• ㉠을 '오류'로 볼지 '진짜 극단'으로 볼지 초시계로도 안 사라진다는 사실을 근거로 정했다.
• ㉡·㉢(같은 곳 반납)과 ㉣(다른 곳 반납)이 같은 '거리 0'인데 부류가 다르다는 것을 말했다.
• ㉥처럼 규칙이 놓치는 줄이 있다는 것을 보았다.

보고서에 '한 번 탈 때 평균 분'이라고 쓸 때, 그 숫자 옆에 함께 적어야 할 것은 과 이다.