데이터가 세상을 닮지 않으면
전체 85%가 누구에겐 20%

동아리에서 강아지 품종 인식기를 만들었습니다. 사진 한 장을 넣으면 푸들·비글·시바견·진돗개·리트리버 중 하나를 답합니다. 학습에 쓴 사진은 400장, 성능을 잰 시험지는 1,000장이었습니다. 보고서 첫 줄에 이렇게 적었습니다.

발표는 잘 끝났습니다. 그런데 다음 날 한 학생이 찾아왔습니다. 집에서 키우는 검은 진돗개를 열 번 찍어 넣어 봤는데 여덟 번이 틀렸다는 것입니다. "우리 개만 이상한 건가요?"

이상한 건 그 개가 아니었습니다. 시험지 1,000장을 사진의 밝기로 둘로 갈라 다시 재 보니 이렇게 나왔습니다.

다섯 품종 중에서 아무거나 찍어도 20%는 맞습니다. 어두운 털 사진에서 이 인식기는 찍는 것과 다를 게 없었습니다. 그런데 보고서에는 85.0%라고 적혀 있었고, 그 숫자는 거짓이 아니었습니다.

인식기를 만든 사람 중 누구도 "어두운 털 강아지를 틀리게 만들자"고 하지 않았습니다. 코드에는 털 색을 보는 줄이 한 줄도 없습니다. 그런데 결과는 저렇습니다. 편향(bias)은 대개 알고리즘이 아니라 데이터를 만드는 과정에서 들어옵니다. 들어오는 문이 셋입니다.

셋을 갈라 두는 이유는 처방이 다르기 때문입니다. 표집 편향은 덜 모은 쪽을 더 모으면 줄어들 여지가 있습니다. 이름표 편향은 기준을 문서로 못 박고 여러 사람이 같은 자료를 겹쳐 다는 방법으로 줄입니다. 그런데 역사적 편향은 데이터를 더 모아도 사라지지 않습니다. 더 모을수록 과거가 더 또렷하게 재현될 뿐입니다. "데이터를 많이 모으면 공정해진다"는 말이 통하지 않는 자리가 바로 여기입니다.

실제로 있었던 일 셋

① 채용 서류를 걸러 주는 AI (2018년 보도). 한 회사가 지난 10년치 이력서와 채용 결과로 서류 심사 모델을 학습시켰습니다. 그 기간 채용된 사람이 한쪽 성별로 치우쳐 있었기 때문에, 모델은 '여성' 관련 표현이 들어간 이력서에 낮은 점수를 주는 쪽으로 학습되었습니다. 회사는 결국 그 도구를 실제 채용에 쓰지 않기로 했습니다. 알고리즘은 시킨 일을 정확히 했습니다. 시킨 일이 "과거를 닮아라"였을 뿐입니다. 이것이 역사적 편향입니다.

② 얼굴을 분석하는 상용 프로그램 (2018년 연구). 여러 회사의 얼굴 분석 기능을 피부색과 성별로 갈라 재 보니, 밝은 피부의 남성 얼굴에서는 세 제품 모두 오류율이 1% 아래였는데 어두운 피부의 여성 얼굴에서는 다섯에 하나에서 많게는 셋에 하나 넘게 틀렸습니다. 회사들이 내세운 전체 정확도는 90% 안팎이었습니다. 갈라 재기 전까지 아무도 이 사실을 몰랐습니다. 학습에 쓴 얼굴 사진이 어느 쪽으로 치우쳐 있었는지가 원인으로 지목되었습니다 — 표집 편향입니다.

③ 재범 위험을 점수로 매기는 프로그램 (2016년 보도). 미국의 여러 법원이 쓰던 이 도구를 언론이 집단별로 갈라 재 봤더니, 실제로는 다시 죄를 짓지 않은 사람을 '위험함'으로 잘못 표시한 비율이 집단에 따라 약 두 배 차이가 났습니다. 만든 회사는 "우리 도구는 집단마다 같은 점수면 같은 재범률을 보이므로 공정하다"고 반박했습니다. 양쪽 다 자기 숫자를 정확히 계산했습니다. 서로 다른 '공정'을 말하고 있었을 뿐입니다. 이 논쟁이 어디까지 갔는지는 Ⅲ단원 7차시(편향과 공정성)에서 다룹니다. 오늘은 그 앞 단계 — 데이터 단계에서 무엇이 들어왔고, 어떻게 발견하는가까지만 갑니다.

인식기가 사진에서 재는 값은 딱 하나입니다 — 귀 끝 각도 점수(0~100). 품종마다 이 점수가 다르게 나오도록 만들어 두었습니다. 아래가 우리가 모은 400장을 품종별로 평균 낸 표입니다.

왜 뭉칠까요? 어두운 털은 배경과의 윤곽이 흐려서 귀 끝이 어디까지인지 재기 어렵습니다. 재기 어려우면 값은 가운데로 몰립니다. 이건 알고리즘의 잘못이 아니라 측정 자체가 두 집단에서 다르게 이루어진다는 사실입니다. 2차시에서 급식 잔반을 "무엇으로 맞힐까" 하며 잴 것을 골랐던 일을 떠올려 보세요. 같은 자를 댔는데 한쪽에서만 눈금이 안 보이는 상황입니다.

모델이 배운 것 — 대표 점수 다섯과 경계값 넷

이 인식기의 학습은 아주 단순합니다. 품종마다 사진들의 점수를 평균 내어 '대표 점수'로 삼습니다. 새 사진이 오면 다섯 대표 점수 중 가장 가까운 것을 답합니다. 400장 전체로 학습한 결과가 이것입니다.

85.0%는 어떻게 나온 숫자인가

여는 장면의 85.0%가 "시험지 1,000장 중 850장을 맞혔다"는 뜻일까요? 아닙니다. 시험지는 밝은 털 500장 · 어두운 털 500장으로 일부러 반반 만들었습니다. 두 집단을 각각 넉넉히 재려면 그래야 하니까요. 그런데 우리가 알고 싶은 것은 "이 인식기를 세상에 내놓으면 몇 %를 맞히나"입니다. 세상에 굴러다니는 강아지 사진은 밝은 털이 90%, 어두운 털이 10%입니다. 그래서 두 정확도를 그 비율로 저울질합니다.

같은 모델인데 숫자가 달라진다 — 전체 정확도는 시험지의 성질이다

여기서 조심할 것이 하나 있습니다. 만약 시험지 500장씩을 그냥 세었다면, 즉 두 집단을 반반으로 저울질했다면 전체 정확도는 56.1%가 됩니다(92.2 × 0.5 + 20.0 × 0.5). 85.0%와 56.1% — 둘 다 맞습니다. 틀린 계산이 하나도 없습니다. 다만 서로 다른 질문에 답하고 있습니다.

• 85.0% — "세상이 밝은 털 90 : 어두운 털 10일 때, 이 인식기는 몇 %를 맞히나?"
• 56.1% — "두 집단이 반반인 곳에서 쓴다면 몇 %를 맞히나?"

그렇다면 세상의 구성을 여러 값으로 바꿔 가며 같은 모델을 다시 재 보면 어떻게 될까요? 모델은 한 글자도 고치지 않았습니다. 대표 점수 다섯 개도 그대로입니다.

편향을 찾는 방법 중에 가장 싸고 가장 먼저 해야 하는 것이 하나 있습니다. 시험지를 집단별로 갈라서 따로 재는 것입니다. 이것을 분할 평가라고 부릅니다. 어려운 수학이 필요하지 않습니다. 우리가 방금 한 일이 전부입니다.

1. 집단을 정한다. 사진의 밝기 · 성별 · 나이대 · 지역 · 기기 종류처럼 결과가 달라질 만한 축을 고릅니다.
2. 시험지를 그 축으로 나눈다. 밝은 털 500장, 어두운 털 500장.
3. 각각 정확도를 낸다. 나눗셈 두 번입니다 — 461÷500, 100÷500.
4. 격차를 적는다. 92.2 − 20.0 = 72.2%p.

비용이 이렇게 싼데도 잘 하지 않는 이유가 있습니다. 전체 정확도 하나만 적으면 보고서가 더 좋아 보이기 때문입니다. 85.0%는 성공처럼 읽히고, 92.2 / 20.0은 실패처럼 읽힙니다. 그런데 두 줄 다 같은 프로그램의 이야기입니다.

무엇으로 나눌 것인가 — 이미 여기서 결정이 시작된다

분할 평가에는 함정이 하나 있습니다. 나누지 않은 축은 영영 보이지 않는다는 것입니다. 우리는 사진의 밝기로 나눴기 때문에 밝기에 따른 격차를 찾았습니다. 만약 강아지의 크기로 나눴다면 다른 격차가 보였을 수도, 아무것도 안 보였을 수도 있습니다.

그래서 축을 고르는 일은 기술이 아니라 판단입니다. "이 인식기를 누가 쓸 것인가", "누가 잘못 판정되면 실제로 손해를 보는가"를 먼저 생각하고 그 사람들이 갈리는 축으로 나눠야 합니다. 얼굴 분석 프로그램의 사례에서 연구자들이 피부색과 성별로 갈라 재기 전까지 아무도 그 격차를 몰랐던 것이 바로 이 이야기입니다.

지금부터는 여러분이 인식기가 됩니다. 규칙은 딱 하나입니다.

아래는 시험지에서 뽑은 스무 장입니다. 앞 열 장은 밝은 털, 뒤 열 장은 어두운 털입니다. '정답 품종' 열은 사람이 확인한 진짜 품종이고, '잰 점수'는 인식기가 사진에서 뽑은 값입니다. 각 줄에서 인식기가 무엇이라고 답할지를 골라 보세요. 다 고른 뒤 채점을 누르면 실제 답과 맞춰 봅니다.

이제 문제를 고쳐 볼 차례입니다. 가장 먼저 떠오르는 처방은 이것이지요 — "어두운 털 사진을 더 모으면 되잖아요." 아래 저울에서 직접 해 보겠습니다. 다만 조건이 하나 있습니다. 학습 사진은 400장 그대로입니다. 어두운 사진을 늘리면 밝은 사진이 그만큼 줄어듭니다. 실제 프로젝트에서도 시간과 예산이 정해져 있으니까요.

저울을 손으로 미는 것만으로는 "정말 하나도 없나"를 확신할 수 없습니다. 슬라이더로 다 눌러 보려면 (비율 26가지 × 가중치 40가지) = 1,040가지를 손으로 밀어야 합니다. 이런 일이 컴퓨터가 할 일이지요. 아래 프로그램이 그 전부를 돌립니다.

프로그램은 저울과 똑같은 계산을 합니다. 같은 사진, 같은 학습 방법, 같은 판정 규칙입니다. 그러니 저울에서 본 숫자와 파이썬이 찍는 숫자가 소수점 첫째 자리까지 같아야 합니다. 다르면 둘 중 하나가 틀린 것입니다 — 반드시 맞춰 보세요.

다 돌리면 이런 줄이 찍힙니다

【7】의 결론만 먼저 적어 둡니다. 여러분이 저울에서 못 찾은 것이 여러분 탓이 아님을 확인하려는 것입니다.

이제 저울에서 본 것을 표로 정리합니다. 처방은 넷입니다. 공짜인 것은 하나도 없습니다. 무엇을 내줄지 고르는 일이 만드는 사람의 몫입니다.

처방 ① 덜 모은 쪽을 더 모은다

표에서 두 가지를 반드시 읽어야 합니다.

첫째, 0장에서 40장까지 늘리는 동안 어두운 털 정확도는 20.0%에서 한 발짝도 움직이지 않았습니다. 40장은 아무 일도 하지 못했습니다. "데이터를 조금 더 모으자"는 흔한 처방이 소량으로는 정말 아무것도 안 한다는 것을 이 세 줄이 보여 줍니다. 어두운 털이 처음으로 20.0%를 넘는 것은 120장(30%)부터입니다 — 그것도 20.4%입니다.

둘째, 반반(200장)까지 모으면 어두운 털이 26.4%로 올라가는 대신 밝은 털이 94.2% → 68.4%로, 전체가 86.8% → 64.2%로 무너집니다. 비율 0%에서 50%까지 가는 동안 전체 정확도는 한 번도 오르지 않고 계속 내려갔습니다. 이것이 오늘의 반전입니다 — 표집을 고치면 전체 정확도가 내려갈 수 있습니다. 아니, 이 데이터에서는 예외 없이 내려갔습니다.

처방 ② 적은 집단을 여러 장인 셈 치고 센다 (가중치)

사진을 더 모을 수 없다면, 가지고 있는 40장을 여러 장인 셈 치고 셀 수도 있습니다. 대표 점수를 평균 낼 때 어두운 사진 한 장을 두 장, 세 장, 마흔 장으로 세는 것입니다. 사진은 한 장도 늘지 않습니다. 세는 방법만 바뀝니다.

가중치를 40배까지 올리면 격차가 -0.2%p가 됩니다. 거의 완전히 공평해졌습니다. 그런데 그 줄의 두 집단 정확도는 52.8%와 53.0%입니다. 두 집단이 똑같이 못 맞히게 되었을 뿐입니다. 다섯 품종 중 하나를 찍으면 20%인데, 이건 그보다는 낫지만 원래 밝은 털에서 얻던 92.2%는 통째로 사라졌습니다.

처방 ③ 그 용도로는 쓰지 않는다

가장 자주 잊히는 선택지입니다. 하지만 실제 현장에서는 가장 자주 옳은 답이기도 합니다. 어두운 털 사진에서 20%밖에 못 맞히는 인식기라면, "강아지 품종을 정확히 알아맞히는 서비스"로 내놓아서는 안 됩니다. 대신 "밝은 곳에서 찍은 사진에서만 참고용으로 알려 준다"고 쓸 범위를 좁혀 내놓거나, 그마저 어려우면 내놓지 않는 것이 답입니다. 앞의 채용 AI 사례에서 회사가 마지막에 고른 것도 이 처방이었습니다.

처방 ④ 두 집단을 같은 자로 재지 않는다

여기까지 우리는 데이터의 비율만 만졌습니다. 다른 길도 있습니다. 모델에게 "이 사진은 어둡다"고 알려 주고, 밝은 사진용 대표 점수와 어두운 사진용 대표 점수를 따로 배우게 하는 것입니다. 어두운 사진은 여전히 40장뿐입니다. 한 장도 더 모으지 않았습니다.

문제는 어두운 사진의 수가 아니었습니다. 두 집단을 같은 자로 잰 것이었습니다. 대표 점수 하나로 400장을 뭉뚱그리는 동안, 어두운 사진 40장 안에 있던 "푸들 43.7 < 비글 46.3 < 시바견 50.7 < 진돗개 54.9 < 리트리버 58.8"이라는 순서 정보가 통째로 버려지고 있었습니다.

다음 시간에는 데이터를 손질합니다. 빠진 칸, 잘못 적힌 값, 유난히 튀는 값을 어떻게 다룰지 배웁니다. 그때 한 가지를 꼭 기억해 두세요 — "이상해 보이는 줄을 지운다"는 결정도 오늘 배운 표집 편향을 만들어 냅니다. 지워진 줄이 특정 집단에 몰려 있다면, 그 집단은 데이터에서 통째로 사라집니다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.