규칙을 다 적을 수 있을까
스팸 필터를 짜 보고 포기하기

여러분이 쓰는 메일 서비스에는 스팸함이 있습니다. 누가 시키지 않아도 광고와 사기 메일이 알아서 그 폴더로 들어갑니다. 아래는 실제 메일 서비스의 스팸함 화면입니다.

이 폴더를 여러분이 직접 만든다고 해 봅시다. 방법은 1단원에서 배운 그대로입니다. 규칙을 적으면 됩니다. 제목에 '무료'가 들어 있으면 스팸. '당첨'이 들어 있으면 스팸. '대출'도, '클릭'도 스팸. 네 줄이면 꽤 그럴듯해 보입니다.

진짜로 되는지 재 보려면 답을 아는 메일이 있어야 합니다. 이 차시는 학교 메일함에서 가져왔다고 치고 44건을 준비했습니다. 스팸이 20건, 정상이 24건이고, 어느 것이 스팸인지는 이미 사람이 표시해 두었습니다. 그중 여덟 건만 먼저 봅시다.

목록을 보면 벌써 마음이 불편해집니다. '무료'를 스팸의 표시로 삼는 순간 급식 안내와 장학금 특강 공지가 함께 끌려 들어갑니다. 그렇다고 '무료'를 빼면 무료 쿠폰 스팸을 놓칩니다. 어느 쪽을 택해야 할까요?

미리 말해 두겠습니다. 오늘 우리는 100%에 닿지 못합니다. 그런데 중요한 것은 실패했다는 사실이 아니라 실패의 정확한 원인입니다. 15분 동안 여러분은 규칙을 손으로 넣고 빼며 숫자가 어떻게 움직이는지 보고, 그다음 컴퓨터에게 가능한 조합을 전부 시켜 볼 것입니다. 컴퓨터도 못 넘는 벽이 있다면, 그 벽의 정체가 오늘의 답입니다.

1단원에서 우리가 만든 프로그램은 전부 같은 모양이었습니다. 미로를 푸는 프로그램에는 "벽이 아니면 갈 수 있다"는 규칙을 사람이 적어 넣었고, A* 는 "f 가 가장 작은 칸을 먼저 꺼낸다"는 규칙을 사람이 적어 넣었습니다. 컴퓨터는 그 규칙을 한 치의 어긋남 없이 수행했을 뿐입니다. 이런 방식을 규칙 기반 프로그래밍이라고 부릅니다.

여기서 사람이 준 것은 규칙이고, 컴퓨터가 만든 것은 답입니다. 기계학습은 이 두 자리를 통째로 맞바꿉니다. 사람은 답을 아는 예시를 잔뜩 줍니다. 그러면 컴퓨터가 그 예시들을 설명하는 규칙을 스스로 만들어 냅니다.

여기서 한 가지를 분명히 해 둡시다. 기계학습은 규칙 기반보다 더 좋은 방법이 아닙니다. 다른 방법입니다. 세금 계산에 기계학습을 쓰면 100%였던 정확도가 99%로 내려갑니다. 1%가 틀린 세금 고지서를 받는 사람이 생긴다는 뜻이지요. '쓸 수 있다'와 '써야 한다'는 다른 말입니다. 이 판단 기준은 5절에서 세 조건으로 정리하겠습니다.

말로만 하면 감이 오지 않습니다. 아까 떠올린 네 규칙 무료 · 당첨 · 대출 · 클릭을 메일 44건에 실제로 붙여 보겠습니다. 판정 방법은 아주 단순합니다 — 네 단어 중 하나라도 제목에 들어 있으면 스팸, 하나도 없으면 정상.

결과는 이렇습니다.

72.7%. 처음 해 본 것치고 나쁘지 않아 보입니다. 그런데 비교할 기준이 있어야 이 숫자가 좋은지 나쁜지 알 수 있습니다. 기준은 이렇게 잡습니다 — 아무 규칙도 없이 전부 '정상'이라고만 답하면 몇 %일까요? 정상이 24건이니 24/44 = 54.5% 입니다. 반대로 전부 '스팸'이라고 우기면 20/44 = 45.5% 고요.

그러니까 규칙 넷을 공들여 적은 대가는 54.5% → 72.7%, 18.2%p 였습니다. 의미 있는 상승입니다. 다만 규칙 하나('무료')만 있을 때가 이미 59.1%였으니, 나머지 셋이 벌어 준 것은 13.6%p 뿐입니다. 이 '점점 줄어드는 벌이'가 3절의 주제가 됩니다.

놓친 스팸 9건은 어떤 것들이었나

실패를 뭉뚱그리지 말고 종류별로 갈라 봅시다. 놓친 아홉 건은 세 무리로 나뉩니다.

세 유형이 각각 다른 대책을 요구합니다. ①은 띄어쓰기를 지운 뒤 검사하면 잡힙니다. ②는 규칙을 새로 배워 와야 잡힙니다. ③은 단어를 계속 더해야 잡힙니다. 그리고 이 셋 다, 새 스팸이 오면 처음부터 다시 해야 합니다. 규칙을 적는 일이 끝나지 않는다는 말은 이런 뜻입니다.

잘못 잡은 정상 3건도 확인해 둡시다. 장학금 무료 특강 안내드립니다 신청은 진로부로, 무료 급식 안내입니다 3학년 대상, 졸업 앨범 무료 배송 예정입니다. 셋 다 '무료' 하나에 걸렸습니다. 학교에서 '무료'는 나쁜 말이 아니라 오히려 반가운 말인데 말이지요.

72.7%가 마음에 들지 않으면 방법은 하나뿐입니다. 규칙을 더 적는 것. 놓친 스팸을 다시 읽어 보고 그 안에서 눈에 띄는 말을 골라 넣으면 됩니다. '이벤트'가 보이고, '지금'이 보이고, '할인'과 '확인'도 보입니다. 네 개를 순서대로 더해 여덟 개까지 늘려 봅시다. 규칙 하나를 더할 때마다 성적을 다시 쟀습니다.

표에서 눈여겨볼 곳은 7개째 줄입니다. '할인'을 넣었더니 잡은 스팸이 14건에서 15건으로 하나 늘었습니다. 좋은 일이지요. 그런데 같은 줄에서 잘못 잡은 정상이 4건에서 6건으로 둘이나 늘었습니다. 하나를 얻고 둘을 잃었으니 전체 성적은 내려갑니다.

새로 잃은 정상 두 건이 무엇인지 보면 억울함이 분명해집니다 — 학생 할인 쿠폰 배부 안내, 교복 공동구매 할인 공지. 학교에서 '할인'은 오히려 좋은 소식입니다.

'무료'를 빼면 나아질까 — 숫자가 안 움직인다

가장 억울한 것은 무료 급식 안내입니다 3학년 대상이 스팸함에 들어간 일입니다. 원인은 분명합니다. 규칙 '무료' 때문이지요. 그러면 '무료'를 빼 봅시다. 규칙은 당첨 · 대출 · 클릭 셋만 남습니다.

결과를 보고 잠깐 멈춰 봅시다. 고쳤는데 숫자가 하나도 안 변했습니다. 그럼 이 수정은 헛수고였을까요? 그렇지 않습니다. 바뀐 것이 분명히 있습니다 — 손해를 보는 사람이 바뀌었습니다.

어느 쪽이 옳은가는 정확도가 정해 주지 않습니다. 학교 메일함이라면 공지를 잃는 쪽이 훨씬 나쁘니 '무료'를 빼는 편이 맞습니다. 하지만 광고 메일이 하루 300통씩 오는 회사 메일함이라면 반대일 수 있습니다. 같은 숫자를 놓고도 답이 달라진다는 것, 그래서 성능 지표 하나로는 결정을 대신할 수 없다는 것이 여기서 얻는 교훈입니다.

여기서 이런 반론이 나올 만합니다. "규칙을 잘못 고른 것 아닌가요? 더 좋은 조합이 있을 텐데 사람이 못 찾은 것 아닐까요?"

맞는 말입니다. 그러니 사람 대신 컴퓨터에게 전부 시켜 봅시다. 메일 44건에 자주 나오는 낱말 16개를 후보로 놓습니다 — 무료 당첨 대출 클릭 쿠폰 할인 이벤트 지금 확인 안내 신청 특강 장학금 현금 배송 긴급. 이 16개에서 몇 개를 고르는 방법은 각 낱말을 넣거나 빼는 두 갈래이므로 2¹⁶ = 65,536가지입니다. 전부 돌려 보면 됩니다. 사람은 못 하지만 컴퓨터에게는 한순간입니다.

컴퓨터가 찾은 일곱 개는 당첨 · 대출 · 클릭 · 이벤트 · 지금 · 확인 · 긴급입니다. 여기서 놀랄 만한 대목이 하나 있습니다. '무료'가 없습니다. 우리가 가장 먼저 떠올렸고 가장 스팸다워 보였던 그 낱말이, 전수 조사에서는 넣으면 손해인 짐이었습니다. 학교 메일함에서 '무료'는 스팸 5건을 잡는 대신 공지 3건을 잃게 만드는 낱말이었으니까요.

그러면 낱말 말고 아무 글자 조각이나 쓰게 해 주면?

아직 만족스럽지 않습니다. 규칙을 사전에 있는 낱말로만 쓰라는 법은 없으니까요. 제목에서 아무 데나 오려 낸 2~6글자 조각을 전부 규칙 후보로 풀어 줍시다. "금 무", "면 ", "90" 같은 말도 안 되는 조각까지 전부요. 44건에서 오려 낼 수 있는 조각은 2,497개입니다.

여기에 원하는 만큼 골라 쓰게 하고, 정확도를 최대로 만들어 보라고 시켰습니다. 결과는 —

2,497개 조각을 자유롭게 쓰고도 44건 중 43건이 한계였습니다. 마지막 한 건은 무슨 수를 써도 틀립니다. 여기가 천장입니다. 그리고 그 천장을 만드는 것은 데이터 44건 전체가 아니라 딱 한 쌍입니다.

이것이 오늘의 답입니다. 규칙 기반이 100%에 닿지 못한 까닭은 우리가 게을러서가 아니라, 제목 글자만 보고는 두 메일을 구별할 방법이 원리적으로 없기 때문입니다. 사람이라면 구별합니다. '진로부'라는 말이 학교 부서 이름이라는 것을 알고, 장학금 특강을 학교가 실제로 연다는 사실을 알기 때문이지요. 그 앎은 제목 글자 안에 들어 있지 않습니다.

97.7%짜리 규칙을 새 메일에 붙여 보면

마지막으로 한 가지만 더 확인합시다. 컴퓨터가 조각 2,497개를 뒤져 찾아낸 97.7%짜리 규칙 열 개는 이렇게 생겼습니다 — 클릭, " 주", "면 ", " 당", " 요", " 비", "고 ", 90, 해외, 진행. 앞뒤 공백까지 규칙의 일부입니다. 사람이 보기에는 아무 뜻도 없는 조각들이지요.

이 규칙들을 처음 보는 새 메일 12건(스팸 6 · 정상 6)에 그대로 붙여 보았습니다.

97.7%였던 규칙이 새 메일 앞에서 66.7%가 되었습니다. 까닭은 간단합니다. 그 조각들은 스팸이 무엇인지 이해한 것이 아니라 이 44건을 외운 것이기 때문입니다. " 요"가 스팸의 표시일 리 없습니다. 다만 이 44건 안에서는 우연히 잘 들어맞았을 뿐이지요.

가진 데이터에만 딱 들어맞고 새 데이터에서 무너지는 이 현상에는 이름이 있습니다 — 과적합(overfitting)입니다. 11차시에서 정면으로 다룹니다. 기억해 둘 것은 하나입니다 — 지금 가진 데이터에서의 점수는 실력이 아닐 수 있다.

오늘 우리는 규칙 기반의 한계를 보았습니다. 그렇다고 "이제부터 다 기계학습"은 아닙니다. 1단원 2차시에서 사례 여섯 장을 놓고 AI 적합도를 매겼던 것을 기억하나요? 그때 세운 기준을 오늘의 경험 위에 다시 세워 봅시다. 조건은 셋입니다.

1. 규칙을 말로 적기 어렵다. 사람은 척 보면 아는데 그 앎을 문장으로 옮길 수가 없다. 오늘 스팸 44건이 그랬습니다. '무료가 있으면 스팸'이라고 적는 순간 급식 공지가 걸렸지요.
2. 예시가 충분히 많다. 컴퓨터가 규칙을 찾아내려면 정답이 붙은 예시가 있어야 합니다. 오늘은 44건뿐이었습니다. 실제 스팸 필터는 수백만 건을 씁니다.
3. 조금 틀려도 되는 문제다. 스팸 필터가 100건 중 3건을 틀려도 세상은 돌아갑니다. 비행기 조종 신호나 은행 잔액 계산이라면 이야기가 다르지요.

셋 중 하나라도 없으면 규칙 기반이 이깁니다. 더 정확하고, 더 빠르고, 더 쌉니다. 게다가 왜 그런 답이 나왔는지 한 줄로 설명됩니다. 반례를 셋만 들어 봅시다.

반대로 X선 사진에서 병변 찾기는 세 조건이 다 맞습니다. 의사도 "이러이러한 모양이면 병변"이라고 딱 잘라 적지 못하고(①), 병원에는 판독이 끝난 사진이 수십만 장 쌓여 있고(②), 최종 판단은 사람 의사가 다시 하므로 기계가 조금 틀려도 됩니다(③).

2단원 열일곱 차시의 뼈대 — 데이터 · 모델 · 손실

내일부터 우리가 할 일은 이름을 붙이면 딱 세 조각입니다. 오늘 겪은 실패도 이 셋으로 다시 설명됩니다.

이 세 조각으로 오늘의 실패를 다시 말하면 이렇게 됩니다. 우리 모델이 너무 단순했습니다. '낱말이 들어 있나 없나'만 볼 수 있었으니까요. 그리고 우리 데이터는 제목 글자밖에 없었습니다. 보낸 사람도, 본문도, 링크 주소도 없었지요. 마지막으로 우리 손실은 스팸을 놓친 것과 공지를 잃은 것을 같은 무게로 셌습니다. 셋 다 바꿀 수 있고, 2단원은 그 셋을 하나씩 바꿔 나가는 이야기입니다.

이제 여러분 차례입니다. 아래 편집기에는 메일 44건이 그대로 들어 있습니다. 낱말을 넣으면 그 자리에서 44건을 다시 판정해 성적을 매깁니다. 낱말은 아래 단추로 골라도 되고, 칸에 직접 쳐 넣어도 됩니다. 무 료처럼 띄어 써도 되고 면 처럼 공백을 포함해도 됩니다.

과제 ① 표를 채워라 (공책에 옮겨 적는다)

네 가지 설정을 차례로 만들어 보고 값을 적으세요. 🔄 초기화를 누르고 시작하면 편합니다.

과제 ② 반례를 만들어라

• 넣으면 오히려 떨어지는 낱말을 찾아라. 규칙 여섯 개(무료·당첨·대출·클릭·이벤트·지금)를 만들어 77.3%를 확인한 다음, 낱말을 하나씩 더해 보세요. 정확도가 내려가는 낱말이 적어도 하나 있습니다. 찾으면 그 낱말이 어느 정상 메일을 잡았는지 아래 보라색 칸에서 확인하세요.
• 잘못 잡은 정상을 0으로 만들어라. 노란 칸이 하나도 없게 하면서 스팸은 최대한 많이 잡아 보세요. 몇 %까지 갔나요? 그때 놓친 스팸은 몇 건인가요?
• 100%에 도전하라. 낱말을 몇 개까지 넣어도 좋습니다. 다만 100%가 되면 반드시 화면을 다시 보세요 — 정말 44칸이 다 초록·파랑인가요?

과제를 마쳤으면 마지막으로 🏁 단추를 누르세요. 65,536가지를 전부 돌려 본 컴퓨터의 답이 그 자리에 들어옵니다. 여러분의 최고 기록과 견주어 보세요. 그리고 그 답조차 81.8%라는 것을 확인하세요.

편집기에서 본 숫자가 어디서 나왔는지 코드로 확인합시다. 아래 상자에는 메일 44건과 판정기가 들어 있고, 여러분이 채울 자리가 두 곳 있습니다. 채우고 ▶ 실행을 누르면 앞에서 본 표들이 그대로 찍힙니다.

• 빈칸 ① — judge() 안입니다. "규칙 낱말이 제목 안에 들어 있는가?"를 파이썬으로 어떻게 묻나요? 힌트: 파이썬에서 '들어 있다'는 in 으로 묻습니다. 채우지 않으면 아무 규칙도 안 걸려 전부 '정상'이 되고, 정확도가 54.5%에서 얼어붙습니다.
• 빈칸 ② — 정확도 계산입니다. 맞힌 건수를 전체로 나누고 100을 곱하세요. 100을 빼먹으면 값이 0~1 로 나와 표가 통째로 어긋납니다.

채웠으면 세 가지를 확인하세요

1. 【1】의 정확도가 72.7%인가? 앞의 편집기에서 무료 · 당첨 · 대출 · 클릭 넷을 넣었을 때와 같은 숫자여야 합니다. 다르면 빈칸을 잘못 채운 것입니다.
2. 【2】의 7개째 줄에 화살표가 붙었는가? <- 오히려 떨어졌다! 라는 표시는 코드가 붙인 것입니다. 앞줄보다 맞힌 건수가 줄었을 때만 나오게 되어 있습니다.
3. 【3】의 두 줄에서 정확도가 같은가? '무료'를 넣은 것과 뺀 것이 둘 다 72.7%입니다. 바뀐 것은 잡은스팸과 잘못잡은정상 두 칸뿐이지요.

이번에는 규칙 고르기를 통째로 컴퓨터에게 넘깁니다. 후보 낱말 16개를 넣거나 빼는 65,536가지를 전부 돌려 최고를 찾고, 그다음 글자 조각 2,497개까지 풀어 주고 천장을 잽니다. 마지막으로 그렇게 찾은 규칙을 처음 보는 새 메일 12건에 붙여 봅니다.

• 빈칸 ③ — 오늘 가장 중요한 한 줄입니다. 어떤 규칙 조합이 몇 건을 맞혔는지 세는 식이지요. 맞힌 건수 = 잡은 스팸 + (정상 전체 − 잘못 잡은 정상) 입니다. 힌트: c & SPAM_MASK 는 그 조합이 걸어 낸 스팸의 자국이고, count1() 이 그 개수를 셉니다. 정상 쪽도 HAM_MASK 로 같은 일을 한 뒤 빼세요.
• 빈칸 ④ — 스팸 제목이 정상 제목 안에 통째로 들어 있는지 묻는 자리입니다. 빈칸 ①에서 쓴 것과 똑같은 물음입니다.

⭐ 반드시 해 볼 실험 — 느낌표 하나

【6】이 천장의 원인을 장학금 무료 특강 안내와 장학금 무료 특강 안내드립니다 신청은 진로부로 한 쌍으로 지목했습니다. 정말 그 한 쌍 때문인지 한 글자로 증명할 수 있습니다.

1. MAILS 목록에서 스팸 "장학금 무료 특강 안내" 를 찾으세요. (바로 아래 정상 메일 "장학금 무료 특강 안내드립니다 …" 는 건드리지 않습니다.)
2. 뒤에 느낌표 하나를 붙여 "장학금 무료 특강 안내!" 로 고칩니다.
3. 다시 실행하고 【5】의 천장을 보세요. 43/44 = 97.7% 가 44/44 = 100.0% 로 올라갑니다. 희생 0건으로도 스팸 20건을 다 잡게 되지요.
4. 【6】은 spam_txt 라는 별도의 문장 하나를 따로 적어 두고 견주는 자리라 MAILS 만 고쳐서는 바뀌지 않습니다. 【6】의 spam_txt = "장학금 무료 특강 안내" 도 똑같이 느낌표를 붙여 고치세요. 그러면 마지막 줄이 True 에서 False 로 바뀝니다.

글자 하나가 '불가능'을 '가능'으로 바꾸었습니다. 이것이 뜻하는 바는 분명합니다 — 규칙 기반의 한계는 막연히 어려워서가 아니라 데이터 안의 아주 구체적인 한 자리 때문이었습니다. 원인을 이렇게 정확히 짚을 수 있으면, 고칠 방법도 정확해집니다.

오늘 한 시간 동안 우리가 실제로 얻은 숫자를 한자리에 모읍니다. 전부 메일 44건(스팸 20 · 정상 24)에서 나온 값입니다.

오늘 배운 것을 세 문장으로 줄이면 이렇습니다.

1. 규칙 기반은 규칙을 사람이 적는다. 기계학습은 예시를 사람이 주고 규칙을 컴퓨터가 만든다. 입력과 출력의 자리가 통째로 바뀐다.
2. 규칙을 늘리는 일은 맞바꿈이다. 스팸 하나를 더 잡으려면 정상 몇 건을 내주어야 한다. 어느 쪽이 나은지는 정확도가 정해 주지 않는다.
3. 천장이 있다. 제목 글자만으로는 구별할 수 없는 한 쌍이 있으면, 규칙을 몇 개 쓰든 100%는 불가능하다. 넘으려면 다른 것을 봐야 한다.

다음 시간에는

오늘 우리 데이터에는 제목 글자밖에 없었습니다. 그래서 두 메일을 가를 수가 없었지요. 그렇다면 물음은 이렇게 바뀝니다 — 무엇을 데이터로 삼을 것인가?

2차시에서는 우리 학교 급식 잔반 60일치를 놓고 "오늘 잔반이 몇 kg 남을까"를 맞혀 봅니다. 요일, 메뉴, 기온, 시험 기간, 급식 인원, 만족도 — 이 중 무엇을 보아야 하고 무엇을 보면 안 되는지를 가릅니다. 그중 하나는 잔반과 가장 강하게 맞물려 있는데도 쓰면 반칙입니다. 급식이 끝난 뒤에야 알 수 있는 값이거든요.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.