왜 그렇게 판단했는지 말할 수 있는가
거꾸로 캐묻는 추론

은행 창구입니다. 대출 신청이 거절되었습니다. 담당자가 화면을 들여다보며 말합니다. “시스템이 그렇게 나왔습니다.” 여러분이 “왜죠?”라고 물으면, 무엇이 돌아와야 할까요. 가능한 답은 크게 셋입니다.

• “안 됩니다.” — 판정만 있습니다. 다음에 무엇을 해야 할지 알 수 없습니다.
• “점수가 612점인데 기준이 650점입니다.” — 숫자가 생겼습니다. 그런데 왜 612점인지는 여전히 없습니다. 숫자는 판정을 되풀이했을 뿐입니다.
• “최근 6개월에 연체가 두 번 있었습니다. 연체가 있으면 등급이 한 단계 내려가고, 내려간 등급에서는 이 상품의 기준을 넘지 못합니다.” — 이제 사슬이 있습니다. 어디를 손보면 결과가 달라지는지도 함께 알려 줍니다.

셋째 답만이 설명입니다. 앞의 둘은 결과의 다른 표현일 뿐이에요. 셋째 답에는 규칙과 사실이 어떤 순서로 맞물렸는지가 들어 있고, 그래서 사람이 반박할 수도 있습니다 — “두 번째 연체는 은행 전산 오류였습니다”처럼요. 요즘은 자동으로 내려진 판정에 대해 이런 설명을 요구할 수 있어야 한다는 목소리가 법과 제도로도 번지고 있습니다.

11차시에서 우리가 만든 기계도 사실 사슬을 만들었습니다. 관찰한 사실 깃털이 있다·헤엄친다에서 출발해 [1] 깃털이 있다 → 새다, [2] 새다 AND 헤엄친다 → 펭귄이다 순서로 두 번 발동하고 멈췄지요. 새로 알아낸 것은 새다·펭귄이다 두 개였습니다. 그 로그는 분명히 사슬이었습니다. 다만 그것은 “굴려 봤더니 이런 것들이 나왔다”의 기록이지, “이 결론이 왜 나왔는가”에 대한 답으로 지어진 것은 아니었습니다.

오늘 우리는 방향을 뒤집는 엔진을 하나 더 만들고, 그 엔진이 실패했을 때 무엇을 말해 주는지를 봅니다. 그리고 마지막 15분에는 이 단원의 두 기둥 — 1~9차시의 탐색과 10~12차시의 추론 — 을 한 프로그램 안에서 잇습니다.

11차시의 전향 추론은 사실에서 출발했습니다. 조건이 갖춰진 규칙을 찾아 결론을 사실 창고에 넣고, 그 새 사실이 또 다른 규칙의 조건이 되고, 더 나올 것이 없어지는 고정점에서 멈췄지요.

오늘의 후향 추론은 정반대입니다. 목표에서 출발합니다. “이 동물이 펭귄인가?”를 밝히려면 무엇이 필요한가를 묻고, 그 필요한 것을 또 새로운 목표로 삼아 한 단 더 내려갑니다. 바닥에 닿으면 그것은 관찰한 사실이거나, 아무도 알려 주지 않은 것입니다.

후향 추론의 알고리즘은 세 줄이면 끝납니다. 목표 하나를 받아서 이렇게 합니다.

• 목표가 이미 아는 사실이면 밝혀진 것이다. 여기서 끝낸다.
• 아니면 그 목표를 결론으로 갖는 규칙을 찾는다. 그 규칙의 조건 하나하나를 새 목표로 삼아 같은 일을 되풀이한다. 조건이 전부 밝혀지면 목표도 밝혀진 것이다.
• 그런 규칙이 하나도 없거나, 있어도 조건을 못 밝히면 밝힐 방법이 없다.

둘째 줄의 “같은 일을 되풀이한다”가 바로 재귀 호출입니다. prove(목표) 안에서 prove(조건)을 부르는 거예요. 그리고 재귀가 한 단 내려갈 때마다 들여쓰기를 한 칸 늘려 찍으면, 화면에 그려지는 들여쓰기가 곧 물음의 사슬이 됩니다. 오늘 코드의 pad = " " * depth 한 줄이 그 일을 합니다.

여기서 놓치지 말아야 할 것이 하나 있습니다. 두 엔진은 같은 지식 베이스를 씁니다. 10차시에서 적은 규칙 여섯 개는 오늘 한 글자도 바뀌지 않습니다. 11차시 마지막에 확인했던 지식과 엔진의 분리가 여기서 한 번 더 증명되는 셈이에요. 같은 지식을 두 방향으로 읽을 수 있다는 것 — 이것이 지식을 데이터로 적어 둔 값어치입니다.

아는 사실이 깃털이 있다·헤엄친다 둘일 때 prove("펭귄이다")를 부르면 화면에 이렇게 찍힙니다. 기호는 셋입니다 — ? 는 “이 규칙으로 밝혀 보자”, O 는 “밝혀졌다”, X 는 “밝힐 방법이 없다”입니다.

여섯 줄이고, 가장 깊이 들어간 자리가 2단입니다. 이 여섯 줄을 위에서 아래로 소리 내어 읽어 보세요.

이것이 설명입니다. 사람이 따로 문장을 지어 붙인 것이 아니라, 프로그램이 실제로 밟은 경로를 그대로 읽은 것이에요. 그래서 세 가지 성질을 자동으로 갖습니다.

• 빠뜨린 근거가 없다. 규칙의 조건은 전부 밝혀져야 O가 되므로, 트리에 안 나온 근거로 결론이 났을 수는 없습니다.
• 어디가 바닥인지 안다. 잎사귀는 언제나 “이미 아는 사실”입니다. 설명이 무한히 이어지지 않고 관찰에서 멈춘다는 뜻이에요.
• 되짚어 흔들 수 있다. “깃털이 있다”가 사실이 아니었다면 어느 가지가 무너지는지 트리를 보면 바로 압니다. 설명이 검증 가능해집니다.

1970년대의 감염병 진단 시스템 MYCIN은 의사가 WHY나 HOW를 입력하면 바로 이 사슬을 보여 주었습니다. 설명 가능한 인공지능(XAI)이라는 말이 생기기 수십 년 전 일이에요. 규칙 기반은 처음부터 설명 가능했습니다. 설명을 잃어버린 것은 오히려 뒤에 온 방법들입니다 — 2단원에서 만날 기계학습 모형은 정확도가 훨씬 높지만 “왜 그렇게 판단했는가”를 이렇게 여섯 줄로 내놓지 못합니다.

실패한 트리가 더 값지다

같은 사실로 이번에는 prove("돌고래다")를 불러 봅시다. 결과는 다섯 줄이고 판정은 False입니다.

여기서 눈여겨볼 것이 둘 있습니다.

첫째, 막힌 자리가 정확히 한 곳으로 지목됩니다. 세 줄이 모두 X지만 진짜 원인은 맨 안쪽의 젖을 먹인다 하나예요. 나머지 둘은 그것 때문에 딸려 무너진 것입니다. 기계가 하는 말을 우리말로 옮기면 “안 됩니다”가 아니라 “젖을 먹이는지를 알려 주시면 됩니다”가 됩니다.

둘째, 두 번째 조건은 아예 물어보지도 않았습니다. 돌고래다의 규칙은 IF 포유류다 AND 헤엄친다인데, 트리에 헤엄친다가 없지요. 앞의 조건이 무너지는 순간 뒤는 확인할 필요가 없기 때문입니다. 코드의 all(prove(c) for c in conds)가 첫 실패에서 곧바로 멈추기 때문에 생기는 일이에요. 낭비를 줄이는 장치이지만, 설명을 읽을 때는 “안 물어본 것”과 “물었는데 없는 것”을 구별해야 합니다.

그리고 막힌 그 사실 하나만 알려 주면 실패가 성공으로 뒤집힙니다. 아는 사실에 젖을 먹인다를 더하고 같은 물음을 던지면 맨 안쪽 줄이 X에서 O로 바뀌고, 그 위의 두 줄이 차례로 살아나 판정이 True가 됩니다. 여는 장면의 대출 이야기로 돌아가 보면 이것이 곧 “연체 기록이 정정되면 승인됩니다”에 해당해요. 좋은 설명은 왜 안 되는지를 넘어 무엇을 바꾸면 되는지까지 말해 줍니다.

지금까지 셋을 얻었습니다. 규칙으로 지식을 적을 수 있고(10차시), 그 규칙이 스스로 연쇄해 고정점까지 간다는 것(11차시), 그리고 거꾸로 캐물으면 설명이 따라 나온다는 것(오늘). 깔끔합니다. 그런데 1980년대에 크게 번졌던 이 방식은 1990년대에 대부분 물러났습니다. 왜 그랬는지를 알아야 2단원이 왜 시작되는지가 보입니다.

벽 ① 지식 획득의 병목 — 10차시에 이름을 붙였던 그것

10차시 마지막에 여러분은 “규칙으로 적으려다 실패한 지식”을 하나씩 적어 냈습니다. 그때 그 종이를 다시 꺼내 놓으세요. 오늘 그것이 재료입니다. 의사의 “얼굴이 안 좋아 보여서요”, 정비공의 “소리가 평소랑 달랐어요” — 전문가가 실제로 아는 것과 말로 옮길 수 있는 것 사이의 그 간격을 지식 획득의 병목이라고 불렀지요.

오늘 한 가지를 더 보탤 수 있습니다. 후향 추론은 이 병목을 더 아프게 만듭니다. 전향 추론은 적힌 규칙만큼만 굴러가고 멈추면 그만이지만, 후향 추론은 목표를 캐물으며 없는 규칙을 계속 요구하기 때문입니다. 오늘 [B]에서 본 X 젖을 먹인다가 바로 그 요구예요 — “이것을 알려 주지 않으면 나는 아무 말도 못 한다”입니다. 설명을 잘 하는 기계일수록 적어 주어야 할 것의 목록이 길어집니다.

2단원에서 만날 기계학습은 이 벽을 정면으로 겨냥합니다 — 전문가에게 규칙을 물어보는 대신, 전문가가 내린 판정 결과를 잔뜩 모아 놓고 그 안에서 규칙에 해당하는 것을 기계가 뽑아내게 하자는 발상이에요.

벽 ② 예외가 끝나지 않는다

“새는 난다”는 좋은 규칙처럼 보입니다. 그런데 펭귄은 못 납니다. 타조도 못 납니다. 다친 매도 못 날고, 새장에 갇힌 새도 못 날고, 알에서 갓 깬 새도 못 납니다. 예외를 만날 때마다 규칙을 하나씩 덧붙이면 어떻게 될까요. 규칙이 결국 사실의 목록이 됩니다. 그러면 규칙을 적는 값어치 — 적은 수의 규칙으로 많은 경우를 덮는다 — 가 사라집니다.

11차시에서 펭귄을 알아맞히려고 조건을 새다 AND 헤엄친다 두 개로 늘렸던 것을 떠올려 보세요. 그때는 두 개로 충분했습니다. 그러나 세상의 새를 다 담으려면 몇 개가 필요할까요. 사람은 “새는 대개 난다, 펭귄만 빼고”라고 말하고 끝내지만, 규칙 엔진에는 ‘대개’를 적을 칸이 없습니다.

벽 ③ 규칙이 늘면 서로 다툰다

11차시에서 규칙 순서를 random.seed(2026)으로 다섯 번 섞어 돌렸을 때, 발동 순서는 다섯 번 모두 달랐지만 결론 집합은 다섯 번 모두 같았습니다. 기분 좋은 결과였지요. 그런데 그것은 우리 규칙 여섯 개가 서로 다투지 않았기 때문입니다. 후향 추론에서도 판정 자체는 순서를 타지 않습니다. 먼저 시도한 규칙이 실패하면 다음 규칙을 마저 시도하니까요. 그런데 여기에는 11차시에 없던 손실이 하나 더 있습니다. 순서가 바뀌면 설명이 바뀝니다. 한 목표에 규칙이 여럿 붙어 있으면 먼저 성공한 규칙에서 멈추므로, 어느 규칙을 위에 적어 두었느냐에 따라 화면에 찍히는 트리가 달라져요. 오늘 [D]에서 새다에 규칙이 둘 붙지요. 그 둘을 코드에서 바꿔 적으면 판정은 X 그대로, 줄 수도 아홉 줄 그대로인데 깃털 가지와 날개 가지가 찍히는 차례가 뒤바뀝니다. 전향 추론에서는 결론 목록만 보면 순서가 티 나지 않았지만, 후향 추론에서는 그 트리가 곧 답입니다. 같은 판정에 서로 다른 “왜”가 붙는 셈이고, 어느 설명이 더 나은지는 기계가 정하지 못합니다. 규칙을 적는 순서까지 사람이 책임져야 하는 것이지요.

배달 로봇에게 이런 두 규칙이 있다고 해 봅시다. “위험하면 멈춰라”와 “늦으면 서둘러라”. 위험하면서 늦은 상황에서는 둘 다 조건이 갖춰집니다. 무엇을 먼저 할까요? 기계는 스스로 정하지 못합니다. 그래서 충돌 해소 규칙을 또 사람이 적어야 하고, 그 규칙끼리 또 충돌하면 그 위에 또 적어야 합니다. 규칙이 열 개일 때는 사람이 전부 읽고 검토합니다. 백 개가 되면 못 읽습니다. 규칙 하나를 고쳤을 때 어디가 함께 바뀌는지를 아무도 모르게 되는 순간, 그 시스템은 사실상 손댈 수 없는 것이 됩니다.

벽 ④ 불확실한 것을 담을 칸이 없다

우리 엔진에서 사실은 집합에 있거나 없거나 둘뿐입니다. “기침이 좀 있는 것 같다”, “아마 젖었을 것이다”를 적을 자리가 없어요. 그런데 현실의 판단은 대부분 그 사이에 있습니다. MYCIN이 규칙마다 확신도(certainty factor)라는 −1에서 +1 사이의 값을 붙였던 것이 이 벽을 넘으려는 시도였습니다. 확신도를 붙이면 판정은 부드러워지지만, 이번에는 그 값을 누가 무슨 근거로 정하는가라는 새 물음이 생깁니다. 결국 벽 ①로 돌아오는 셈이지요.

벽 ⑤ 지식이 몰래 돌기 시작한다 — 오늘 직접 보는 것

규칙이 늘어나면 사람은 지식이 원을 그리고 있다는 것을 알아채지 못합니다. 오늘 코드의 [D]가 그 상황을 일부러 만듭니다. 규칙 두 개 새다 → 날개가 있다와 날개가 있다 → 새다를 넣으면 후향 추론은 새다를 밝히려고 날개가 있다를 캐고, 그것을 밝히려고 다시 새다를 캐러 내려갑니다. 끝이 없습니다.

노란 ~ 한 줄이 순환을 끊은 자리입니다. 이것을 가능하게 하는 것이 prove()의 캐묻는중 명단이에요 — 지금 내려오는 길에 이미 캐묻기 시작한 목표를 적어 두고, 같은 것을 또 만나면 접습니다. 이 검사를 빼면 파이썬이 RecursionError로 멈춰 세웁니다. 실제로 재어 보니 깊이 332에서 걸렸습니다.

그런데 다섯 벽을 다 알고도 규칙을 쓰는 자리가 있다

10차시에서 이미 보았듯이 세금 계산·항공권 요금·보험 심사처럼 규칙이 명문화되어 있고 틀리면 안 되는 곳에서는 지금도 규칙 기반이 정답입니다. 오늘은 거기에 하나를 더 붙일 수 있습니다. 규칙이 명문화되어 있지 않아도, 설명이 의무인 곳이라면 규칙 기반이 남습니다.

정확도 99%짜리 학습 모형을 대출 심사에 쓴다고 해 봅시다. 규칙 기반보다 잘 맞힙니다. 그런데 거절당한 사람이 “왜죠?”라고 물으면 답할 말이 없습니다. 1%가 왜 틀렸는지도, 99%가 왜 맞았는지도 여섯 줄로 내놓을 수 없어요. 정확도와 설명 가능성은 서로 맞바꾸는 관계일 때가 많고, 어느 쪽을 살지는 문제가 정합니다 — 7차시에서 w를 5로 올려 2걸음(17→19)을 주고 둘러보는 칸을 52에서 20으로 샀던 그 판단과 똑같은 종류의 저울질입니다.

이 단원은 두 갈래로 걸어왔습니다. 1~9차시는 길을 찾았고(탐색), 10~12차시는 결론을 끌어냈습니다(추론). 서로 만난 적은 없었어요. 이제 잇습니다. 이음매는 놀랄 만큼 짧습니다 — 함수 하나, 사실상 한 줄입니다.

무대는 4차시부터 여섯 차시를 함께 써 온 그 미로입니다. 7행 12열, 벽이 19칸이고 다닐 수 있는 칸이 65칸, 출발 S=(0,0), 목표 G=(6,11), 최단은 17걸음이었지요. 오늘은 이것을 학교 복도라고 부르겠습니다. 배달 로봇이 (0,0) 배달실에서 (6,11) 교무실까지 갑니다.

달라진 것은 하나뿐입니다. 칸마다 센서가 관찰한 속성이 붙어 있습니다.

속성이 적힌 칸은 여섯입니다. 그중 위험으로 판정된 칸이 넷이고, 나머지 둘은 미끄럼까지만입니다. 이 판정을 만든 지식은 규칙 셋뿐이에요.

왜 (0,3)은 젖었는데 위험이 아닐까요? 사슬이 두 단이기 때문입니다. 젖음은 미끄럼까지만 끌어냅니다. 거기서 위험으로 넘어가려면 경사가 함께 있어야 해요. (0,3)은 평평한 복도의 물기이고, (0,4)는 젖은 비탈입니다. 기계는 이 차이를 규칙 두 줄로 구별합니다. 그리고 이 판정을 만드는 infer()는 11차시의 전향 추론 엔진을 줄여 쓴 것이에요 — 더 나올 사실이 없을 때까지, 곧 고정점까지 돌립니다.

그리고 A* 쪽에서 고치는 것은 이웃까지의 비용을 재는 딱 한 줄뿐입니다.

위험반영이 False면 모든 걸음이 1입니다 — 그러면 7차시에서 짠 A*와 완전히 같은 프로그램이 됩니다. True면 추론이 비용을 정합니다. 두 번 돌린 결과가 이렇습니다.

표를 세 번 읽어야 합니다.

• 걸음 수가 17로 같습니다. 이 미로의 최단은 17걸음인데, 17걸음짜리 길이 여럿 있었고 그중에 위험 칸을 하나도 밟지 않는 것이 섞여 있었습니다. 로봇은 그것을 골랐어요. 더 걷지 않고 위험만 덜어낸 것입니다. 인공지능이 값어치를 내는 방식이 이 한 줄에 있습니다.
• 총비용도 17로 같습니다. 위험 칸을 하나도 안 밟았으니 모든 걸음의 값이 1이니까요. 비용 9는 실제로 치른 값이 아니라 계획할 때 겁을 준 값이었던 셈입니다.
• 둘러본 칸이 52에서 45로 줄었습니다. 이 줄이 가장 뜻밖입니다. 생각할 것을 더 붙였는데 계산이 줄었어요. 까닭은 위험 칸의 g가 커지면서 f = g + h도 커져 대기실 뒤로 밀려나 아예 꺼내지지 않기 때문입니다. 지식이 탐색의 범위를 좁혔습니다. 좋은 지식은 답만 고치는 것이 아니라 계산까지 줄입니다.

아래 코드에 빈칸이 네 곳 있습니다. 앞의 두 곳은 후향 추론이고, 뒤의 두 곳은 추론을 A*에 꽂는 자리예요. 코드 맨 위의 두 블록 — 10차시의 RULES 여섯 줄과 4차시의 MAZE·neighbors() — 은 손대지 않습니다. 화면 속 파이썬은 차시마다 새로 뜨기 때문에 앞 차시에서 만든 것을 물려받을 수 없어서, 이렇게 매번 다시 싣습니다.

• 빈칸 ①②를 채워 prove()를 완성합니다. ①은 순환 감지(“지금 캐묻는 중인 목표를 또 캐묻고 있는가”), ②는 재귀 호출(“이 규칙의 조건을 전부 밝힐 수 있는가”)입니다. 실행해서 [A]가 6줄, [B]가 5줄로 나오면 성공.
• [B]의 막힌 자리를 짚습니다. X가 세 줄인데 진짜 원인은 하나입니다. 어느 것인가요? 그리고 [C]에서 그 하나를 알려 주었을 때 몇 번째 줄부터 색이 바뀌는지 손가락으로 따라가 보세요.
• 빈칸 ③④를 채웁니다. ③은 cost() — 위험이면 9, 아니면 1. ④는 이웃까지의 새 비용 — gc에 이번 한 걸음의 값을 더하되, 위험반영이 꺼져 있으면 모든 걸음이 1입니다. [F]에 52칸·17걸음·위험 3개와 45칸·17걸음·위험 0개가 나오면 성공.
• 일부러 부숩니다. 빈칸 ①에 채운 검사를 if False:로 바꾸고 [D]까지 실행해 보세요. 무슨 오류가 나고, 몇 줄쯤에서 멈추나요? 이 오류는 파이썬이 스스로 세워 준 것입니다. 그렇다면 A*의 LIMIT = 20000은 왜 우리가 직접 넣어야 했을까요?
• 지식만 고쳐 길을 바꿉니다. 맨 아래 [G]는 규칙 하나 (계단 AND 젖음 → 위험)와 관찰 하나((2,6)이 계단이다)를 더합니다. 프로그램은 한 줄도 고치지 않습니다. 걸음 수가 어떻게 되나요? 그다음 여러분의 규칙을 하나 더 만들어 넣고, 길이 또 어떻게 달라지는지 보세요.

열두 차시를 걸어왔습니다. 낱말 일곱 개로 다시 세우면 이렇게 이어집니다.

지도를 왼쪽에서 오른쪽으로 읽어 보면 하나가 눈에 들어옵니다. 탐색도 추론도, 사람이 무언가를 적어 주어야 굴러갑니다. 탐색에서는 비용과 어림을 적어 주었고(9차시에서 잔디 1·모래 3·물 5를 정한 것은 사람이었지요), 추론에서는 규칙을 적어 주었습니다. 오늘 이은 프로그램에서도 9라는 숫자와 규칙 세 줄은 전부 사람이 정한 것입니다.

그 ‘적는 일’이 감당되는 동안 규칙 기반은 잘 작동합니다. 감당이 안 되는 순간 — 새를 알아보는 자기 감을 못 적을 때, 예외가 끝없이 나올 때 — 다른 길이 필요해집니다. 규칙을 사람이 적는 대신, 데이터에서 뽑아낼 수는 없을까? 이 물음이 2단원 기계학습의 첫 문장입니다. 그리고 그쪽으로 건너가면서 우리가 내려놓게 될 것이 무엇인지도 오늘 확인했지요 — 오늘 여섯 줄로 읽어 낸 그 설명 트리입니다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.