공유회 — 만든 것을 내놓고
서로 평가한다

열 차시 동안 만들었습니다. 주제를 고르고(1~3차시), 데이터를 구하고(4~5차시), 코드를 돌리고(6~8차시), 집단별로 쪼개어 재고(9차시), 실험 기록과 모델 카드를 남겼습니다(10차시). 오늘은 그 카드를 옆 팀에게 건넵니다.

건네고 나서 딱 한 가지만 봅니다. 옆 팀이 우리 숫자를 다시 낼 수 있는가. 다시 낼 수 있으면 우리가 만든 것은 결과이고, 다시 낼 수 없으면 우리가 가진 것은 주장입니다. 이 둘의 거리는 생각보다 멉니다.

미리 한 가지를 말해 두겠습니다. 우리는 10차시 견본 카드에서 칸을 하나씩 실제로 지우고, 남은 정보만으로 남이 고를 법한 설정을 전부 돌려 봤습니다. 그랬더니 ‘쓴 특성 목록’ 한 칸만 비어도 남이 낼 수 있는 정확도가 47.9%에서 85.4%까지 벌어졌습니다. 폭 37.5%p입니다. (견본 데이터로 해 보면 그렇게 됩니다. 우리 학교의 실제 기록이 아닙니다.)

더 고약한 것이 있습니다. ‘양성으로 둔 이름표’ 칸을 지우면 정확도는 85.4%로 똑같이 나옵니다. 그런데 정밀도가 100.0%에서 73.1%로, 재현율이 75.9%에서 100.0%로 자리가 통째로 바뀝니다. Ⅱ-12에서 ‘정확도 98%짜리 쓸모없는 모델’을 봤을 때와 같은 자리입니다. 숫자가 같으니 재현된 줄 알고 넘어갑니다. 이것이 가장 위험합니다.

답을 미리 말하면 둘 다 ‘아니오’에 가깝습니다. 칸을 다 채워도 데이터 표를 건네지 않으면 한 줄도 못 돌립니다. 그리고 평가 항목에 정확도를 넣으면 가장 낮은 집단이 48.0%인 팀이 두 계단 올라갑니다. 오늘 그 둘을 손으로 확인합니다.

10차시에서 만든 모델 카드는 여덟 칸입니다. 하는 일 / 만든 사람 / 데이터 / 전처리 / 모델과 설정 / 성능 / 한계 / 다시 만드는 법. 오늘 이 카드를 옆 팀에 건네고, 그 팀이 같은 숫자를 낼 수 있는지를 봅니다. 이것을 재현 가능성이라고 합니다.

그런데 여기에 함정이 하나 있습니다. 칸을 세지 말고 결정을 세야 합니다. ‘전처리’는 카드에서 한 칸이지만, 그 안에는 결정이 다섯 개 들어 있습니다 — 빈칸을 어떻게 했나 · 이상치를 어떻게 했나 · 정규화를 했나 · 분할 씨앗은 몇인가 · 분할 비율은 얼마인가. 한 칸에 “전처리 했음”이라고만 적으면 다섯 결정이 통째로 사라집니다.

그래서 오늘 듣는 팀이 확인할 것은 칸 여덟 개가 아니라 결정 아홉 개입니다.

칸을 하나씩 지워 보면 — 실제로 돌려서 잰 폭

아래 표는 상상이 아닙니다. 10차시 견본 카드에서 그 칸을 실제로 지우고, 남은 정보만으로 남이 고를 법한 값을 전부 돌려서 잰 것입니다. 카드가 다 있을 때는 85.4% 한 값으로 못 박힙니다(세 번 돌려 바이트 단위로 같았습니다).

견본 데이터로 잰 값입니다. 우리 학교의 실제 기록이 아닙니다. ‘폭이 큰 칸’부터 채우십시오 — 특성 목록(37.5%p) · 이상치(22.9%p) · 씨앗(18.8%p) 순입니다.

카드의 칸	지우면 없어지는 결정	어떻게 막히나	남이 낼 수 있는 값	폭
데이터	데이터 표 자체	못 돌린다	—	재현 불가
모델과 설정	집단 열	못 돌린다	—	집단별 성능이 사라진다
모델과 설정	쓴 특성 목록	갈린다	47.9% ~ 85.4% (조합 31가지 전수)	37.5%p
전처리	이상치를 어떻게 했나	갈린다	62.5% · 64.6% · 85.4%	22.9%p
전처리	분할 씨앗	갈린다	66.7% ~ 85.4% (씨앗 12개)	18.8%p
모델과 설정	k	갈린다	70.8% ~ 85.4%	14.6%p
전처리	분할 비율	갈린다	76.6% ~ 87.5%	10.9%p
전처리	빈칸을 어떻게 했나	갈린다	76.6% · 85.4%	8.8%p
전처리	정규화 여부	갈린다	83.3% ~ 85.4%	2.1%p (어두움은 10.0%p)
성능	기준선	못 읽는다	85.4%로 재현은 된다	잣대가 없다
모델과 설정	양성으로 둔 이름표	숫자가 같다	85.4% (같음)	정밀도 100.0%↔73.1% 재현율 75.9%↔100.0%
만든 사람	이름 · 날짜 · 판	숫자가 같다	85.4% (같음)	누구에게 물을지 모른다

막히는 방식이 네 가지다 — 이것이 이 표의 결론

상호평가 루브릭은 다섯 항목입니다 — 문제 설정 · 데이터의 정직성 · 집단별 성능 · 한계를 밝혔는가 · 협업의 자취. 각 항목이 4점 만점이므로 만점은 20점입니다.

먼저 없는 것부터 말하겠습니다. ‘정확도’는 항목에 없습니다. 정확도가 높다고 좋은 프로젝트가 아니기 때문입니다. 왜 그런지는 3절에서 숫자로 봅니다.

그리고 각 수준의 문장은 전부 “~를 보여 주었다”로 되어 있습니다. “~라고 말했다”가 아닙니다. 발표를 들으면서 그 자리에서 √ 할 수 있어야 하기 때문입니다. 화면에 떴는지 안 떴는지는 눈으로 보이지만, 마음속에서 생각했는지는 보이지 않습니다.

다섯 항목 × 4점 = 만점 20점. 이 표를 인쇄해서 손에 들고 들으십시오.

항목	4점	3점	2점	1점
문제 설정	4이 판정을 받게 되는 사람이 누구인지 이름을 대고, 그 사람이 지금은 어떻게 하고 있는지를 화면에 보여 주었다. 손대면 안 되는 문제가 아닌 까닭도 댔다	3무엇을 맞히는지와 누가 쓰는지를 화면에 보여 주었다. 지금 어떻게 하고 있는지는 나오지 않았다	2무엇을 맞히는지는 보여 주었으나, 쓰는 사람이 한 번도 나오지 않았다	1‘AI로 ○○을 해 보았다’로 끝났다. 맞히려는 것이 무엇인지 화면에서 찾을 수 없었다
데이터의 정직성	4몇 개를 언제 어떻게 모았는지 보여 주고, 버린 행과 버린 까닭을 화면에 띄웠다. 지어낸 데이터면 먼저 그렇게 말했다	3크기와 모은 방법을 화면에 보여 주었다. 버린 행 이야기는 나오지 않았다	2크기만 화면에 나왔다. 어디서 왔는지는 물어야 답했다	1데이터 이야기 없이 성능 숫자부터 나왔다
집단별 성능	4집단마다 n과 정확도를 함께 띄우고, 가장 낮은 집단을 스스로 먼저 가리켰다. 그 집단의 기준선과도 견주었다	3집단별 표를 띄웠다. n이 없거나, 가장 낮은 집단을 짚어 주지는 않았다	2전체 숫자만 띄웠고, 물었을 때 집단별로 대답했다	1전체 숫자 하나만 나왔다. 집단으로 쪼갠 적이 없다
한계를 밝혔는가	4모델 카드의 한계 칸에 숫자가 붙은 한계가 있고, 쓰면 안 되는 곳을 두 가지 이상 스스로 댔다	3한계를 말했으나 숫자가 없다(‘어두운 데선 잘 안 돼요’)	2물었을 때만 한계를 말했다. 카드에는 없다	1한계 칸이 비었거나 ‘데이터가 더 많으면 좋겠다’ 한 줄뿐이었다
협업의 자취	4실험 기록표에 나빠진 줄이 남아 있고, 누가 무엇을 맡았는지 이름이 붙어 있다. 막혔던 곳과 푼 방법을 보여 주었다	3기록표는 있으나 좋아진 줄만 남아 있다. 역할 분담은 말했다	2한 사람이 거의 다 말했고 나머지는 화면만 넘겼다	1누가 무엇을 했는지 알 수 없었고, 실험 기록표가 없다

두 항목은 앞 차시가 이미 만들어 놓았습니다. ‘집단별 성능’ 4점의 “n을 함께”는 9차시에서 쓴 show_groups가 이미 그렇게 찍습니다 — 그 화면을 그대로 띄우기만 하면 4점입니다. ‘협업의 자취’ 4점의 “나빠진 줄이 남아 있고”는 10차시의 실험 기록표를 가리킵니다. 견본에서 그 기록표는 10줄 중 4줄이 나빠진 줄이었습니다. 나빠진 줄을 지우지 않고 그대로 띄우면 그것이 근거가 됩니다.

평가자 사이 편차 — 편차가 큰 항목이 곧 기준이 모호한 항목

같은 발표를 세 팀이 들었는데 점수가 [1, 4, 2]로 나왔다면, 그건 그 팀의 문제가 아니라 그 항목 문장의 문제입니다. 그래서 우리는 팀별 평균만 내지 않고 평가자 사이 편차도 함께 냅니다.

지어낸 견본 다섯 팀(가~마)으로 돌려 보면 이렇게 나올 수 있습니다. 다섯 팀이 돌아가며 뒤의 세 팀을 평가해서, 팀마다 받은 평가 3개 · 준 평가 3개로 같습니다.

견본입니다. 우리 반 점수를 넣으면 숫자가 달라집니다 — 그게 정상입니다. 편차는 n으로 나누는 모표준편차(Ⅱ-4의 stdev)로 잽니다.

항목	평균	평가자 사이 편차	성향을 걷어 낸 뒤	가장 크게 갈린 팀의 점수
문제 설정	3.00	0.38	0.43	나 팀 [4, 3, 4]
데이터의 정직성	3.07	0.19	0.21	다 팀 [3, 2, 3]
집단별 성능	2.93	0.09 ← 가장 또렷	0.25	나 팀 [4, 4, 3]
한계를 밝혔는가	2.60	0.69 ← 가장 모호	0.77	다 팀 [1, 4, 2]
협업의 자취	2.93	0.38	0.32	가 팀 [3, 2, 3]

• ‘한계를 밝혔는가’가 가장 갈립니다(0.69). 같은 발표를 두고 1점과 4점이 함께 나왔습니다. → 점수를 다시 매기기 전에 그 항목의 4수준 문장을 ‘무엇을 보여 주었나’로 다시 쓰는 것이 먼저입니다.
• ‘집단별 성능’은 거의 안 갈립니다(0.09). 표를 띄웠는지 아닌지가 눈에 보이기 때문입니다. 잘 쓴 항목이 어떤 모습인지 보여 주는 대조군입니다.
• 편차의 원인은 둘입니다 — ① 항목이 모호하거나 ② 평가자가 원래 후하거나 박하거나. 평가자마다 자기 평균을 뺀 뒤 다시 재면 ②가 걷힙니다. 견본에서 후한 팀은 가(+0.29), 박한 팀은 나(−0.31)입니다.
• ⚠️ 그런데 성향을 걷어 내도 ‘한계’는 0.69에서 0.77로 오히려 커집니다. 즉 그 항목은 정말로 모호합니다. (평가자가 셋뿐이라 이 견본에서는 네 항목이 다 조금 커졌습니다. “성향을 빼면 편차가 준다”고 외우지 마십시오 — 실제로는 안 줍니다.)

한 차시는 40분이고, 그중 ‘손으로’가 22분입니다(여는 4 · 개념 8 · 손으로 22 · 정리 6). 발표와 상호평가는 그 22분 안에서 끝나야 합니다. 그러니 “팀마다 5분씩 발표합시다”라고 말하기 전에 곱셈부터 해야 합니다.

5팀에서도 안 들어갑니다. 전환 시간을 0으로 놓아도 7팀 3분 발표가 28.00분이라 안 됩니다.

팀 수	발표 5분 + 질문·평가 1분 + 전환 0.25분	22분 안에 드나
5팀	31.25분	❌ 9.25분 넘친다
7팀	43.75분	❌ 21.75분 넘친다
9팀	56.25분	❌ 34.25분 넘친다

그래서 오늘은 ‘5분 발표’를 하지 않습니다. 팀 수에 따라 셋 중 하나로 갑니다.

11팀 이상이면 어떤 배분으로도 전체 발표가 안 됩니다 — 갤러리 워크로 갑니다.

팀 수	방식	배분	합계	남는 시간
5팀	전체 발표	발표 3.0분 + 질문·평가 1.0분 + 전환 0.25분	21.25분	0.75분
7팀	전체 발표	발표 2.0분 + 질문·평가 0.75분 + 전환 0.25분	21.00분	1.00분
9팀	갤러리 워크 2라운드	1라운드 10분(부스 5개 × 2분) + 2라운드 8분(부스 4개 × 2분)	18분	4분

• 7팀의 2분은 짧습니다. 그래서 모델 카드 한 장만 띄우고 성능 · 집단 · 한계 세 줄만 말하게 합니다. 질문은 입으로 받지 말고 쪽지로 받아 정리 6분에 답합니다.
• 갤러리 워크의 시간은 ‘서 있는 팀 수’가 아니라 ‘부스 수 × 부스당 시간’입니다. 5팀이 부스에 서면 도는 사람은 부스 5개를 봐야 하므로 1라운드가 10분입니다. 여기를 뒤집어 세기 쉽습니다.
• ⚠️ 갤러리 워크에서는 팀마다 평가자 수가 달라집니다. 그러면 앞 절의 편차를 그대로 견줄 수 없습니다(평가가 3개→2개로 줄면 편차가 작아 보입니다). 평가 수를 표에 반드시 함께 적으십시오.
• 전환 시간을 빼서 시간표를 맞추지 마십시오. 실제 수업에서 가장 먼저 새는 곳이 거기입니다. 노트북을 연결하고 화면이 뜨는 데만 15초씩 걸립니다.

지금부터 22분은 설명을 듣는 시간이 아니라 공유회 그 자체입니다. 아래 순서대로 갑니다. 시간은 선생님이 화면에 띄운 진행판이 셉니다.

• 발표한다. 모델 카드를 화면에 띄워 놓은 채로 말합니다. 순서는 문제 → 데이터 → 모델 → 성능 → 한계 다섯입니다. 시간이 2분이면 성능 · 집단 · 한계 세 줄만 말합니다.
• 들으면서 루브릭을 채운다. 다섯 항목에 점수를 매기고 항목마다 한 줄 근거를 그 자리에서 적습니다. 나중에 적으면 기억이 아니라 인상이 됩니다.
• 질문을 하나 한다. 둘 중 하나입니다 — “그 숫자를 어떻게 얻으셨나요” 또는 “어느 집단에서 가장 못했나요”. 답이 막히면 그 자리가 카드의 빈칸입니다.
• 받은 평가를 모아 다음에 고칠 것 세 가지를 정한다. 팀으로 돌아가서 합니다.
• 가장 배울 점이 많았던 발표를 뽑고 왜 그런지 한 줄로 적는다. ⚠️ 그 까닭이 “정확도가 높아서”라면 다시 생각합니다. 3절 표를 다시 보십시오.

공유회 진행판

과제 — 공책에 표를 채웁니다

진행판을 눌러만 보면 5분이면 끝납니다. 아래 세 표를 손으로 채워야 오늘이 남습니다.

과제 ① 시간표 찾기	팀 수	발표(분)	질문·평가(분)	합계(분)	22분에 드나(O/X)
우리 반 실제
발표를 1분 늘리면
팀이 두 개 늘면

과제 ② 우리 반 편차	문제 설정	데이터의 정직성	집단별 성능	한계를 밝혔는가	협업의 자취
평균
평가자 사이 편차
다시 써야 하나(O/X)

과제 ③ 반례 만들기	무엇을 해 보았나	편차 결과	무엇을 알았나
전원 3점을 준다
한 팀의 평가를 하나 지운다
카드에서 ‘양성 이름표’만 지운다

파이썬으로 모은다 — 오늘의 셈

오늘 파이썬이 하는 일은 하나뿐입니다. 받은 점수를 모아 항목별 평균과 편차를 내는 것. Ⅱ-4에서 급식 잔반을 재던 mean과 stdev를 오늘은 친구들의 평가를 재는 데 씁니다. 같은 두 함수입니다 — 글자 하나 바뀌지 않았습니다.

그리고 시간표입니다. 팀 수를 우리 반 값으로 바꾸고 돌리면 어떤 배분이 22분에 들어가는지 코드가 찾아 줍니다.

오늘 남겨야 할 것은 셋입니다. 하나라도 비면 이 차시가 ‘구경’으로 끝납니다.

산출물	무엇이 적혀 있어야 하나	어디서 나왔나
① 받은 상호평가	다섯 항목의 점수와 한 줄 근거. 평가자 수도 함께. 점수만 있고 근거가 없으면 다음 시간에 고칠 것을 못 정합니다	진행판 ②③
② 다음에 고칠 것 세 가지	받은 평가에서 가장 낮았던 항목부터 씁니다. “데이터를 더 모은다” 같은 말 말고 무엇을 어떻게까지	정리 6분
③ 재현 시험 결과	우리 카드에서 못 적은 결정의 목록과 각각의 폭(%p). 하나도 없으면 “열두 줄 다 적었다”라고 씁니다 (결정 아홉 + 데이터 표 · 기준선 · 만든 사람)	진행판 ④

다음 시간은 단원 마무리입니다. 열한 차시 동안 만든 것을 한 줄로 잇고, 한 학기의 인공지능 기초를 닫습니다.

✍️ 문제마다 답을 쓰고 제출하기를 누르세요. 제출하면 모범 답안이 열리고, 제출한 답은 선생님께 전달됩니다.