2차시 모으고 다듬다 — 데이터 수집과 처리·관리

🤔

생각 열기 — 한 줄 질문 뒤의 진짜 일

도로변에 설치된 대기질 측정소 — 도로변 대기질 측정소 — 사람이 일일이 못 재는 사회·환경 데이터를 센서가 자동으로 수집한다. 사진: Jonathan Thacker, CC BY-SA 2.0, Wikimedia Commons

"우리 학교 학생들은 하루에 몇 시간 잘까?" 이 한 줄짜리 질문에 답하려면 무엇부터 해야 할까요? 설문지를 돌리고, 답을 모으고 보면 — 빈칸, 장난 답('25시간'), 똑같은 학생이 두 번 낸 응답, '7시간'과 '7H'가 뒤섞여 있습니다. 분석은 그다음이에요. 지저분한 데이터로 그린 그래프는 아무리 예뻐도 거짓말을 합니다. 현상을 제대로 보려면, 데이터를 잘 모으고 잘 다듬는 일이 먼저예요.

💬 함께 생각해 보기

설문에서 누군가 수면 시간에 '25'라고 적었어요. 이 값을 그냥 두고 평균을 내면 어떻게 될까요? 이 값은 지워야 할까요, 살려야 할까요?

1

데이터에도 종류가 있다 — 유형을 알아야 다룬다

데이터는 생김새가 제각각이에요. 크게는 표처럼 행·열로 깔끔하게 정리되는 정형 데이터와, 사진·영상·SNS 글처럼 정해진 틀이 없는 비정형 데이터로 나뉩니다. 값의 성격으로 보면 수치형(키, 수면 시간), 범주형(성별, 학년, 좋아하는 과목), 텍스트(자유 응답), 이미지, 위치(GPS 좌표), 그리고 시간 순서가 핵심인 시계열(매일의 미세먼지 농도)로 구분돼요. 같은 '7'이라도 수면 시간(수치형)이냐 학년(범주형)이냐에 따라 평균을 내도 되는지가 달라져요. 유형을 잘못 보면 분석 첫 단추부터 어긋납니다.

📌 예시

서울 열린데이터광장의 '시간대별 지하철 승하차 인원'은 시계열·수치형 정형 데이터지만, 같은 출퇴근 혼잡을 SNS에 올라온 사진으로 분석한다면 비정형·이미지 데이터예요.

2

어디서, 어떻게 모을까 — 수집 방법 고르기

여러 항목을 묻는 설문지·조사 양식 — 설문지(조사 양식)의 예 — 세상에 없는 '우리 집단의 데이터'를 직접 만들어 내는 가장 기본적인 수집 방법이다. 사진: Dirgela, CC0, Wikimedia Commons

데이터를 얻는 길은 여러 갈래예요. 직접 묻는 설문은 '우리 반 의견'처럼 세상에 없는 데이터를 만들지만 표본이 작고 응답이 편향되기 쉬워요. 공공데이터·API는 통계청 KOSIS, 공공데이터포털 (data.go.kr), 기상청처럼 이미 잘 정리된 대규모 데이터를 빠르게 받을 수 있어 사회 현상 분석의 주력이에요. 센서는 미세먼지·소음·온도처럼 사람이 일일이 못 재는 값을 자동·실시간으로 모으고, 웹·관찰은 누리집의 가격, 통행량처럼 흩어진 정보를 모읍니다. 목적과 데이터 유형에 따라 가장 적합한 방법이 달라요.

💡 고르는 기준

전국 청소년 평균 수면 시간을 알고 싶다면 우리 반 설문보다 공공데이터(청소년건강행태조사)가 적합하고, 우리 교실 공기질이 궁금하면 미세먼지 센서가 답이에요.

3

모은 데이터는 대부분 지저분하다 — 정제의 4가지 적

현실의 데이터에는 늘 흠집이 있어요. 첫째 결측치 — 답을 안 한 빈칸. 둘째 이상치 — '하루 수면 25시간'처럼 현실에 없는 값(오타이거나 장난 답). 셋째 중복 — 같은 사람이 설문을 두 번 제출해 생긴 똑같은 행. 넷째 표기 불일치 — '남/남자/M', '7'과 '7시간'과 '7H'처럼 같은 뜻인데 적은 방식이 달라 컴퓨터가 다른 값으로 세는 경우예요. 이걸 그대로 두면 평균이 엉뚱해지고, 그래프가 왜곡되며, 같은 항목이 여러 갈래로 쪼개집니다. 분석가가 가장 많은 시간을 쓰는 일이 바로 이 정제(데이터 클리닝)예요.

⚠️ 실제 사례

감염병 유행 초기, 같은 확진자를 거주지·검사지 양쪽에 집계해 중복이 생기거나, 날짜 표기 ('3/2'와 '2024-03-02')가 섞여 시계열 그래프가 들쭉날쭉해진 사례가 보고됐어요. 정제가 곧 신뢰예요.

🧼

직접 다듬기 — 데이터 정제 워크벤치

청소년 수면 설문 8명분 데이터예요. 그런데 곳곳이 지저분하죠? 아래 네 개의 정제 버튼을 눌러 직접 다듬어 보세요. 표가 실시간으로 바뀌고, 데이터 품질 점수와 평균 수면 시간이 어떻게 달라지는지 지켜보세요.

🧼 데이터 정제 워크벤치 — 수면 설문 다듬기 INTERACTIVE

번호	학년	성별	수면시간	학생ID

📊 데이터 품질 점수

50%

🔍 분석 미리보기 (평균 수면)

—

아직 정제 전이에요

[안내]표가 지저분하죠? 정제 버튼을 눌러 하나씩 다듬어 보세요. 어떤 순서로 눌러도 괜찮아요!

💡 깨달았나요?

정제 전에는 평균이 이상치(25·0시간)와 빈칸·중복 때문에 엉터리였죠. 네 가지를 모두 다듬자 믿을 수 있는 평균이 나왔어요. "쓰레기를 넣으면 쓰레기가 나온다(GIGO)" — 분석의 질은 데이터의 질에서 시작됩니다.

4

다 다듬었다면 — 잘 저장하고, 안전하게 관리하기

정제한 데이터는 사라지거나 새어 나가면 안 돼요. 관리의 핵심은 셋이에요. 저장 — 표 데이터는 CSV처럼 호환 잘 되는 형식으로, 원본과 정제본을 따로 보관해 언제든 되돌아갈 수 있게 해요. 백업 — 한 곳에만 두지 않고 복제본을 둬 기기 고장·실수에 대비하고요. 그리고 개인정보 보호 — 이름·전화번호·정확한 주소처럼 개인을 특정하는 정보는 꼭 필요할 때만 모으고, 분석엔 익명화(이름 대신 번호)·최소 수집 원칙을 지켜요. 데이터에는 사람이 들어 있다는 사실을 잊지 않는 것이 시민의 자세예요.

📌 예시

학교에서 수면 설문을 돌릴 때 이름 대신 '학생1, 학생2'로 익명화하고, 분석이 끝난 응답 원본은 정해진 기간 뒤 파기하는 것이 개인정보 보호 실천이에요.

🗂️

분류 게임 — 이 현상엔 어떤 수집 방법?

목표를 누른 뒤, 알맞은 수집 방법 바구니를 누르세요.

우리 학교 학생들의 게임 이용 시간과 만족도 최근 5년 전국 1인 가구 증가 추이 우리 교실의 오늘 하루 미세먼지 농도 변화 지역 카페들의 아메리카노 가격 비교 도로에 설치된 교통량 검지기(센서)가 잰 시간대별 통행량 전국 청소년 평균 수면 시간 졸업생들이 모교에 바라는 점 실시간 버스 도착 정보(앱 제작용)

📝 설문

🏛️ 공공데이터·API

📡 센서

🌐 웹·관찰

💡 핵심

세상에 없는 우리 집단의 주관적 의견은 설문, 대규모·장기 사회통계는 공공데이터·API, 실시간 환경값은 센서, 여기저기 흩어진 정보는 웹·관찰이 어울려요. 같은 현상도 목적·환경에 따라 가장 알맞은 방법이 달라진답니다.

✅

확인 문제

바로바로 채점!

✏️

2차시 확인 문제

3문항 · 즉시 채점

1다음 중 '시계열 데이터'에 가장 가까운 것은?

2수면 설문에서 '하루 수면 25시간' 응답을 발견했다. 이것은 무엇이며, 보통 어떻게 처리하나?

3'전국 청소년의 평균 수면 시간'을 가장 적합하게 알아내는 방법은?

📚

핵심 용어

정형 / 비정형 데이터행·열 표로 정리되는 데이터(정형) vs 사진·영상·글처럼 틀이 없는 데이터(비정형).

시계열 데이터시간 순서가 핵심인 데이터. 매일·매시간의 미세먼지 농도처럼 변화를 본다.

결측치있어야 할 값이 비어 있는 것(설문 무응답 등). 삭제하거나 평균 등으로 대치한다.

이상치정상 범위를 크게 벗어난 값. '수면 25시간'처럼 오류일 수도, 드문 진실일 수도 있다.

표기 불일치같은 뜻인데 적은 방식이 달라 컴퓨터가 다르게 세는 값. '남/M/남자', '7'과 '7H' 등.

익명화이름·연락처 등 개인 식별 정보를 번호 등으로 바꿔 누구인지 못 알아보게 처리하는 것.

➕

더 알아보기

교과서 너머의 이야기 — 클릭해서 펼쳐 보세요

현장'깨끗한 데이터'의 진짜 비용과 함정

현장의 데이터 분석가는 작업 시간의 60~80%를 분석이 아니라 데이터 수집·정제에 쓴다고 말해요. 화려한 그래프는 빙산의 일각일 뿐이죠. 그런데 정제에도 함정이 있어요. ① 결측치를 무조건 평균으로 채우면 데이터의 흩어짐(분산)이 줄어 실제보다 '비슷비슷한' 것처럼 보일 수 있어요 — 때론 '결측'이라는 사실 자체가 중요한 정보예요(답하기 곤란한 질문일수록 빈칸이 많죠). ② '이상치'가 진짜 오류가 아니라 드물지만 중요한 진실일 수도 있어요(폭염 기록, 천재의 점수). 무턱대고 지우면 현상을 놓쳐요. ③ 그래서 정제는 '무엇을, 왜, 어떻게 바꿨는지'를 처리 로그로 남기는 투명성이 핵심이에요. 좋은 분석가는 데이터를 깨끗하게 만드는 사람이 아니라, 자신이 데이터에 한 일을 정직하게 기록하는 사람이에요.

개념'타이디 데이터' — 분석하기 좋은 표의 모양

같은 데이터라도 표를 어떻게 정리하느냐에 따라 분석이 쉬워지기도, 어려워지기도 해요. 분석하기 좋은 깔끔한 표를 '정돈된 데이터(tidy data)'라고 불러요. 규칙은 단순해요. ① 한 행에는 하나의 관측(예: 학생 한 명), ② 한 열에는 하나의 속성(예: 수면시간, 학년), ③ 한 칸에는 하나의 값. 예를 들어 한 칸에 '7시간, 남'처럼 두 정보를 욱여넣거나, 학년마다 열을 따로 만들면 컴퓨터가 다루기 어려워요. 워크벤치의 표가 '번호·학년·성별·수면시간·ID'로 한 속성씩 열을 나눈 것도 바로 이 원칙이에요. 데이터를 모을 때부터 이 모양을 떠올리면, 나중에 분석이 훨씬 수월해진답니다.

윤리데이터에는 '사람'이 들어 있다 — 최소 수집의 원칙

데이터를 모으다 보면 '있으면 좋겠다' 싶어 이것저것 다 묻고 싶어져요. 하지만 윤리적인 데이터 수집의 첫 원칙은 '꼭 필요한 것만 모은다(최소 수집)'예요. 수면 시간을 알아보는 데 굳이 이름·집 주소·전화번호까지 모을 필요는 없죠. 모은 정보가 많을수록 새어 나갔을 때 피해도 커요. 또 모을 때는 '무엇을, 왜 모으는지' 알리고 동의를 받아야 하고, 분석이 끝난 민감 정보는 정해진 기간 뒤 파기하는 것이 옳아요. 특히 친구들의 데이터를 다룰 때 — 장난스러운 설문이라도 누군가의 개인정보가 들어 있다면 함부로 공유하거나 놀림거리로 삼아선 안 돼요. 데이터 한 줄 한 줄이 실제 사람이라는 걸 기억하는 것, 그게 데이터 시민의 기본이에요.

모으고 다듬다데이터 수집과 처리·관리