데이터 문해력

카시와기 요시키 작가님의 <데이터 문해력>을 바탕으로 작성한 글입니다.

빅데이터 시대, 성과를 이끌어 내는 데이터 문해력 | 카시와기 요시키 - 교보문고

---

0. 데이터 활용 프로세스

 

데이터 활용을 성공으로 이끄는 데는 세 가지 핵심 요소가 필요합니다.

 

(1) 분석 전에 문제 및 목적을 정의하고 가설을 구축

(2) 분석을 위한 기술과 지식

(3) 분석 결과에 대한 해석 및 스토리 구축

 

여기서 데이터 과학자나 개발자가 (2)번 기술을 개발하는 데 집중한다면, 데이터 분석가는 (2)를 활용해 (1)번(입력)과 (3)번(결과물)의 퀄리티를 높이는 역할을 합니다.

 

데이터 분석가는 '기존 그래프와 데이터를 통해 알 수 있는 것이 무엇인지'가 아니라, 나 자신이 알고 싶은 것(목적)에 따라 데이터를 수집하고 분석해서 그 결과를 검증하고 결론으로 연결하는 역합니다. 따라서, 데이터 분석이 길을 잃지 않으려면 아래와 같은 단계적인 흐름을 타야 합니다.

 

출처 : 빅데이터 시대, 성과를 이끌어 내는 데이터 문해력

 

[단계 1] 목적 및 문제 정의 

• A. 겉으로 드러난 현상 관찰: 무엇이 문제처럼 보이는가?
• B. 목적 및 문제 정의: 진짜 해결해야 할 핵심 과제는 무엇인가?
• C. 지표 결정: 성공과 실패를 무엇으로 측정할 것인가?

[단계 2] 현상 파악 및 평가 

• D. 현재 상태 파악: 지금 데이터가 말해주는 상황은 어떠한가?
• E. 평가: 정의한 지표에 비추어 볼 때 현재 상황은 좋은가, 나쁜가?

[단계 3] 원인 분석 및 해결 방안 

• F. 요인 분석: 이런 결과가 나타난 근본적인 원인은 무엇인가?
• G. 해결 방안 모색: 원인을 해결하기 위해 무엇을 해야 하는가?

데이터 활용에 실패하는 사람들은 보통 두 가지 함정에 빠집니다.

 

주요 원인 1 : 풀고자 하는 문제가 명확하지 않다.

주요 원인 2 : 정의한 문제와 사용하는 데이터가 일치하지 않는다.

 

'무엇을 어떻게 해야 할지 모르는 사람과 데이터 분석에만 시간을 할애하는 사람'

데이터를 가공하고, 데이터에서 무엇을 알 수 있을지만 생각합니다. 

 

반면 '데이터에서 필요한 정보를 획득할 수 있는 사람과 데이터 분석을 효율적으로 하는 사람'

데이터에서 무엇을 알 수 있을지 생각하고 데이터를 가공합니다. 

 

데이터 분석가는 '데이터에서 필요한 정보를 획득할 수 있는 사람과 데이터 분석을 효율적으로 하는 사람'입니다.

---

1. 목적 및 문제 정의

 

데이터 분석에 앞서 가장 먼저 해야 하는 작업은 ‘목적과 문제에 대한 정의’입니다. "나는 무엇을 알고 싶은가? 나는 무엇을 해결하고자 하는가?"라는 질문에 답을 할 수 있어야 합니다. 

 

 

데이터를 활용하고자 진행하면서 자신이 어떤 문제를 풀어야 할지, 어떤 것을 알아야 할지 등을 명확히 정의하지 않은 채 시작한다면 결과는 엉망이 되기 십상입니다. 작업을 시작하기 전에, 해결하고자 하는 ‘문제’와 그 ‘목적’에 대해 명확히 할 필요가 있습니다. 여러분이 설정한 ‘목적’에 대한 ‘문제’, ‘원인’, ‘해결방안’이 구분되어 있는지, 결론적으로 말하고 싶은 것과 해결하고자 하는 것(목적, 문제)이 명확한지도 확인해야 합니다.

 

그렇다면 문제 정의에 있어 주의할 사항은 아래의 3가지 정도가 있습니다.

 

- 문제가 무엇인가

- 그 문제를 일으키는 ‘원인’은 무엇인가

- 그 원인에 대한 ‘해결방안’은 무엇인가

 

그런데 자신이 ‘문제’라고 정의한 것 중에 무의식적으로 다른 요소들이 혼재하는 경우도 많습니다. 데이터라는 객관적인 정보를 이용해서 ‘문제’의 ‘원인’을 규명하고 그 해결방안을 수립하고자 하는데, 시작도 하기 전에 주관적인 자신의 추측을 가지고 원인을 단정짓는 것은 바람직하지 않습니다. 그렇게 되면 ‘데이터를 활용한다’라는 기반을 스스로 허무는 것과 마찬가지입니다.

 

예를 들어 아래의 사례를 살펴봅시다.

사례 1
"사무직 제안이 많은 회사라는 이미지 때문에, 제조업종 관련 인재풀 확보가 어렵다."

 

위의 사례에서 '제조업종 관련 인재 확보가 어렵다'라는 '문제'와 '사무직 관련 제안이 많은 회사라는 이미지가 생겼기 때문에'라는 문제의 '원인'이 섞여 있습니다. '문제'의 '원인'을 규명하고 해결방안을 수립하고자 하는데, 시작도 하기전에 주관적인 추측을 가지고 원인을 단정짓는 것이죠. 

 

문제를 정의하는 시점에서 구체적인 원인을 규명하고 방안을 수립하는 것은 불가능하며, 이는 데이터를 활용해서 나중에 할 일입니다. 물론 가설이나 가정을 세우는 것 자체는 좋지만, 자신의 편견이 들어가게 되면 상황을 정리하기가 어렵기 때문에 가급적 피하기 바랍니다. ‘데이터를 활용했지만, 정보가 효과적으로 도출되지 않는다’, ‘데이터 분석을 능숙하게 할 수가 없다’라는 고민도 그 원인은 분석 방법이나 통계에 있는 것이 아니라 불충분하고 부적절하게 문제를 정의했기 때문에 발생합니다.

 

데이터 분석을 '이미 만들어진 표나 그래프에서 결론을 캐내는 작업'으로 오해하곤 하지만, 진정한 분석은 목적에 맞는 데이터를 직접 설계하고 준비하는 것에서 시작됩니다. 이때 '무엇을 분석할 것인가'라는 목적이 설정되었다면, 이를 구체적으로 어떻게 측정할 것인지 결정하는 '지표 설정'의 단계로 자연스럽게 넘어가야 합니다.

 

이 과정에서 가장 경계해야 할 것은 막연한 짐작이나 추측입니다. 지표는 반드시 누가 들어도 고개를 끄덕일 만한 논리적인 설명력을 갖춰야 하며, 현상의 단면만 보여주는 단일 지표에 매몰되어서도 안 됩니다. 데이터가 가진 '질'적인 측면을 놓치지 않기 위해 필요하다면 복수의 지표를 입체적으로 활용해야만 비로소 분석의 해상도가 높아지기 때문입니다.

 

하지만 아무리 논리적인 지표를 세웠더라도, 그것이 '최종 목적'과 닿아 있지 않다면 그 분석은 길을 잃게 됩니다. 예를 들어 '고객 만족도 향상'은 그 자체로 목적이 되기보다는, 수익 증대나 이탈 방지를 위한 핵심적인 '수단'인 경우가 많습니다. "만족도를 높여서 궁극적으로 무엇을 실현하고자 하는가?"라는 최종 목적지가 불분명하면 분석은 결국 껍데기만 남게 됩니다. 따라서 분석의 시작점인 문제 정의 단계에서부터 이 최종 목적을 명확히 하는 연습이 반드시 필요합니다.

---

2. 현상 파악 및 평가 

앞선 내용에서 사용한 지표로 현재 상황을 파악할 수 있습니다. 파악된 상황에 대한 성과 혹은 사실, 결과를 확인해야합니다. 그리고 그 결과에 대해 평가를 진행하죠. 

이때 결과와 평가는 다르다는 사실을 분명히 기억해야 합니다. 

 

• 결과(Result): "A 페이지의 이탈률이 20% 상승했다." (객관적 사실)
• 평가(Evaluation): "A 페이지의 이탈률 상승은 신규 유입 경로의 타겟 불일치로 인한 것이며, 이는 마케팅 비용의 낭비다." (의사결정을 위한 해석)

그렇다면 어떤 평가가 '좋은 평가'일까요? 쏟아지는 정보 중 우리가 '가치 있다'고 불러야 할 정보는 반드시 다음 두 가지 중 하나와 연결되어야 합니다.

1. 구체적인 행동을 특정할 수 있는가? : 단순히 상황을 아는 것에 그치지 않고, "서버 사양을 높여야 한다"나 "UI를 수정해야 한다"처럼 행동의 방향을 제시해야 합니다.
2. 구체적인 판단을 내릴 재료가 되는가? : "이 사업을 계속 진행할 것인가, 멈출 것인가?"와 같은 선택의 기로에서 논리적 근거가 되어야 합니다.

도출한 결과로부터 평가와 판단을 하기 위해서는 다음과 같은 것을 생각해야 합니다.

 

- 어느 쪽이 더 효율적인가

- 어느 쪽이 더 효과적인가

- 어느 쪽이 더 중요한가

- 어느 쪽이 더 긴급한가

 

이러한 척도와 기준으로 ‘평가’할 때 우선 순위를 정할 수 있습니다. 우선순위를 정하고 중요한 문제를 해결하기 위해 ‘본래 필요하면서 가치 있는 정보’를 얻고자 한다면, ‘평가’가 필요한 것입니다.

 

그런데 평가를 할 때 데이터 하나만으로는 아무것도 평가할 수 없습니다. "오늘 매출이 1,000만 원이다"라는 정보는 그것만으로는 좋은지 나쁜지 알 수 없기 때문입니다. 평가를 위해서는 반드시 비교 대상이 필요합니다.

 

비교를 할 때는 화려한 통계 기법보다 목적에 맞는 비교의 기술을 선택하는 것이 훨씬 중요합니다.

• 값의 크기: 경쟁사나 목표치와 비교했을 때 절대적인 규모가 어느 정도인가?
• 추이: 과거부터 지금까지 어떤 흐름으로 변하고 있는가?
• 편차: 평균에서 얼마나 벗어나 있으며, 변동성은 어떠한가?
• 비율: 전체에서 차지하는 비중이나 효율은 어떠한가?

이 4가지 기준 중 무엇을 쓸 것인지는 내가 무엇을 확인하고 싶은가라는 '목적'에 따라 결정됩니다.

 

비교 대상을 정하는 것은 분석의 설계도와 같습니다. 숙고 없이 정한 비교 대상은 잘못된 결론으로 우리를 인도합니다. 비교 대상을 선정할 때는 다음 두 가지를 자문해야 합니다.

1. 이 비교가 결론으로 이어지는 결과를 낳는가? (의사결정에 직접적인 영향을 주는가?)
2. 비교를 통해 유의미한 '차이'를 발견할 수 있는가? 

그러나 이때 결론을 심정적으로 정해놓고 데이터로 평가하려다보면, 그 결론과 다른 결과가 나올 경우 결론 자체를 바꿔야 할 수도 있습니다. 만일 데이터를 결론에 억지로 짜 맞추게 되면 본말전도이기 때문에 더더욱 주의가 필요합니다.

 

이렇게 도출한 결과가 결론으로 서술되어있는지 반드시 확인해야합니다. 결론이 아닌 ‘결과’란 그래프를 보고 이를 단어로 바꿔 표현한 것뿐입니다. 물론 그 표현 자체가 틀린 것은 아닙니다. 한편, ‘결론’은 그 차이가 결국 어떤 내용인지를 설명하고 있습니다. 이를 설명하려면 전제로서 ‘내가 무엇을 말하고 싶은지, 어떤 것을 문제로 인식하고 있는지’가 명확해야 합니다. 데이터 중심으로 접근하는 사람의 결과물은 대체로 ‘결과’로 끝납니다. 하지만 그렇지 않고 ‘목적 중심’으로 접근하는 사람은 ‘결론’까지 말합니다.

 

주어진 데이터만으로 뭔가 해보거나 결론이 나올 때까지 이것저것 시도해보자는 식의 발상이 아니라, 보고 싶은 것이 무엇인지, 무슨 말을 하고 싶은지, 그 목적을 정하고 작업에 임해야합니다. 그리고 이를 위해 어떤 데이터를 살펴보면 될지, 결과를 종합적으로 판단하여 결론을 내는 접근법을 취합니다.

---

3. 원인 분석 및 해결 방안 

 

앞선 사례를 통해 예를 들어 "매출이 떨어졌다"는 결과가 나왔다면, 여기서 멈추지 말아야 합니다. 단순히 결과를 나열하는 것은 '데이터 정리'일 뿐, 문제를 해결하는 '데이터 분석'이 아니기 때문입니다.

 

"최근 매출이 떨어졌다"는 ‘문제’가 있다고 가정해보겠습니다.

 

- 매달 이벤트를 하자!

- 상품 포장 디자인을 개편하자

- 온라인에 더 자주 정보를 게시하자.

 

이처럼 문제가 발생했을 때 흔히 범하는 실수는 데이터 확인 없이 해결책부터 내놓는 것입니다. 진짜 분석은 원인을 파악하고, 그 원인을 해결하기 위한 근거 있는 행동을 제안하는 것입니다. '매출이 떨어졌다'라는 문제에 대해 적절한 조취를 취하고 그 실용성과 성공률을 높이기 위해서는 이 문제를 일으키는 원인을 반드시 파악해야 합니다. 이것이 핵심입니다. 

 

어떤 문제에 대한 원인을 데이터로 어떻게 분석할 수 있을까요? 원인과 그 결과 사이에는 반드시 연관 관계가 있습니다. 그 관련성을 데이터로 확인할 수 있다면, 데이터에서 원인을 분석했다 할 수 있습니다.

 

어떤 문제의 원인을 찾기 위해서는 다음의 논리적 순서를 따라야 합니다.

1. 문제 확정: (예) 특정 지역의 20대 남성 매출 급감
2. 원인 후보 열거: "가격이 올랐나?", "경쟁사가 유입됐나?", "광고 노출이 줄었나?" 등 가설 세우기
3. 지표 결정: 가설을 확인할 수 있는 수치(지표) 정의 (예: 클릭률, 객단가, 페이지 체류 시간 등)
4. 관련성 확인: 수집된 데이터와 문제(매출 하락) 사이의 연결고리 증명

예를 들어. 가로축(원인 후보)과 세로축(결과 지표)의 관계를 확인하여 원인을 확정합니다.

• 1단계: 시각적 확인 (Visualization)
• 가장 먼저 산점도(Scatter Plot)를 그려봅니다. 데이터가 특정한 패턴을 그리며 분포되어 있는지 눈으로 확인하는 과정입니다.
• 2단계: 통계적 확인 (Correlation)
• 상관계수(r)를 통해 수치적으로 관련성의 강도를 판단합니다.

하지만 실무에서는 명확한 관련성이 잘 안보이는 경우가 압도적으로 많습니다. 다만, 어떠한 관련성도 찾을 수 없다는 것 또한 하나의 결론이 될 수 있다는 점을 기억해두시기 바랍니다. 관련성이 없다는 것은, 바꾸어 말하자면 데이터 분석을 통해 여러분이 추측한 것이 문제와 결과의 원인이 아니라는 것을 밝혀냈다는 이야기입니다.

 

상관관계 유무는 어디까지나 중간 과정이며 수단에 불과합니다. 수단에 너무 사로잡히지 말고, 의미 있는 결론으로 이어질 때까지 끈기있게 가로축과 세로축의 관련성을 찾아야 할 것입니다.

 

알아두어야 할 주의 사항

 

① 데이터보다 '생각'이 먼저다

 

"데이터 안에 답이 있을 거야"라며 무작정 툴을 돌리는 것은 위험합니다. 데이터를 보기 전에 논리적인 개연성이 있는지 먼저 고민해야 합니다. 데이터는 도구일 뿐, 가설을 세우는 것은 분석가의 사고력입니다.

 

② 수단과 목적을 혼동하지 마라

 

결과를 수치로 나타내는 데에만 집착하면 '왜 이 분석을 하는가'라는 본질을 놓치게 됩니다. 보고를 받는 상대방이 "그래서 우리가 무엇을 해야 하는가?"를 이해할 수 있도록 분석의 목적을 끝까지 견지해야 합니다.

 

③ 상관관계는 인과관계가 아니다

 

분석에서 가장 많이 하는 실수입니다. 두 지표가 같이 움직인다고 해서(상관관계), 하나가 다른 하나의 원인(인과관계)인 것은 아닙니다.

---

4. 기억해야 할 사항

데이터를 활용하려면 본질적으로 논리적인 사고가 반드시 기반이 되어야 하빈다. 여기서 말하는 논리적 사고란, 개별 데이터와 분석에 대한 것이 아니라, 전체적인 스토리를 탄탄히 구성하고 결론의 설득력을 높이기 위한 사고력과 구성력을 말합니다. 이를 제대로 갖추지 않으면 아무리 고품질의 데이터를 대량으로 수집하고 완벽한 방법론으로 분석했다 해도, 상대방을 설득하기는 어려울 것입니다. 설득이 어려운 이유는 전체적으로 흐름과 논리성에 맞지 않기 때문입니다.

 

 

민간 기업, 지자체, 혹은 개인 프로젝트에서도 가장 흔히 발생하는 실수는 문제를 보자마자 곧바로 해결 방안(Solution)을 내놓는 것입니다.

• "매출이 떨어졌네? 인플루언서 마케팅을 합시다!"
• "앱 사용자가 줄었네? UI를 힙하게 바꿔봅시다!"

이런 접근은 데이터 분석이 필요 없는 아이디어 싸움일 뿐입니다. 데이터에 기반한 해결책은 반드시 원인이라는 징검다리를 건너야 합니다. '해결 방안'은 '문제'에 직접적으로 적용하는 것이 아니라, '문제'를 일으키고 있는 '원인'에 적용하는 것입니다. ‘원인’을 깊게 분석하고 폭넓게 고찰하여 여러 가능성을 생각하는 것과 원인 분석을 건너뛰거나 소홀히 하는 것, 그 결과 도출한 ‘해결 방안’에는 엄청난 차이가 있습니다.

 

어떤 방법이 적절할지, 우선순위는 어떻게 정할지 등에 대해서는 실제 ‘원인’에 대한 데이터와 정보를 수집한 다음 검증해보면 좋을 것입니다.

 

또한, 원인 후보를 한두 개 찾았다고 해서 성급히 결론을 내리지 마세요. 원인은 항상 단순한 구조가 아닙니다.  원인은 층층이 쌓여 있는 경우가 많습니다. "왜?"라는 질문을 반복하며 더 깊게 파고들어야 합니다. 원인 후보를 추출했다고 서둘러 다음 단계로 넘어가면 안 됩니다. 

 

예시: "서버 응답 속도가 느려졌다" (문제)

1. Why? API 호출 시간이 길어짐
2. Why? 특정 DB 쿼리 실행 시간이 늘어남
3. Why? 데이터량이 많아졌는데 인덱싱(Indexing)이 안 되어 있음
4. Why? 개발 단계에서 대용량 데이터 유입 가설을 고려하지 않음 (본질적 원인)

이렇게 본질적인 원인까지 도달해야 'DB 인덱스 최적화 및 개발 프로세스 가이드 수립'이라는 밀도 있는 해결 방안이 나옵니다.

 

기본적으로 지금 자신이 생각하고 있는 것이, 문제인지? 원인인지? 해결방안인지? 어느 쪽에 해당하는지 파악해야 합니다.  분석 결과나 기획안을 내놓기 전, 다음 질문에 답할 수 있는지 확인해 보세요. 이 질문들에 명확히 답할 수 없다면 그것은 논리적인 '분석'이 아니라 단순한 '제안'에 불과합니다.

1. 왜 그것인가? : 수많은 해결책 중 하필 왜 이 수단이 필요한가?
2. 무엇을 해결하는가? : 이 해결 방안이 내가 찾은 '원인'을 확실히 제거할 수 있는가?
3. 근거는 어디 있는가? : 이 방법이 효과적일 것이라고 데이터가 말해주고 있는가?