[ADsP] 3. 데이터 분석 기획의 이해(2)

1. 분석 과제 발굴의 개념과 탐색 방법

(1) 분석 과제 발굴

- 무엇을 분석해야 하는지 발굴

- 크게 하향식 접근법과 상향식 접근법으로 나뉨

 

(2) 분석 과제 탐색 방법

- 하향식 접근법: 문제가 주어졌을 때 우리가 해결해야할 과제가 무엇인지를 찾는 전통적 방법, 각 과정이 단계화되어 문제 해결

- 상향식 접근법: 대규모 데이터가 빠르게 생성/변화하는 현대에서 다양한 데이터의 조합 속에서 인사이트를 찾아내는 방식

- 분석 대상을 알고 있다면 하향식 접근법, 모른다면 상향식 접근법 사용

- 혼용 가능

2. 디자인 씽킹

(1) ideo사의 디자인 씽킹

- 상향식 접근법과 하향식 접근법의 단계가 반복 수행되어 상호 보완적으로 분석의 가치를 높임 (수렴/발산 반복)

 

(2) 스탠퍼드대학 d.school의 디자인 씽킹

- 상향식 접근법

3. 하향식 접근법 

(1) 1단계 - 문제 탐색 단계

a. 비즈니스 모델 탐색 기법

- 업무/제품/고객 단위로 문제를 발굴하고, 이를 관리하는 규제와 감사, 지원 인프라 총 5가지 영역에 대한 기회를 도출

- 지원 인프라는 IT와 인력의 영역

 

b. 분석 기회 발굴 범위의 확장

- 기업과 산업 환경을 중심으로 거시적 관점, 경쟁자, 시장의 니즈, 역량 등 4가지 영역에 대해 비즈니스 문제 발굴

거시적 관점	- 문제 혹은 변화가 기업에 주는 영향 탐색
경쟁자 확대 관점	- 기업에 위협이 될 상황 탐색 (대체재, 경쟁자, 신규진입자)
시장의 니즈 탐색	- 시장의 니즈 탐색 관점에서 문제를 탐색
역량의 재해석	- 역량의 재해석 관점에서 다시 기업 내부를 둘러봄

 

c. 외부 참조 모델 기반 문제 탐색 및 분석 유스케이스 정의

- 유사 동종 업계에서 기존에 수행한 문제 탐색 및 분석 과제 등을 활용하는 것

 

(2) 2단계 - 문제 정의 단계

a. 문제 정의

- 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의

- 최종 사용자의 관점에서 이루어져야함

 

b. 문제 정의의 예

- 최근 고객들의 불만이 높아지고 있다 -> 고객의 불만에 영향을 끼치는 요인을 분석하고, 예측 모델을 수립한다

 

(3) 3단계 - 해결 방안 탐색 단계

a. 해결 방안 탐색

- 문제 정의 단계에서 정의된 데이터 분석 문제를 해결하기 위한 방안을 모색

 

b. 해결 방안 탐색 단계 프로세스

- 기존 시스템으로 가능한지, 기업 자체의 역량이 있는지 판단

- 기존 시스템으로 불가능하고 분석 역량도 없다면 전문업체에 아웃소싱 (역량은 있다면 시스템 고도화)

 

(4) 4단계 - 타당성 검토 단계
a. 경제적 타당성

- 경제적 가치 고려 (분석 비용 < 분석 수행 시 경제적 이득이 되도록)

- 데이터 및 기술적 타당성: 분석의 수행 가능 여부 판단

4. 상향식 접근법

(1) 상향식 접근법 개요

a. 상향식 접근법 개념

- 분석 대상이 무엇인지 모를 경우 분석 과제 발굴을 위해 사용하는 방법

- 원천 데이터로부터 통찰과 지식을 얻는 방법

 

b. 상향식 접근법의 특징

- 먼저 분석을 시작하고, 그 결과로부터 가치가 있는 문제를 도출

 

(2) 지도학습과 비지도학습

a. 지도학습

- 정답이 있는 데이터를 활용하여 분석 모델을 학습시키는 것 

- ex) 분류, 회귀

 

b. 비지도학습

- 정답을 알려주지 않고 학습하는 것 

- ex. 군집 분석, 장바구니 분석, 주성분분석, 기술통계 등

- 일반적으로 상향식 접근방식의 분석은 비지도학습에 의해 수행

 

(3) 시행착오를 통한 문제해결(프로토타이핑 접근법)

a. 개념

- 상향식 접근법 중 하나로, 시행착오 해결법이라고도 함

- 먼저 분석을 시작하고 그 결과를 확인하며 조금씩 개선

 

b. 프로세스

- 가설 생성 -> 디자인에 의한 실험 -. 실제 환경에서의 테스트 -> 테스트 결과로부터 인사이트 도출 및 가설 확인

 

c. 프로토타이핑 접근법이 필요한 경우

- 문제에 대한 인식 수준이 낮거나 불명확할 경우

- 필요 데이터의 존재 여부가 불확실할 경우

- 데이터의 사용목적이 고정되지 않고 변화할 경우

 

5. 분석 프로젝트 관리 방안

(1) 분석 과제의 5가지 주요 속성을 고려한 관리

a. 데이터의 양

b. 데이터 복잡도: 비정형 데이터 분석 시 초기 데이터 확보와 통합 및 적용도 확인

c. 분석의 속도: 실시간으로 수행되어야하는 경우 고려

d. 분석 복잡도: 정확도와 복잡도는 상충관계 -> 정확도가 높으면서 해석이 편리한 최적 모델 탐색 요구

e. 정확도 & 정밀도: 정확도는 모델과 실제 값 차이가 적음을 의미, 정밀도는 반복적으로 모델 사용시 모델 값들의 편차 수준