[빅분기] 4.1. 데이터 전처리

1. 데이터 전처리 유형

데이터 정재	데이터 내의 결측치와 이상치를 파악하고, 이들을 제거하거나 대치하는 것
데이터 통합	여러 테이블에 저장된 데이터들을 병합하거나 통합하는 것
데이터 축소	분석에 필요한 변수들만 선택하거나 데이터의 특성을 반영하고 있는 요약 변수를 생성해 차원을 줄이는 작업
데이터 변환	정규화, 표준화 등의 작업을 수행하거나 데이터의 형식을 변환하는 등 알고리즘에 입력할 수 있는 형태로 변환

 

2. 데이터 정제

1) 결측치 처리

a. 결측치 유형

완전 무작위 결측	완전히 랜덤하게 발생한 결측
무작위 결측	어떤 변수의 결측치가 관측된 다른 변수에 영향을 받지만, 해당 변수 내의 비관측값들과는 연관X
비무작위 결측	결측 자체가 의미가 있는 경우로, 발생 원인을 이해해야함

 

b. 결측치 처리 방법

가) 단순 대치법

단순 삭제	불완전 데이터는 모두 삭제하는 법 (데이터가 충분히 많이 있을 때 가능하지만, 편의 발생)
평균 대치법	데이터의 평균으로 결측치를 대치 (오차가 무작위로 분포되어 있고, 결측 비율이 낮을 때 가능)
단순 확률 대치법	평균 대치법에서 추정된 통계량이 과소 추정되는 문제를 보완 (적절한 확률 값을 부여해 대치)

 

나) 다중 대치법

- 단순 대치법을 한 번이 아닌 m번 수행하여 m개의 가상적 완전 데이터를 만듦

- 대치, 분석, 결합의 3단게를 통해 단순 대치법의 문제를 일부 해결하지만, 추정량 표준오차의 과소추정 문제 등은 남아있음

 

다) 그 외

- 전역상수: 0과 같은 전역 상수 입력 

- 결측값 무시

 

2) 이상치 처리

a. 이상치 판별 

 

가) 사분위수

- 데이터를 정렬한 후, 4등분 했을 때 각 등위에 해당하는 값

- 제1사분위수(Q1)은 25% 지점을 의미함

- 사분위 범위인 IQR을 바탕으로 이상치 판별

 

나) 정규분포

- 정규분포로부터 3 표준편차가 넘게 떨어진 값들을 이상치로 판별 (양  쪽 각각 0.15%씩)

 

다) 군집화

- 작은 클러스터나, 클러스터 사이의 거리가 너무 먼 경우 해당 클러스터를 이상치로 볼 수 있음

 

b. 이상치 처리

- 결측 처리 방법: 아예 존재할 수 없는 값은 결측 처리

- 극단치 기준 이용: boxplot에서 극단치 기준 범위를 벗어난 데이터 제거

- 극단값 절단 방법: 하단/상단 n%를 삭제

- 극단값 조정 방법: 각 극단치 경계 값을 조정 

 

3) 필터링

- 방대한 데이터에 조건을 적용해 분석 목적에 맞는 데이터를 찾아내는 과정

- 혹은 목적에 맞지 않은 정보를 걸러낼 때도 유용 (데이터 중복 제거/ 데이터 품질 개선)

3. 데이터 통합 

1) 데이터 통합 개념

- 서로 다른 원천의 여러 데이터를 결합하거나 호환 가능하도록 통합하는 작업

- 대표적인 예로 데이터 웨어하우스(분산 운영되는 각각의 데이터 베이스 관리 시스템을 통합하여 조정 및 관리하는 도구)

 

2) 데이터 통합의 주요 고려 사항

- 스키마 통합과 개체의 매칭: 서로 다른 소스에서 발견되지만 실제 그 내용이 동일한 항목을 가리키는 경우 개체 식별의 문제

- 데이터 중복: 값이 중복되었을 때 속성 간의 불일치 또는 차원의 명칭 문제

- 하나의 속성에 대해 여러 상충되는 값

 

4. 데이터 축소

- 효율적인 분석을 위해 중복되거나 불필요하게 나열된 데이터를 축소 (고유 특성이 손상되지 않게)

 

5. 데이터 변환

a. 데이터 스케일링

 

가) 표준화

- 각 개체들이 평균을 기준으로 얼마나 떨어져 있는지를 나타내는 값으로 변환하는 것

- Z-Score 표준화

 

나) 정규화

- 데이터의 범위를 0과 1 사이로 변환하여 데이터의 분포를 조정하는 방법 

- min-max 정규화

 

b. 평활화

- 노이즈로 인해 거칠게 분포된 데이터를 매끄럽게 만드는 방법

- 구간화와 군집화 방법을 통해 변환 (히스토그램의 경우, 구간 너비를 작게 함)

 

c. 비정형 데이터 변환

- 비정형 텍스트의 경우, 단어들의 빈도를 바탕으로 정형 데이터로 변환한 뒤 분석 진행