[빅데이터분석기사/필기요약] Part1-1.빅데이터의 이해

[빅데이터분석기사]는 국가기술자격으로 기사급 자격증입니다.

자격증 취득을 위해 공부했던 필기시험의 첫 번째 요약본을 공유합니다.

Part1. 빅데이터 분석기획의 "Chapter1. 빅데이터의 이해"입니다.

출제 빈도가 높은 내용 위주로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다!

(출처: 2023 빅데이터분석기사 필기 한권완성, 예문에듀)

---

[목차]
Part1. 빅데이터 분석기획
 Part1-1. 빅데이터의 이해
             1. 빅데이터 개요 및 활용
                 1) 빅데이터의 특징
                 2) 빅데이터의 가치
                 3) 데이터 산업의 이해
                 4) 빅데이터 조직 및 인력
             2. 빅데이터 기술 및 제도
                 1) 빅데이터 플랫폼
                 2) 빅데이터와 인공지능
                 3) 개인정보 법 제도
                 4) 개인정보 활용

1. 빅데이터 개요 및 활용

1) 빅데이터의 특징

(1) 데이터의 정의

- DIKW피라미드
① Data(데이터): 라면 가격이 대형마트는 1000원, 편의점은 1500원이다.
② Information(정보): 라면 가격은 편의점이 대형마트보다 더 비싸다.
③ Knowledge(지식): 편의점보다 저렴한 대형마트에서 라면을 사야겠다.
  ⓐ 암묵지: 개인의 내면화된 지식, 공통화/내면화
  ⓑ 형식지: 표준화/형상화된 지식, 표출화/연결화
④ Wisdom(지혜): 대형마트가 편의점보다 다른 물건도 싸게 팔 것이다.

- 지식의 변환 과정

공통화 (암묵지→암묵지) : 경험으로 지식공유	표준화 (암묵지→형식지) : 지식을 문서로 표현
내면화 (형식지→암묵지) : 형식지를 개인이 암묵지로 취득	연결화 (형식지→형식지) : 형식지를 결합하여 지식을 창조

 

(2) 빅데이터의 특징
- 3V
① Volume(규모)
② Variety(다양성)
③ Velocity(속도)
- 5V
④ Veracity(신뢰성)
⑤ Value(가치)    

(3) 빅데이터가 만들어 내는 변화
① 사전처리 → 사후처리
② 표본조사 → 전수조사
③ 질 → 양
④ 인과관계 → 상관관계

 

2) 빅데이터의 가치

(1) 빅데이터의 위기요인과 통제방안
① 사생활 침해: 동의제 → 책임제 (사용주체가 책임)
② 책임 원칙 훼손: 예측에 의한 불이익 가능성을 최소화
③ 데이터 오용: 분석 결과에 대한 부당함을 반증할 방법에 대해 공개하도록 주문

 

 

3) 데이터 산업의 이해

(1) 데이터사이언스

- 데이터 분석 + 인사이트 도출 + 효과적 전달

① IT기술 + 분석적 영역 + 비즈니스 컨설팅
② Hard skill(분석 기술, 지식 등) + Soft skill(의사전달, 협력 등)

 

4) 빅데이터 조직 및 인력

(1) 빅데이터 조직 구조

구분	내용	분석전담조직	특징
집중구조	부서별로 분석	있음	분석업무의 이원화/이중화
기능구조	부서별로 분석	없음	전사적 핵심분석이 어려움
분산구조	분석 조직 인력들이 현업부서로 배치되어 분석 업무 수행		분석수준 상향 평준화 신속한 활동 가능 역할 분담의 명확화 필요

 

(2) 조직성과 평가
- 목표설정 → 모니터링 → 목표조정 → 평가실시 → 피드백
- 성과목표는 균형 성과표(BSC)로 관리, KPI로 평가

 

---

2. 빅데이터 기술 및 제도

1) 빅데이터 플랫폼

(1) 빅데이터 분석 프로세스
- 빅데이터 수집 → 빅데이터 저장 및 관리(전처리/후처리) → 빅데이터 처리(가공) → 빅데이터 분석(계획수립/시스템구축) → 시각화 및 활용 → 데이터 폐기

 

 

2) 빅데이터와 인공지능

- 인공지능: 인간의 지적능력을 인공적으로 구현한 기술
- 머신러닝: 컴퓨터가 데이터와 모델을 학습하여 규칙을 찾도록 하는 알고리즘 및 기술
  * 데이터마이닝(현재의 특징 분석) vs. 머신러닝(데이터 예측)
- 딥러닝: 인공신경망 방식으로 스스로 학습하는 기술 (사람 개입 X)

 

 

3) 개인정보 법·제도

(1) 빅데이터 개인정보 보호 가이드라인(2015)
① 수집 시부터 개인정보 비식별화 조치
② 이용자에 투명하게 공개
③ 개인정보 재식별 시, 즉시 파기 및 비식별화 조치
④ 민감정보 및 통신내용의 수집/분석 등 금지
⑤ 정보 저장/관리 시, '기술적, 관리적 보호조치' 시행

 

(2) 개인정보 비식별 조치 가이드라인(2016)
- 개인정보 보호를 보장하면서 데이터를 활용하기 위해 만들어진 가이드라인

- 사전검토 → 비식별 조치 → 적정성 평가(K-익명성, I-다양성, t-근접성) → 사후관리(안전조치 마련, 모니터링)

(3) 데이터3법(2020)
- 개인정보 관리/감독은 개인정보보호위원회로 일원화

- 가명정보 주체의 동의 없이 데이터 활용을 허용

 

 

4) 개인정보 활용

(1) 개인정보 비식별화 기술
① 가명처리: 다른 값으로 대체(홍길동)
  * 휴리스틱 익명화: 일부 가공하여 개인정보를 숨김
② 총계처리: 통계값 적용
③ 데이터 삭제: 특정 데이터 값 삭제
④ 데이터 범주화: 대푯값/구간값으로 변환(홍 씨)
⑤ 데이터 마스킹: 잡음/공백으로 대체(홍OO)

 

(2) 마이데이터
- 개인정보 전송요구권

- 정보주체가 개인정보 권한을 가지고 개인정보를 직접 관리
 → 공공의 이익극대화 강조
 → 개인의 승인 및 동의에 의해 활용 원칙