데이터분석 공부일지

[데이터분석 준전문가, ADsP] 자격증 시험 요약자료로 1과목. 데이터의 이해의 "제2장. 데이터의 가치와 미래"입니다. 출제 빈도가 높은 내용 위주로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다! [목차] 1과목. 데이터의 이해 제2장. 데이터의 가치와 미래 1. 빅데이터의 이해 2. 빅데이터의 가치와 영향 3. 비즈니스 모델 4. 위기 요인과 통제 방안 5. 미래의 빅데이터 1. 빅데이터의 이해 1) 빅데이터의 정의 - 3V ★★ ① Volume(양): 규모 ② Variety(다양성): 유형(정형, 비정형) ③ Velocity(속도): 추출 및 분석속도 - 4V ④ Veracity(신뢰성) ④ Value(가치) ④ Visualization(시각화) 2) 빅데이터의 기능 - 산업혁..

[데이터분석 준전문가, ADsP] 자격증 시험 요약자료로 1과목. 데이터의 이해의 "제1장. 데이터의 이해"입니다. 출제 빈도가 높은 내용 위주로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다! [목차] 1과목. 데이터의 이해 제1장. 데이터의 이해 1. 데이터와 정보 2. 데이터베이스 정의와 특징 3. 데이터베이스 활용 1. 데이터와 정보 1) 데이터의 정의 - 데이터는 추론과 추정의 근거를 이루는 사실 2) 데이터의 유형 ★★ 정성적 데이터 정량적 데이터 비정형, 주관적 내용 언어, 문자로 표현 통계분석이 어려움 예) 맛 후기, 영화 감상평 등 정형, 객관적 내용 수치, 도형, 기호로 표현 통계분석이 용이함 예) 나이, 몸무게, 주가 등 3) 지식경영의 핵심 이슈 ★★ 암묵지 형식지..

[목차] 1. 귀무가설, 대립가설 2. 가설검정 절차 3. 가설검정 방법 4. 1종 오류, 2종 오류 1. 귀무가설, 대립가설 1) 귀무가설(Null hypothesis) : Ho, 기존 주장 : 대립가설과 반대되는 가설, 차이/영향력/연관성이 없음을 나타내는 가설 2) 대립가설(Alternative hypothesis) : H₁, 새로운 주장 : 입증하고자 하는 가설 2. 가설검정 절차 1) 가설 설정 Ho: 새로운 항암제를 사용했을 때, 차이가 없을 것이다. H₁: 새로운 항암제를 사용했을 때, 차이가 있을 것이다. 2) 유의수준 설정 : p값(p-value)을 설정 (일반적으로 p값 < .05로 설정) * 유의수준: 귀무가설 기각/채택의 기준 3) 실험 수행 : 실험군 집단의 새로운 항암제 투약 전..

[목차] 1. 확률 2. 베이지안 이론 3. 확률분포 4. 중심극한정리 1. 확률 1) 확률 개념 : 특정 사건이 일어날 수 있는 가능성의 정도 : 0~1 범위이며, 0 = 절대 일어나지 않음 / 1 = 항상 일어남 : P(A) = x / n 2) 확률 종류 ① 비조건확률 = 한계확률 : 사건이 일어날 확률 : P(A), P(B) ② 결합확률 : 두 개 이상의 사건이 동시에 일어나는 확률 : P(A∩B), 교집합 ③ 조건부확률 : A 사건이 발생하였다는 조건하에 B 사건이 발생할 확률 : 결합확률보다 확률 값이 높음 : P(B|A) = P(A∩B) / P(A) 2. 베이지안 이론 : 사건과 관련있는 여러 확률을 이용해 새롭게 일어날 사건을 추정하는 것 예) 마케팅 캠페인 효과 측정, 상품 가격모델링 등 ..

[목차] 1. 중심경향성(평균, 중앙값, 최빈값) 2. 분산, 표준편차 3. 범위, 사분위수, 변동계수 4. 왜도, 첨도 1. 중심경향성 1) 평균값(mean) ① 산술평균(arithmetic mean) : 기본적인 방법 : 전체 변숫값을 모두 더한 후 값들의 개수로 나눈 값 예) 3,3,5,5의 평균 → (3+3+5+5) / 4 = 4 ② 가중평균(weighted mean) : 개별 값에 가중치를 곱한 평균 (소비자 물가지수 등) 예) 3번 2개, 5번 2개의 평균 → ((3X2) + (5X2)) / 4 = 4 ③ 기하평균(geometric mean) : 시간에 따라 비율적으로 변화하는 값의 평균 : 매 해의 증가율을 곱한 수의 제곱근 값을 구하는 식 예) 물가상승률, 인구변동률, 증권수익률 등 ④ 조..

[목차] 1. 모집단과 표본 2. 전수조사와 표본조사 3. 편향 4. 표본추출 방법 1. 모집단과 표본 1) 모집단(population) : 분석 대상 전체 집합 2) 표본(sample) : 모집단의 일부를 추출 2. 전수조사와 표본조사 1) 전수조사 : 모집단 전체를 조사 예) 선거 투표 2) 표본조사 : 표본으로 모집단의 정보를 추정하고 검정 예) 여론 조사 : 모집단의 특성을 반영할 수 있는 표본으로 추출하는 것이 중요 : 표본조사를 해야하는 경우 ①모집단이 많은 경우 ②모집단 파악이 불가능한 경우 ③파괴적인 조사인 경우 : 변수 하나당 최소 30개의 관측치가 필요함 : 모집단 추정 방법으로 포획-재포획 or 관찰-재관찰법이 있음 3. 편향 1) 표본조사 편향 종류 ① 표본추출편향: 편향된 표본만 ..

[목차] 1. 변수 종류 : 독립변수, 종속변수 2. 변수관계 종류 : 인과관계, 상관관계 3. 척도 종류 : 명목척도, 서열척도, 등간척도, 비율척도 4. 척도 종류별 분석 방법 변수(variable) : 어떤 연구의 대상이 되는 일련의 관찰된 특성의 집합 (예, 서울시 거주자의 소득을 파악하고자 할 때 → 소득) 1. 변수 종류 1) 독립변수(independent variable) : 원인, x값 : 종속 변인에 영향을 준다고 간주되는 변인 : = 설명변수, 입력변수, 예측변수, 조작변수, 특징 → 독립변수 간에는 상관관계가 없어야 함 (이유: 독립변수 간에 상관관계가 높으면 독립변수들과 종속변수와의 연관성 측정이 어렵기 때문임) 2) 종속변수(dependent variable) : 결과, y값 : ..

[목차] 1. 통계학 1) 통계학의 정의 2) 통계학의 기원 3) 통계학 vs. 머신러닝 2. 기술통계 1) 중심경향성 2) 산포도 3) 분포 4) 시각화 3. 추론통계 1. 통계학 (Statistics) 1) 통계학의 정의 : 통계학은 자료를 가공 → 의미있는 정보가 도출 → 의사결정에 도움이 되도록 하는 것 : 데이터수집 → 데이터가공 → 탐색적 데이터 분석(EDA) → 모델링 → 결과해석 및 적용 2) 통계학의 기원 : 기원전 약 3000년경 최초로 이집트 피라미드 건설에 통계 조사 조직에 대한 기록이 있음 [프랜시스 골턴] 사분위수/백분율/표준편차 개념에 이름을 붙임, 중앙값을 대푯값으로 사용, 평균으로의 회귀 발견 [칼 피어슨] 상관관계 계수 개념 창시 [존 튜키] 탐색적 데이터 분석(EDA) ..

[빅데이터분석기사] 필기시험을 경험한 후에 요약한 자료입니다. 시험에 나온 문제! 시험에 나올법한 문제! 시험에 나왔으면 하는 문제! 최대한 시험 출제 유형과 유사한 내용들로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다! [목차] Part4. 빅데이터 결과 해석 Part4-1. 분석모형 평가 및 개선 1. 분석모형 평가 2. 분석모형 개선 Part4-2. 분석결과 해석 및 활용 1. 분석결과 해석 2. 분석결과 시각화 Part4-1. 분석모형 평가 및 개선 1. 분석모형 평가 1) 평가 지표 (1) 회귀모형 평가 지표 - 평균절대오차, 평균제곱오차, 평균제곱근오차, 평균절대백분율오차 - 결정계수(R²=1 → 설명력↑) (2) 분류모형 평가 지표 ※ 혼동행렬 구분 예측값 평가항목 참(P..

[빅데이터분석기사] 필기시험을 경험한 후에 요약한 자료입니다. 시험에 나온 문제! 시험에 나올법한 문제! 시험에 나왔으면 하는 문제! 최대한 시험 출제 유형과 유사한 내용들로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다! [목차] Part3. 빅데이터 모델링 Part3-1. 분석모형 설계 1. 분석절차 수립 2. 분석 환경 구축 Part3-2. 분석기법 적용 1. 분석기법 - 회귀분석, 로지스틱 회귀분석, 의사결정나무, 인공신경망, 서포트벡터머신, 연관성분석, 군집분석 2. 고급 분석기법 - 범주형 자료 분석, 다변량 분석, 시계열 분석, 베이지안 기법, 딥러닝 분석, 비정형 데이터 분석, 앙상블 분석, 비모수 통계 Part3-1. 분석모형 설계 1. 분석절차 수립 1) 분석모형 선정..