데이터분석 공부일지

[목차] 1. 확률 2. 베이지안 이론 3. 확률분포 4. 중심극한정리 1. 확률 1) 확률 개념 : 특정 사건이 일어날 수 있는 가능성의 정도 : 0~1 범위이며, 0 = 절대 일어나지 않음 / 1 = 항상 일어남 : P(A) = x / n 2) 확률 종류 ① 비조건확률 = 한계확률 : 사건이 일어날 확률 : P(A), P(B) ② 결합확률 : 두 개 이상의 사건이 동시에 일어나는 확률 : P(A∩B), 교집합 ③ 조건부확률 : A 사건이 발생하였다는 조건하에 B 사건이 발생할 확률 : 결합확률보다 확률 값이 높음 : P(B|A) = P(A∩B) / P(A) 2. 베이지안 이론 : 사건과 관련있는 여러 확률을 이용해 새롭게 일어날 사건을 추정하는 것 예) 마케팅 캠페인 효과 측정, 상품 가격모델링 등 ..

[목차] 1. 중심경향성(평균, 중앙값, 최빈값) 2. 분산, 표준편차 3. 범위, 사분위수, 변동계수 4. 왜도, 첨도 1. 중심경향성 1) 평균값(mean) ① 산술평균(arithmetic mean) : 기본적인 방법 : 전체 변숫값을 모두 더한 후 값들의 개수로 나눈 값 예) 3,3,5,5의 평균 → (3+3+5+5) / 4 = 4 ② 가중평균(weighted mean) : 개별 값에 가중치를 곱한 평균 (소비자 물가지수 등) 예) 3번 2개, 5번 2개의 평균 → ((3X2) + (5X2)) / 4 = 4 ③ 기하평균(geometric mean) : 시간에 따라 비율적으로 변화하는 값의 평균 : 매 해의 증가율을 곱한 수의 제곱근 값을 구하는 식 예) 물가상승률, 인구변동률, 증권수익률 등 ④ 조..

[목차] 1. 모집단과 표본 2. 전수조사와 표본조사 3. 편향 4. 표본추출 방법 1. 모집단과 표본 1) 모집단(population) : 분석 대상 전체 집합 2) 표본(sample) : 모집단의 일부를 추출 2. 전수조사와 표본조사 1) 전수조사 : 모집단 전체를 조사 예) 선거 투표 2) 표본조사 : 표본으로 모집단의 정보를 추정하고 검정 예) 여론 조사 : 모집단의 특성을 반영할 수 있는 표본으로 추출하는 것이 중요 : 표본조사를 해야하는 경우 ①모집단이 많은 경우 ②모집단 파악이 불가능한 경우 ③파괴적인 조사인 경우 : 변수 하나당 최소 30개의 관측치가 필요함 : 모집단 추정 방법으로 포획-재포획 or 관찰-재관찰법이 있음 3. 편향 1) 표본조사 편향 종류 ① 표본추출편향: 편향된 표본만 ..

[목차] 1. 변수 종류 : 독립변수, 종속변수 2. 변수관계 종류 : 인과관계, 상관관계 3. 척도 종류 : 명목척도, 서열척도, 등간척도, 비율척도 4. 척도 종류별 분석 방법 변수(variable) : 어떤 연구의 대상이 되는 일련의 관찰된 특성의 집합 (예, 서울시 거주자의 소득을 파악하고자 할 때 → 소득) 1. 변수 종류 1) 독립변수(independent variable) : 원인, x값 : 종속 변인에 영향을 준다고 간주되는 변인 : = 설명변수, 입력변수, 예측변수, 조작변수, 특징 → 독립변수 간에는 상관관계가 없어야 함 (이유: 독립변수 간에 상관관계가 높으면 독립변수들과 종속변수와의 연관성 측정이 어렵기 때문임) 2) 종속변수(dependent variable) : 결과, y값 : ..

[목차] 1. 통계학 1) 통계학의 정의 2) 통계학의 기원 3) 통계학 vs. 머신러닝 2. 기술통계 1) 중심경향성 2) 산포도 3) 분포 4) 시각화 3. 추론통계 1. 통계학 (Statistics) 1) 통계학의 정의 : 통계학은 자료를 가공 → 의미있는 정보가 도출 → 의사결정에 도움이 되도록 하는 것 : 데이터수집 → 데이터가공 → 탐색적 데이터 분석(EDA) → 모델링 → 결과해석 및 적용 2) 통계학의 기원 : 기원전 약 3000년경 최초로 이집트 피라미드 건설에 통계 조사 조직에 대한 기록이 있음 [프랜시스 골턴] 사분위수/백분율/표준편차 개념에 이름을 붙임, 중앙값을 대푯값으로 사용, 평균으로의 회귀 발견 [칼 피어슨] 상관관계 계수 개념 창시 [존 튜키] 탐색적 데이터 분석(EDA) ..

[빅데이터분석기사] 필기시험을 경험한 후에 요약한 자료입니다. 시험에 나온 문제! 시험에 나올법한 문제! 시험에 나왔으면 하는 문제! 최대한 시험 출제 유형과 유사한 내용들로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다! [목차] Part4. 빅데이터 결과 해석 Part4-1. 분석모형 평가 및 개선 1. 분석모형 평가 2. 분석모형 개선 Part4-2. 분석결과 해석 및 활용 1. 분석결과 해석 2. 분석결과 시각화 Part4-1. 분석모형 평가 및 개선 1. 분석모형 평가 1) 평가 지표 (1) 회귀모형 평가 지표 - 평균절대오차, 평균제곱오차, 평균제곱근오차, 평균절대백분율오차 - 결정계수(R²=1 → 설명력↑) (2) 분류모형 평가 지표 ※ 혼동행렬 구분 예측값 평가항목 참(P..

[빅데이터분석기사] 필기시험을 경험한 후에 요약한 자료입니다. 시험에 나온 문제! 시험에 나올법한 문제! 시험에 나왔으면 하는 문제! 최대한 시험 출제 유형과 유사한 내용들로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다! [목차] Part3. 빅데이터 모델링 Part3-1. 분석모형 설계 1. 분석절차 수립 2. 분석 환경 구축 Part3-2. 분석기법 적용 1. 분석기법 - 회귀분석, 로지스틱 회귀분석, 의사결정나무, 인공신경망, 서포트벡터머신, 연관성분석, 군집분석 2. 고급 분석기법 - 범주형 자료 분석, 다변량 분석, 시계열 분석, 베이지안 기법, 딥러닝 분석, 비정형 데이터 분석, 앙상블 분석, 비모수 통계 Part3-1. 분석모형 설계 1. 분석절차 수립 1) 분석모형 선정..

[빅데이터분석기사] 필기시험을 경험한 후에 요약한 자료입니다. 시험에 나온 문제! 시험에 나올법한 문제! 시험에 나왔으면 하는 문제! 최대한 시험 출제 유형과 유사한 내용들로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다! [목차] Part2. 빅데이터 탐색 Part2-1. 데이터 전처리 1. 데이터 정제 2. 분석 변수 처리 Part2-2. 데이터 탐색 1. 데이터 탐색 기초 2. 고급 데이터 탐색 Part2-3. 통계기법 이해 1. 기술통계 2. 추론통계 Part2-1. 데이터 전처리 1. 데이터 정제 1) 결측값 처리 (N/A, 빈칸) (1) 종류 완전 무작위 결측 무작위 결측 비무작위 결측 다른 변수와 연관 없음 결과에 영향을 미치지 않음 다른 변수와 연관 있음 결과에 영향을 미..

[빅데이터분석기사] 필기시험을 경험한 후에 요약한 자료입니다.시험에 나온 문제! 시험에 나올법한 문제! 시험에 나왔으면 하는 문제! 최대한 시험 출제 유형과 유사한 내용들로 요약했으니, 이 자료로 공부하시는 모든 분들 합격하시길 바랍니다![목차]Part1. 빅데이터 분석기획 Part1-1. 빅데이터의 이해             1. 빅데이터 개요 및 활용             2. 빅데이터 기술 및 제도 Part1-2. 데이터 분석 계획             1. 분석 방안 수립             2. 분석 작업 계획 Part1-3. 데이터 수집 및 저장 계획             1. 데이터 수집 및 전환             2. 데이터 적재 및 저장Part1-1. 빅데이터의 이해1. 빅데이터 개..

퇴근시간을 당겨주고, 여유롭게 업무 할 수 있는 지름길은 단축키를 많이 많이 활용하는 것입니다. 실무에서 사용빈도가 높은 단축키로 골랐습니다. 실제로 저는 엑셀로 raw data 분석하는 업무를 10년 동안하고 있고, 회사에서 엑셀을 사용할 때 마우스는 거의 사용하지 않고 대부분을 키보드로 업무하고 있습니다! 중요도가 높은 단축키를 별 개수로 표기하였습니다. (가장 중요한 단축키를 별 3개로 표기) # 파일 관리 파일 저장 ★★★ Ctrl + S 생각날 때마다 저장하는 습관 가지면 좋음 파일 이동 ★★★ Alt + Tab 실행 중인 프로그램 목록 확인 및 이동 - 바로 전에 실행했던 프로그램으로 이동 - Alt를 누른 상태에서 + Tab 클릭하여 이동하고 싶은 프로그램 선택 시트 이동 ★★★ Ctrl +..