데이터분석 공부일지

[목차] 1. 귀무가설, 대립가설 2. 가설검정 절차 3. 가설검정 방법 4. 1종 오류, 2종 오류 1. 귀무가설, 대립가설 1) 귀무가설(Null hypothesis) : Ho, 기존 주장 : 대립가설과 반대되는 가설, 차이/영향력/연관성이 없음을 나타내는 가설 2) 대립가설(Alternative hypothesis) : H₁, 새로운 주장 : 입증하고자 하는 가설 2. 가설검정 절차 1) 가설 설정 Ho: 새로운 항암제를 사용했을 때, 차이가 없을 것이다. H₁: 새로운 항암제를 사용했을 때, 차이가 있을 것이다. 2) 유의수준 설정 : p값(p-value)을 설정 (일반적으로 p값 < .05로 설정) * 유의수준: 귀무가설 기각/채택의 기준 3) 실험 수행 : 실험군 집단의 새로운 항암제 투약 전..

[목차] 1. 확률 2. 베이지안 이론 3. 확률분포 4. 중심극한정리 1. 확률 1) 확률 개념 : 특정 사건이 일어날 수 있는 가능성의 정도 : 0~1 범위이며, 0 = 절대 일어나지 않음 / 1 = 항상 일어남 : P(A) = x / n 2) 확률 종류 ① 비조건확률 = 한계확률 : 사건이 일어날 확률 : P(A), P(B) ② 결합확률 : 두 개 이상의 사건이 동시에 일어나는 확률 : P(A∩B), 교집합 ③ 조건부확률 : A 사건이 발생하였다는 조건하에 B 사건이 발생할 확률 : 결합확률보다 확률 값이 높음 : P(B|A) = P(A∩B) / P(A) 2. 베이지안 이론 : 사건과 관련있는 여러 확률을 이용해 새롭게 일어날 사건을 추정하는 것 예) 마케팅 캠페인 효과 측정, 상품 가격모델링 등 ..

[목차] 1. 중심경향성(평균, 중앙값, 최빈값) 2. 분산, 표준편차 3. 범위, 사분위수, 변동계수 4. 왜도, 첨도 1. 중심경향성 1) 평균값(mean) ① 산술평균(arithmetic mean) : 기본적인 방법 : 전체 변숫값을 모두 더한 후 값들의 개수로 나눈 값 예) 3,3,5,5의 평균 → (3+3+5+5) / 4 = 4 ② 가중평균(weighted mean) : 개별 값에 가중치를 곱한 평균 (소비자 물가지수 등) 예) 3번 2개, 5번 2개의 평균 → ((3X2) + (5X2)) / 4 = 4 ③ 기하평균(geometric mean) : 시간에 따라 비율적으로 변화하는 값의 평균 : 매 해의 증가율을 곱한 수의 제곱근 값을 구하는 식 예) 물가상승률, 인구변동률, 증권수익률 등 ④ 조..

[목차] 1. 모집단과 표본 2. 전수조사와 표본조사 3. 편향 4. 표본추출 방법 1. 모집단과 표본 1) 모집단(population) : 분석 대상 전체 집합 2) 표본(sample) : 모집단의 일부를 추출 2. 전수조사와 표본조사 1) 전수조사 : 모집단 전체를 조사 예) 선거 투표 2) 표본조사 : 표본으로 모집단의 정보를 추정하고 검정 예) 여론 조사 : 모집단의 특성을 반영할 수 있는 표본으로 추출하는 것이 중요 : 표본조사를 해야하는 경우 ①모집단이 많은 경우 ②모집단 파악이 불가능한 경우 ③파괴적인 조사인 경우 : 변수 하나당 최소 30개의 관측치가 필요함 : 모집단 추정 방법으로 포획-재포획 or 관찰-재관찰법이 있음 3. 편향 1) 표본조사 편향 종류 ① 표본추출편향: 편향된 표본만 ..

[목차] 1. 변수 종류 : 독립변수, 종속변수 2. 변수관계 종류 : 인과관계, 상관관계 3. 척도 종류 : 명목척도, 서열척도, 등간척도, 비율척도 4. 척도 종류별 분석 방법 변수(variable) : 어떤 연구의 대상이 되는 일련의 관찰된 특성의 집합 (예, 서울시 거주자의 소득을 파악하고자 할 때 → 소득) 1. 변수 종류 1) 독립변수(independent variable) : 원인, x값 : 종속 변인에 영향을 준다고 간주되는 변인 : = 설명변수, 입력변수, 예측변수, 조작변수, 특징 → 독립변수 간에는 상관관계가 없어야 함 (이유: 독립변수 간에 상관관계가 높으면 독립변수들과 종속변수와의 연관성 측정이 어렵기 때문임) 2) 종속변수(dependent variable) : 결과, y값 : ..

[목차] 1. 통계학 1) 통계학의 정의 2) 통계학의 기원 3) 통계학 vs. 머신러닝 2. 기술통계 1) 중심경향성 2) 산포도 3) 분포 4) 시각화 3. 추론통계 1. 통계학 (Statistics) 1) 통계학의 정의 : 통계학은 자료를 가공 → 의미있는 정보가 도출 → 의사결정에 도움이 되도록 하는 것 : 데이터수집 → 데이터가공 → 탐색적 데이터 분석(EDA) → 모델링 → 결과해석 및 적용 2) 통계학의 기원 : 기원전 약 3000년경 최초로 이집트 피라미드 건설에 통계 조사 조직에 대한 기록이 있음 [프랜시스 골턴] 사분위수/백분율/표준편차 개념에 이름을 붙임, 중앙값을 대푯값으로 사용, 평균으로의 회귀 발견 [칼 피어슨] 상관관계 계수 개념 창시 [존 튜키] 탐색적 데이터 분석(EDA) ..