데이터분석 공부일지

[빅데이터분석기사 합격 후기] 독학 공부 방법 & 시험 꿀팁 공유

✨️데이터분석가✨️ — Sat, 5 Jul 2025 00:20:59 +0900

오랜 시간이 걸린 빅데이터분석기사 시험에 드!디!어! 합격했습니다.

시험 접수 기간을 계속 놓치면서, 무려 2~3년에 걸친 대장정이 끝났습니다. 후우~련!

제가 직접 공부하면서 느낀 팁들과 시험 후기, 그리고 실기 고득점 비결까지 공유해보려고 합니다.

■ 1차 필기시험 후기

필기는 턱걸이 합격했습니다. (합격기준 60점)

저는 이기적 교재로 공부했고, 제 블로그에 요약 자료를 열심히 정리하였으니 참고해주세요~

*링크: 2025 이기적 빅데이터분석기사 필기 기본서 | 나홍석 - 교보문고

개인적으로 추천하는 방법은 기출문제를 많이 풀어보면서 공부하는 방법입니다!⭐

저는 이론 공부에 집중하고, 문제는 교재에서 출제한 문제 위주로 풀었는데...

실제 문제는 기출문제와 비슷한 유형으로 출제됩니다.

자격증이란건 100점은 필요없습니다. 적은 시간을 투자해서 합격하는 것이 가장 똑똑하다고 생각합니다.

지름길로 갑시다!

빅데이터분석기사 필기 결과

※ 자세한 필기시험 후기 내용입니다.

[빅데이터분석기사/필기후기] 제6회 필기시험 후기(기출문제)

오늘 제6회 빅데이터분석기사 필기시험을 보고 왔습니다. 그럼 바로 따끈따끈한 시험후기 갑니다! 시험후기 사전에 받은 응시 안내 문자 내용대로 [신분증], [컴퓨터용 싸이펜], [검은색 볼펜] 지

dataslog.tistory.com

■ 2차 실기시험 후기

실기는 1문제만 틀렸습니다.ㅎㅎ 너무 열심히 공부했던 것 같습니다. (그래도 기분은 조으네요)

제가 응시했던 10회 시험이 유독 쉬웠고, 복수 정답 인정까지 있어서 합격률이 꽤 높을 것 같습니다.

이런저런 이유로 다음 시험은 난이도가 높아질 가능성이 있으니,

시간적 여유가 있다면 그 다음을 도전해 보시는 것도 좋지 않을까 싶습니다.

실기 꿀팁은 고득점을 맞은 실기 답게 제 블로그에 정말 정리를 잘해두었습니다! ‍♂️

아래에 링크 첨부한 <주요 요약 내용> 3개 내용을 공부하면 모두 합격하실 수 있을 겁니다.

모두 합격하시길 바랍니다. 파이팅!

빅데이터분석기사 실기 결과

※ 자세한 실기시험 후기 내용입니다.

[빅데이터분석기사/실기후기] 10회 시험 후기 및 문제 복기

드디어! 빅데이터분석기사 실기시험을 응시했습니다. 저는 9회 필기시험에 합격했었고, 9회 실기시험은 접수일정을 놓치는 바람에 신청하지 못했고,10회 실기시험은 10시에 땡 하고 바로 신청했

dataslog.tistory.com

※ 실기시험 주요 요약 내용입니다.

[빅데이터분석기사/실기요약] 제1유형. 파이썬 핵심코드

빅데이터분석기사 실기 제1유형은 총 3문제가 출제되며 각 10점씩이고,코드를 어느 정도까지 활용할 수 있는지를 확인하는 유형 같습니다. 그래서 예상하지 못한 다양한 문제가 나오고 있고, 점

dataslog.tistory.com

[빅데이터분석기사/실기요약] 제2유형. 파이썬 템플릿 (암기용 요약 자료★)

빅데이터분석기사 실기 제2유형은 문제 형태가 정해져 있어, 달달 외우기만 하면 됩니다. 그 동안의 기출들을 분석해서 심혈을 기울여서 만든 최적의 파이썬 템플릿을 공유합니다.아래 코드만

dataslog.tistory.com

[빅데이터분석기사/실기요약] 제3유형. 통계전공자의 파이썬 회귀분석

빅데이터분석기사 실기 제3유형은 2문제가 각 15점으로 출제되며, 2문제에는 각 소문항이 3개씩 있습니다.부분 점수도 있으니 알고 있는 부분까지 최선을 다해 풀어야 합니다. 제3유형은 통계 기

dataslog.tistory.com

[빅데이터분석기사/실기요약] 제3유형. 통계전공자의 파이썬 회귀분석

✨️데이터분석가✨️ — Thu, 26 Jun 2025 00:27:53 +0900

빅데이터분석기사 실기 제3유형은 2문제가 각 15점으로 출제되며, 2문제에는 각 소문항이 3개씩 있습니다.

부분 점수도 있으니 알고 있는 부분까지 최선을 다해 풀어야 합니다.

제3유형은 통계 기반 분석 및 가설 검정 능력을 평가하는 유형이라,

코딩뿐만 아니라, 통계적 검정 방법에 대한 이해와 활용력을 요구하기에 비전공자는 다소 까다로운 유형으로 보입니다. 그래도 자주 출제되는 유형이 있어서 [회귀분석] 한 놈만 팬다!로 공부하면 15점은 맞출 수 있습니다!

아래는 유형별 분석 코드 예시이며, 주로 [3. 수치형 데이터 분석]에서 많이 출제되고 있습니다.

model.summary()로 나온 결과에서 유의확률 or 회귀계수 or 결정계수 값만 작성하면 되기에 어렵지 않으니,꼭! 실습문제 풀어서 공부해 가시길 바랍니다.

# 1. 가설검정

import pandas as pd

import numpy as np

from scipy import stats

# 1-1) 단일표본검정 - 특정 값이 맞는지/아닌지 검정

print(stats.ttest_1samp(df['가격'], 100))

# 1-2) 대응표본검정 - 같은 그룹 전/후 비교

print(stats.ttest_rel(df['before'], df['after'], alternative='less'))

# 1-3) 독립표본검정 - 다른 그룹 간 차이 비교

print(stats.ttest_ind(A, B)) # t-검정통계량, p-value

----------------------------------------------------------------------------------------------------------------------------------------------------

# 2. 범주형 데이터 분석

import pandas as pd

import numpy as np

from scipy import stats

# 2-1) 적합도 검정 - 실제값 vs. 예상값 비교

ob = [4, 3, 2, 11] # 실제값

ex = [0.1*20, 0.05*20, 0.15*20, 0.7*20] # 예상값

stats.chisquare(ob, ex) # 카이제곱 검정통계량, p-value 분석

# 2-2) 독립성/동질성 검정 - 두 변수가 독립적인지 (교차표 형태)

df= pd.DataFrame({'합격': [80, 90], '불합격': [20, 10]}) # ①

stats.chi2_contingency(df)

crosstab = pd.crosstab(df['학과'], df['성별']) # ②

stats.chi2_contingency(crosstab)

----------------------------------------------------------------------------------------------------------------------------------------------------

# 3. 수치형 데이터 분석

import pandas as pd

import numpy as np

from scipy import stats

from statsmodels.formula.api import ols # 선형 회귀 분석

from statsmodels.formula.api import logit # 로지스틱 회귀 분석

df = pd.read_csv('data.csv')

model = ols('Price ~ City + Distance + Usage', data=df).fit() # 종속변수 ~ 독립변수

print( model.summary() ) # 유의확률(p-value), 회귀계수(coef), 결정계수(R-squared) 분석

# (단순/다중) 선형 회귀 분석

print( model.predict(pd.DataFrame({'광고비':[50], '플랫폼':[20]})) ) # 광고비 50, 플랫폼 20일 때 매출액 예측값

pred = model.get_prediction(pd.DataFrame({'광고비':[50], '플랫폼':[20]}))

print( pred.summary_frame(alpha=0.05) ) # 예측값에 대한 신뢰구간(mean) / 예측구간(obs)

print( (model.resid ** 2).sum() ) # 잔차 제곱합

print( (model.resid ** 2).mean() ) # MSE

# (오즈비) 로지스틱

coef = model.params['Usage'] # Usage의 회귀계수

print( np.exp(coef * 5) ) # 5단위 증가할 때의 오즈비

[빅데이터분석기사/실기] 제3유형. 통계분석 이론 - 가설검정, 범주형/수치형 데이터 분석

제3유형은 통계 분석에 대한 문제를 풀고 답안을 제출하는 유형이며, 총 2문제가 출제됩니다.통계 비전공자에게는 굉장히 난이도가 높은 유형이라, 자주 출제되는 분석 기법들을 중점적으로 학

dataslog.tistory.com

[빅데이터분석기사/실기요약] 제2유형. 파이썬 템플릿 (암기용 요약 자료★)

✨️데이터분석가✨️ — Wed, 25 Jun 2025 23:38:17 +0900

빅데이터분석기사 실기 제2유형은 문제 형태가 정해져 있어, 달달 외우기만 하면 됩니다.

그 동안의 기출들을 분석해서 심혈을 기울여서 만든 최적의 파이썬 템플릿을 공유합니다.

아래 코드만 암기하면 40점을 확보할 수 있는 실시 시험의 가장 Key 입니다.

이해도 필요 없고 외우기만 하면 되니까 반복 연습해서 줄줄줄 작성할 수 있도록 암기하시길 바랍니다~

먼저, 문제를 보고 [분류] or [회귀] 문제인지 확인하는 과정이 필요합니다. (회귀 출제 빈도가 높음)

- [분류] 문제는 예측대상이 범주형인 경우이며, 아래 코드에서 ☆는 분류에만 해당하는 코드임

- [회귀] 문제는 예측대상이 수치형인 경우이며, 아래 코드에서 ★는 회귀에만 해당하는 코드임

# 0. 데이터 불러오기

train = pd.read_csv('train.csv')

test= pd.read_csv('test.csv')

# 1. 데이터 확인하기

import pandas as pd

import numpy as np

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier # ☆분류

from sklearn.ensemble import RandomForestRegressor # ★회귀

from sklearn.metrics import f1_score, accuracy_score, roc_auc_score # ☆분류

from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error # ★회귀

print(train) # 변수 및 데이터 확인

print(test)

print(train.info()) # 범주형 변수 확인

print(test.info())

print(train.isnull().sum()) # 결측치 확인

print(test.isnull().sum())

# 2. 데이터 전처리 - train, test 둘 다 처리! (→ But, 보통 결측치 없는 데이터로 출제됨)

train['A'] = train['A'].fillna(train['A'].mean()) # 평균 대체

test['A'] = test['A'].fillna(test['A'].mean())

train['A'] = train['A'].fillna(train['A'].mode()[0]) # 최빈값 대체

train['A'] = train['A'].fillna(0) # 0으로 대체

train['A'] = train['A'].fillna(method='bfill') # 뒤 값으로 대체

train = train.dropna() # 전체 결측치 데이터 삭제

train = train.dropna(subset=['A', 'B']) # 특정컬럼의 결측치 데이터 삭제

train = train.dropna(axis=1) # 결측치 있는 컬럼 삭제

# 3. 불필요한 데이터 삭제

test_id = test['ID'] # ID를 최종 제출파일에 포함하여야 하는 경우에 실행

y = train['price'] # 예측 대상

train = train.drop(['ID', 'name'], axis=1) # 데이터와 관련 없는 변수 작성

test = test.drop(['ID', 'name'], axis=1)

# 4. 원핫인코딩

df = pd.concat([train, test]) # 합치기

df = pd.get_dummies(df, columns=['A', 'B']) # 범주형 변수 모두 작성 / 더미변환

train = df.iloc[:len(train),:].copy() # 다시 분리

test = df.iloc[len(train):,:].copy()

# 5. 검증데이터 분리

x_tr, x_val, y_tr, y_val = train_test_split(train, y, test_size=0.2, random_state=42)

# 6. 모델 학습 및 평가 (랜덤포레스트)

rf = RandomForestClassifier(random_state=42) # ☆분류

rf = RandomForestRegressor(random_state=42) # ★회귀

rf.fit(x_tr, y_tr)

# ☆7-1. 분류모델 평가 및 예측 - 1) 정확도, 직접예측 (사용자 수 등)

pred = rf.predict(x_val)

print(f1_score(y_val, pred)) # 다중분류는 (y_val, pred, average='macro') 작성

print(accuracy_score(y_val, pred))

pred = rf.predict(test)

pd.DataFrame({'ID':test_id, 'pred':pred}).to_csv('result.csv', index=False) # 제출해야 하는 변수명으로 작성

# ☆7-1. 분류모델 평가 및 예측 - 2) auc, 확률

pred_proba = rf.predict_proba(x_val)[:,1]

print(roc_auc_score(y_val, pred_proba))

pred_proba = rf.predict_proba(test)[:,1]

pd.DataFrame({'Id':test_id, 'pred':pred_proba}).to_csv('result.csv', index=False)

# ★7-2. 회귀모델 평가 및 예측

pred = rf.predict(x_val)

print("r2: ",r2_score(y_val, pred)) # R-squared (1에 가까울수록 좋음)

print("mae: ",mean_absolute_error(y_val, pred)) # MAE

print("mse: ",mean_squared_error(y_val, pred)) # MSE

print("rmse: ",np.sqrt(mean_squared_error(y_val, pred))) # RMSE (자주 출제됨)

pred = rf.predict(test)

pd.DataFrame({'ID':test_id, 'pred':pred}).to_csv("result.csv", index=False)

# 8. 결과 확인

print(len(pred), len(test_id)) # 동일해야 함

result = pd.read_csv('result.csv') # 예시 형태로 나오는지 확인

print(result)

[빅데이터분석기사/실기] 제2유형. 머신러닝 및 평가지표

제2유형은 머신러닝에 대한 문제이며, 1문제이지만 배점이 40점으로 가장 높습니다.주어진 라이브러리와 데이터를 불러온 뒤, 데이터 전처리를 거쳐 모델을 학습시키고 평가한 결과를 CSV 코드

dataslog.tistory.com

[빅데이터분석기사/실기] 제2유형. 평가지표

제2유형 평가지표에 대한 내용입니다.통계에 대한 내용이라 비전공자는 다소 어렵기 때문에 그냥 통째로 암기!ㅎㅎ 1. 이진분류 평가지표(0과 1로 이루어진 데이터) import pandas as pdfrom sklearn.ensembl

dataslog.tistory.com

[빅데이터분석기사/실기] 제2유형. 모의문제

제2유형 모의문제 입니다.총 3문제이며, 모두 다른 유형의 문제이니 다 풀어보시는 것을 추천드립니다. 문1. 분류 (신용카드를 떠나는 고객을 찾아라)1) 데이터 불러오기import pandas as pdtrain = pd.read

dataslog.tistory.com

[빅데이터분석기사/실기요약] 제1유형. 파이썬 핵심코드

✨️데이터분석가✨️ — Wed, 25 Jun 2025 23:36:00 +0900

빅데이터분석기사 실기 제1유형은 총 3문제가 출제되며 각 10점씩이고,

코드를 어느 정도까지 활용할 수 있는지를 확인하는 유형 같습니다.

그래서 예상하지 못한 다양한 문제가 나오고 있고, 점점 더 어려워지는 추세입니다.

그래도 아직 1~2문제 정도는 노가다로 풀 수 있어 안되면 몸으로 때우자~!ㅎㅎ

(소수점 셋째짜리까지 제출이라 못 풀면 오답입니다ㅠ)

pandas, numpy를 활용한 '데이터 전처리', '그룹별 통계', '조건 필터링 및 정렬', '날짜 처리' 등에 대한 문제가 자주 출제됩니다. 공부할 시간이 부족하다면, 자주 출제되는 코드 위주로 공부해서 1~2문제만 맞추는 전략으로 가도 좋을 것 같습니다!

# 데이터 확인하기

print( df.head() ) # 앞 5줄 추출

print( df.shape ) # 행열 개수 추출

print( df.info() ) # 컬럼 정보

print( df.describe() ) # 기초 통계 정보 (수치형)

print( df.describe(include='object') ) # 기초 통계 정보 (범주형)

print( df.describe(include='all') ) # 기초 통계 정보 (모두)

print( df.count() ) # 열별(컬럼) 데이터 개수, 결측치 제외

print( df.count(axis=1) ) # 행별 데이터 개수, 결측치 제외

print( df.nunique() ) # 항목 종류 수

print( df['지역'].nunique() ) # 항목 종류

print( df['지역'].value_counts() ) # 항목별 개수

print( df['나이'].max() ) # 최대값

print( df.T.sum() ) # 행렬변환, 행 단위로 합하기

# 그룹별 통계

df.groupby(['지역', '성별'])['나이'].mean() # 지역 및 성별 평균 나이

df.groupby(['지역', '성별']).mean().reset_index() # 인덱스 형태로 리셋

df['나이'].quantile(0.25) # 하위 25% 값

# 조건 필터링

a = df['지역'] == '서울특별시'

b = df['나이'] < 30

df[a & b] # 해당 조건 조회

len(df[a & b]) # 해당 조건 데이터 개수

a = df['continent'] == 'Europe' # 유럽 데이터만 저장

df = df[a]

# 정렬

df.sort_index(ascending=False) # 인덱스 기준 내림차순

df.sort_values(['지역', '성별'], ascending=[False, True]) # 지역 내림차순, 성별 오름차순

# 중복값 제거

df = df.drop_duplicates() # 중복값 제거

df = df.drop_duplicates(subset=['지역', '성별'], keep='last') # 특정 컬럼만 중복값 제거 (last는 뒤에 값을 살림)

# 인덱싱

df.loc[0] # loc[인덱스 명] → ID 이름이 0인 데이터 출력

df.iloc[0] # iloc[인덱스 번호] → 0번째줄 데이터 출력

df.iloc[:3] # 상위 3개 데이터 출력

df[:int(len(df)*0.7)] # 상위 70% 데이터 출력

# 슬라이싱

df.loc[:,'지역':'성별'] # loc[인덱스 명, 컬럼 명], 마지막 포함O → 지역~성별 컬럼의 모든 데이터 출력

df.iloc[0:3:,0:1] # iloc[인덱스 번호, 컬럼 번호], 마지막 포함X → 0번째 컬럼의 0~2번째 데이터 출력

df['지역'].str[:2] # 앞 두글자 추출 → 강원, 경기, 서울, 인천...

df['지역'][:2] # 두 개 데이터 추출 → 강원특별자치도, 경기도

# 데이터 나누기

df['음료'].str.split() # 띄어쓰기 기준으로 단어 나누기 → 블루베리, 에이드

df['음료'].str.split().str[0] # 첫번째 값만 추출 → 블루베리

# 데이터 찾기

df['음료'].str.contains('딸기') # 일부 단어 찾기 O → False True False...

df.isin(['블루베리 에이드', '딸기 에이드']) # 일부 단어 찾기 X → True, True, False...

# 날짜 형식 변환

pd.to_datetime(df['date'])

df['date'].dt.year # year 값만 분리 (month, day, hour, minute, second도 가능)

df['day'] = df['date'].dt.day_name() # 요일 값을 day 컬럼에 저장

df[df['day'] == 'Sunday']['categoryId'].value_counts().index[0] # 일요일에 가장 많은 categoryId

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 날짜 변환

제1유형의 날짜를 변환하는 실습 내용입니다.날짜 및 시각 형식 변환, 날짜 계산, 기간 계산 등 날짜에 관한 다양한 유형들이 있습니다. 문1-1. Date1 형식 변환 (2024-02-17)print(df['Date1'])df['Date1'] = pd.t

dataslog.tistory.com

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 문자열

제1유형에서 문자열을 다루는 다양한 방법들을 담고 있으며,문자열 변경, 나누기, 찾기, 길이 구하기, 대/소문자 변경, 공백제거, 추출에 대해 알아 봅시다!ㅎ 문1. 일부 문자 값 변경, replace( ) 함

dataslog.tistory.com

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 모의문제

제1유형의 모의문제 입니다.다양한 문제를 많이 풀어보는 것이 시험에 가장 큰 도움이 되기에 아래 문제들도 꼭 풀어보시기 바랍니다. [문제 1번]① f1 컬럼의 결측치는 중앙 값으로 대체② 나머

dataslog.tistory.com

[빅데이터분석기사/실기후기] 10회 시험 후기 및 문제 복기

✨️데이터분석가✨️ — Sun, 22 Jun 2025 23:42:17 +0900

드디어! 빅데이터분석기사 실기시험을 응시했습니다.

저는 9회 필기시험에 합격했었고, 9회 실기시험은 접수일정을 놓치는 바람에 신청하지 못했고,

10회 실기시험은 10시에 땡 하고 바로 신청했지만 결제하지 않아서 취소당했다는...

(접수 후 2시간 내 결제해야 한다고 합니다!!)

당일 밤에 접속해보니 집 근처는 이미 다 마감되어서 1시간 넘게 걸리는 양재로 신청했습니다아하하

그래도 신청한 게 어디야 멍청한 내 자신 몸이 고생하자

9시 반까지 입실이라 시간 맞춰서 갔는데, 그 이후에도 입장은 가능한 것 같았습니다.

저희 반은 3명 결석했는데, 자격증 시험치곤 꽤나 출석률이 높은 것 같습니다. (시험료가 비싸서 그런 듯)

전자기기를 9시 25분부터 끄라고 하고, 진짜 OFF가 되었는지 감독관이 다 만져서 확인합니다. WOW

그러고 바로 책까지 집어넣으라고 하니 시험까지 책을 못 보는 시간이 꽤나 깁니다.

9시 반부터는 로그인 / 시험환경 Test를 진행하고, 10시 정각에 시험이 시작됩니다.

11시 반부터 퇴실할 수 있었고, PC 문제로 시간이 지연되는 경우에는 추가시간을 준다고 하고,

그리고 시험 중간에 몇 차례 알림이 떠서 문제에 대한 추가 안내가 있었다는 정도가 특이했습니다~

10회 실기시험은 전반적으로 최근 시험 중에서 가장 쉬웠다는 평입니다. (저도 동의)

빈번하게 출제되었던 유형들로 나왔고, 꼬는 문제없이 정석대로 나온 것 같습니다.

저는 1유형의 3번 문제(split)만 못 풀었는데, 찍어보려고 해도 다 소수점 셋째짜리까지 제출해야 해서 찍는 게 의미가 없습니다.

자! 그럼 제가 복기하는 10회 실기 문제 및 정답입니다.

제1유형 (3문제, 각 10점, 소수점 셋째자리 제출)

1. 소주제별 정답률 구하기 (= 소주제별 정답수 / 소주제별 응답수)

- 계산하다가 잘 안돼서 소주제 약 30개 정도를 노가다를 했고, 1/2위가 동점이라 공동 1등으로 처리하고, 3위를 구하는 것입니다. 동점처리에 대한 안내가 중간에 팝업으로 알림이 왔어서 잘 고려했습니다.

(이 부분이 가장 시끌시끌한 것 같습니다. 처음부터 문제를 잘 냈어야 하는 거 아니냐는...)

☞ 0.568

2. 날짜 그룹핑, 정렬 문제

1) 연월별 매출액이 두 번째로 높은 매출액 구하기

- pd.to_datetime(), .dt.strftime()

☞ 4655000

2) 1)의 결과에서 매출액이 네 번째로 높은 연월의 Category 매출액 구하기

☞ coffee, 2000000

3. 메일 내용 문장의 단어수를 구하고, spam/ham별 단어수 평균 차이 구하기

- 3000개 메일 내용의 단어수를 구하고, spam/ham별로 단어수 평균의 차이를 구하는 것입니다.

- 저는 df['내용'].str.split()로 하면 다 2로 나오고, df['내용'].str.split(' ')로 하면 다 3000으로 나왔나

다 똑같은 값이 나와서 실패했는데, df['내용'].str.split().str.len() 으로 작성해야 하는 것 같습니다.

☞ 9.747

제2유형 (1문제, 40점)

- 회귀문제 / 결측치 없음 / 범주형 1개 / RMSE / 가스사용량 예측

- 저는 train 가스사용량 제외, 원핫인코딩, RandomForestRegressor 적용했습니다.

- 대부분 RMSE 값이 400~600 사이로 나온 듯합니다. (저는 얼마 나왔는지 기억이 안 나요ㅠㅠ)

(여기는 0값이 결측치냐 아니냐, 0값은 제외하고 돌려야 한다 등등의 논란이 있어 보입니다)

제3유형 (2문제, 각 15점)

1. 로지스틱 회귀분석

1) 편차를 제외한 나머지 회귀계수의 합

- from statsmodels.formula.api import logit, model.summary(), model.params['']

☞ -0.002

2) Age 1단위 증가할 때의 오즈비

- np.exp(coef)

☞ 0.967

3) 신규 데이터로 예측값 구하기

- model.predict(pd.DataFrame({'a':[0], 'b':[0]}))

☞ 0.724

2. 다중선형회귀

1) 95%에서 유의미한 p-value 회귀계수

- from statsmodels.formula.api import ols, model.summary(), model.params['']

☞ -40.261

2) 95%에서 유의미한 p-value 값을 가진 항목으로 만든 모델의 결정계수 구하기

☞ R-squared / Adj. R-squared 0.913 (동일했음)

3) 2)에서 학습시킨 모델로 신규 데이터 예측하기

- model.predict(pd.DataFrame({'a':[0], 'b':[0]}))

☞ 24.702

[빅데이터분석기사/실기] 제3유형. 통계분석 이론 - 가설검정, 범주형/수치형 데이터 분석

✨️데이터분석가✨️ — Sun, 8 Jun 2025 17:21:03 +0900

제3유형은 통계 분석에 대한 문제를 풀고 답안을 제출하는 유형이며, 총 2문제가 출제됩니다.

통계 비전공자에게는 굉장히 난이도가 높은 유형이라,

자주 출제되는 분석 기법들을 중점적으로 학습하여 1문제를 확보하는 전략으로 가는 것이 효과적일 것 같습니다.

시험에 자주 출제되는 유형인 '가설검정', '범주형 데이터 분석'(카이제곱 검정, 적합도 검정, 독립성 검정, 동질성 검정), '수치형 데이터 분석'(상관관계, 회귀분석, 분산분석), '오즈비', 'GLM'에 대해 확인해 볼까요?

구분	문항 수	답안 제출	점수
제1유형	3문항	전처리 결과 제출	30점
제2유형	1문항	CSV 코드 제출	40점
제3유형	2문항	답안 제출	30점
합계	6문항	-	100점

1. 가설검정

모집단 : 전체 집단
표본 : 모집단의 일부 (샘플)

귀무가설(H0) : 기존가설, 효과/차이가 없음 (= 영가설)
대립가설(HJ) : 신규가설, 효과/차이가 있음

검정통계량 : 주어진 데이터와 귀무가설 간의 차이를 통계적으로 나타낸 값
p-value : 유의수준(0.05)보다 작으면 귀무가설 기각 (= 대립가설 채택)

단일표본검정 : 모집단 1개, 한 그룹 (예, 과자무게가 200g인지 검정)
- 정규성(shapiro) 검정 → (Y) 단일 표본 검정 / (N) 비모수 검정 - Wilcoxon의 부호 순위 검정
대응표본검정 : 모집단 2개(동일 집단), 같은 그룹(전후 비교) (예, 신약의 효과 검정)
- 정규성(shapiro) 검정 → (Y) 대응 표본 검정 / (N) 비모수 검정 - Wilcoxon의 부호 순위 검정
독립표본검정 : 모집단 2개, 다른 그룹 (예, 1,2반의 성적 차이 검정)
- 정규성(shapiro) 검정 → (Y) 등분산 검정 / (N) 비모수 검정 - Mann-Whitney U 검정(중앙값 차이 검정)
→ (Y) 등분산 검정 → (Y) 독립 표본 검정 / (N) 독립 표본 검정(Welch의 t-검정, 두 모집단 분산은 동일하지 않음)

1) 단일표본검정

문1-1) 다음은 원두 무게가 120g이 맞는지 확인하기 위해 30개 샘플을 측정한 결과이다.

이 결과를 바탕으로 120g이 사실인지 검정하시오. (데이터는 정규분포를 따름)
- 귀무가설(H0): μ=μ0, 원두의 평균 무게는 120g 이다.
- 대립가설(H1): μ≠μ0, 원두의 평균 무게는 120g이 아니다. (양측 검정)

import pandas as pd

df = pd.DataFrame({

'무게':[119, 121, 121, 119, 125, 115, 121, 118, 117, 127,

123, 129, 119, 124, 114, 126, 122, 124, 121, 116,

123, 123, 127, 118, 122, 117, 124, 125, 123, 121],

})

from scipy import stats

print(stats.ttest_1samp(df['무게'], 120)) # p-value가 0.05보다 작으므로 귀무가설 기각(즉, 평균은 120g이 아니다)

TtestResult(statistic=2.153709967150663, pvalue=0.03970987897788578, df=29)

문1-2) 단측 검정

TtestResult(statistic=2.153709967150663, pvalue=0.01985493948894289, df=29)
TtestResult(statistic=2.153709967150663, pvalue=0.9801450605110571, df=29)

문1-3) 정규분포를 따르지 않는 데이터

import pandas as pd

df = pd.DataFrame({

'무게':[219, 121, 121, 119, 125, 115, 121, 118, 117, 127,

123, 129, 119, 124, 114, 126, 122, 124, 121, 116,

123, 123, 127, 118, 122, 117, 124, 125, 123, 121],

})

# Shapiro-Wilk 검정 (정규성 검정)

- 귀무가설: 정규분포를 따른다 / 대립가설: 정규분포를 따르지 않는다

from scipy import stats

print(stats.shapiro(df['무게'])) # p-value가 0.05보다 작으므로 귀무가설 기각(즉, 정규분포를 따르지 않는다)

# Wilcoxon 검정 (비모수 검정)

- 귀무가설: μ=μ0 / 대립가설: μ<μ0

from scipy import stats

print(stats.wilcoxon(df['무게'] - 120, alternative='less')) # 귀무가설 채택(즉, 원두의 평균 무게는 120g 이다)

ShapiroResult(statistic=0.35728970196526855, pvalue=2.2139240997414947e-10)
WilcoxonResult(statistic=341.0, pvalue=0.9882949283346534)

2) 대응표본검정

문2-1) 다음은 새로운 프로그램 도입 전/후의 점수이다. 효과가 있는지 검정하시오. (데이터는 정규분포를 따름)
- 귀무가설(H0): μd≥0, 새로운 교육 프로그램은 효과가 없다. / μd=(사전-사후)의 평균
- 대립가설(H1): μd<0, 새로운 교육 프로그램은 효과가 있다.

TtestResult(statistic=-2.119860886666164, pvalue=0.03152591671694539, df=9)

문2-2) 정규분포를 따르지 않는 데이터

import pandas as pd

df = pd.DataFrame({

'before':[85,90,92,88,86,89,83,87,65,50],

'after':[88,89,96,89,85,88,85,89,78,61]

})

# Shapiro-Wilk 검정 (정규성 검정)

df['diff'] = df['after'] - df['before']

from scipy import stats

print(stats.shapiro(df['diff'])) # 귀무가설 기각(즉, 정규분포를 따르지 않는다)

# Wilcoxon 검정 (비모수 검정)

from scipy import stats

print(stats.wilcoxon(df['after'], df['before'], alternative='greater')) # 귀무가설 기각(즉, 효과가 있다)

print(stats.wilcoxon(df['diff'], alternative='greater'))

ShapiroResult(statistic=0.8106808132606462, pvalue=0.019542902973577702)
WilcoxonResult(statistic=47.5, pvalue=0.0244140625)
WilcoxonResult(statistic=47.5, pvalue=0.0244140625)

3) 독립표본검정

문3-1) 다음은 실기 시험 점수이다. A/B그룹 간의 평균 점수가 차이가 있는지 유의수준 0.05에서 검정하시오.

(데이터는 정규분포를 따르고, 분산이 동일하다고 가정함)
- 귀무가설(H0): μA=μB, 그룹별 시험 평균 점수는 차이가 없다.
- 대립가설(H1): μA≠μB, 그룹별 시험 평균 점수는 차이가 있다.

TtestResult(statistic=-2.051813915505951, pvalue=0.04964542271174967, df=28.0)

문3-2) 두 집단의 분산이 다른 데이터

TtestResult(statistic=-2.1837307810153024, pvalue=0.04352730399590312, df=16.729279968729678)

문3-3) 단측 검정

# 귀무가설: μA=μB / 대립가설: μA<μB (단측 검정)

from scipy import stats

print(stats.ttest_ind(A, B, equal_var=True, alternative='less')) # 귀무가설 기각(즉, B 평균이 더 크다)

# 귀무가설: μA=μB / 대립가설: μA>μB (단측 검정)

from scipy import stats

print(stats.ttest_ind(A, B, equal_var=True, alternative='greater')) # 귀무가설 채택(즉, 차이가 없다)

TtestResult(statistic=-2.051813915505951, pvalue=0.024822711355874834, df=28.0)
TtestResult(statistic=-2.051813915505951, pvalue=0.9751772886441252, df=28.0)

문3-4) 정규성 검정 / 비모수 검정

A = [85, 90, 92, 88, 86, 89, 83, 87, 84, 50, 60, 39, 28, 48, 38, 28]

B = [82, 82, 88, 85, 84, 74, 79, 69, 78, 76, 85, 84, 79, 89]

# Shapiro-Wilk 검정 (정규성 검정) → N → 비모수 검정

from scipy import stats

print(stats.shapiro(A)) # 귀무가설 기각(즉, 정규분포를 따르지 않는다)

print(stats.shapiro(B)) # 귀무가설 채택(즉, 정규분포를 따른다)

# Mann-Whitney U 검정 (비모수 검정)

from scipy import stats

print(stats.mannwhitneyu(A, B, alternative='less')) # 귀무가설 채택(즉, 차이가 없다)

ShapiroResult(statistic=0.8128696504554708, pvalue=0.00405770158688692)
ShapiroResult(statistic=0.9610027583368682, pvalue=0.739578582064332)
MannwhitneyuResult(statistic=106.0, pvalue=0.40944636368515097)

문3-5) 등분산 검정 (두 집단 모두 정규성 검정을 만족할 경우에 사용)

LeveneResult(statistic=8.013957643762076, pvalue=0.008497116974003)

2. 범주형 데이터 분석

카이제곱 검정

적합도 검정
- 관찰도수(실제 측정값)와 기대도수(예상 평균값)의 차이
- scipy.stats.chisquare (관찰된 빈도 리스트, 기대 빈도 리스트)

독립성 검정
- 두 변수가 서로 독립적인지 확인 (교차표 형태로 만들기)
- scipy.stats.chi2_contingency (교차표, correction(연속성 보정)=True)

동질성 검정
- 두 개 이상의 집단에서 동질성을 갖는지 확인 (= 검정방법은 독립성과 같음)

1) 적합도 검정

문1-1) 지난 3년간 시험 점수 분포는 60점 미만 50%, 60~79점 35%, 80점 이상 15% 였다.
새로운 유형으로 출제한 300명의 시험 점수는 60점 미만 150명, 60~79점 120명, 80점 이상 30명이었다.
유의수준 0.5일 때, 새로운 유형과 기존 유형은 점수에 차이가 없는지 검정하시오.
- 귀무가설(H0): 새로운 유형과 기존 유형의 점수는 동일하다.
- 대립가설(H1): 새로운 유형과 기존 유형의 점수는 동일하지 않다.

Power_divergenceResult(statistic=7.142857142857142, pvalue=0.028115659748972056)

2) 독립성 검정

문2-1) 언어 선택에 따라 합격 여부를 조사한 결과이며, 언어와 합격 여부가 독립적인지 가설검정을 실시하시오. (유의수준 0.05)
R: 합격 80명, 불합격 20명 / Python: 합격 90명, 불합격 10명
- 귀무가설(H0): 언어와 합격 여부는 독립적이다.
- 대립가설(H1): 언어와 합격 여부는 독립적이지 않다.

Chi2ContingencyResult(statistic=3.1764705882352944, pvalue=0.07470593331213068, dof=1, expected_freq=array([[85., 15.],
       [85., 15.]]))

# 교차표 테이블 (리스트 형태)

df = [[80, 20], [90, 10]]

from scipy import stats

stats.chi2_contingency(df)

# 교차표 테이블 (로우 데이터 형태)

import pandas as pd

data = {

'언어': ['R']*100 + ['Python']*100,

'합격여부': ['합격']*80 + ['불합격']*20 + ['합격']*90 + ['불합격']*10

}

df = pd.DataFrame(data)

print(df.sample(10))

df = pd.crosstab(df['언어'], df['합격여부'])

print(df)

from scipy import stats

stats.chi2_contingency(df)

3. 수치형 데이터 분석

상관관계 : 두 변수 간의 선형 관계
- 상관계수, -1(강한 음의 선형관계) ≤ r ≤ 1(강한 양의 선형관계)
- df.corr() 피어슨 / df.corr(method='spearman') 스피어맨 / df.corr(method='kendall) 켄달타우
- 귀무가설: 두 변수 간에 상관관계가 없다 / 대립가설: 두 변수 간에 상관관계가 있다
- stats.pearsonr(x,y) 피어슨 / stats.spearmanr(x,y) 스피어맨 / stats.kendalltau(x,y) 켄달타우

회귀분석
1) 단순 선형 회귀분석 : 독립변수 1개
- 최소제곱법(OLS) : 잔차들의 제곱합, ols('종속변수명 ~ 독립변수명', data=df).fit() / 잔차=실제값-예측값
- model.summary() 회귀모델 통계적 요약
- model.predict() 예측값
- model.get_prediction() 예측값 및 예측값에 대한 신뢰구간/예측구간
2) 다중 선형 회귀분석 : 독립변수 2개 이상
- ols('종속변수명 ~ 독립변수명1+독립변수명2...', data=df).fit()
- 범주형 변수는 원핫인코딩 처리, pd.get_dummies(drop_first=True)

분산분석(ANOVA) : 3개 이상의 집단 간의 평균 차이를 통계적으로 유의한지 검정
1) 일원 분산분석(One-way) : 하나의 요인, 3개 이상의 집단
- 독립성, 정규성(샤피로 검정), 등분산성(모든 집단은 동일한 분산을 가짐, 레빈 검정)을 만족
- 귀무가설: 모든 집단의 평균은 같다 / 대립가설: 적어도 한 집단의 평균은 다르다
- 3개 이상의 독립 표본 → (Y) 정규성 검정 → (Y) 등분산 검정 → (Y) 일원 분산분석 → (사후) Tukey HSD, Bonferroni
→ (N) Kruskal-Walls
- 사이파이 f_oneway(샘플1, 샘플2, ...) / 스테츠모델즈 anova_lm(ols('종속변수~요인', data=df).fit())
2) 이원 분산분석(Two-way) : 두 개의 요인, 3개 이상의 집단
- 독립성, 정규성(샤피로 검정), 등분산성(모든 집단은 동일한 분산을 가짐, 레빈 검정)을 만족
- 귀무가설: 모든 그룹의 첫 번째 요인의 평균은 동일하다 / 대립가설: 적어도 두 그룹은 첫 번째 요인의 평균은 다르다
- 귀무가설: 두 요인의 그룹 간에 상호작용은 없다 / 대립가설: 두 요인의 그룹 간에 상호작용은 있다
- 3개 이상의 독립 표본 → (Y) 정규성 검정 → (Y) 등분산 검정 → (Y) 이원 분산분석 → (사후) Tukey HSD, Bonferroni
- 스테츠모델즈 anova_lm(ols('종속변수~C(요인1)*C(요인2)', data=df).fit())

1) 상관관계

문1-1) 키와 몸무게의 상관계수를 구하시오.

           키      몸무게
키    1.00000  0.91139
몸무게  0.91139  1.00000
0.9113904891835424
       키  몸무게
키    1.0  0.9
몸무게  0.9  1.0

문1-2) 키와 몸무게의 상관계수에 대한 t검정

PearsonRResult(statistic=0.9113904891835424, pvalue=0.031238931097958774)
SignificanceResult(statistic=0.8999999999999998, pvalue=0.03738607346849874)

2) 단순 선형 회귀분석

문2-1) 키(종속변수)와 몸무게(독립변수) 데이터로 회귀모델을 구축하고, 각 문제의 값을 구하시오.

import pandas as pd

df = pd.DataFrame({

'키': [150, 160, 170, 175, 165, 155, 172, 168, 174, 158, 162, 173, 156, 159, 167, 163, 171, 169, 176, 161],

'몸무게': [74, 50, 70, 64, 56, 48, 68, 60, 65, 52, 54, 67, 49, 51, 58, 55, 69, 61, 66, 53]

})

from statsmodels.formula.api import ols

model = ols('키 ~ 몸무게', data=df).fit()

print(model.summary()) # R-squared 결정계수, Intercept 절편, coef 회귀계수, t 검정통계량, P-value, 신뢰구간

                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      키   R-squared:                       0.280
Model:                            OLS   Adj. R-squared:                  0.240
Method:                 Least Squares   F-statistic:                     6.984
Date:                Wed, 23 Oct 2024   Prob (F-statistic):             0.0165
Time:                        14:25:43   Log-Likelihood:                -64.701
No. Observations:                  20   AIC:                             133.4
Df Residuals:                      18   BIC:                             135.4
Df Model:                           1                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept    135.8209     11.211     12.115      0.000     112.268     159.374
몸무게            0.4938      0.187      2.643      0.017       0.101       0.886
==============================================================================
Omnibus:                       26.498   Durbin-Watson:                   1.317
Prob(Omnibus):                  0.000   Jarque-Bera (JB):               46.624
Skew:                          -2.181   Prob(JB):                     7.51e-11
Kurtosis:                       9.076   Cond. No.                         464.
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

print(model.rsquared) # 결정계수 0.28

print(model.params['몸무게']) # 기울기(회귀계수) 0.4938

print(model.params['Intercept']) # 절편(회귀계수) 135.8209

print(model.pvalues['몸무게']) # pvalue(몸무게의 회귀계수가 통계적으로 유의한지) 0.017

# 신뢰구간 0.101 0.886

print(model.predict(pd.DataFrame({'몸무게':[50]}))) # 예측값(몸무게가 50일 때 예측키) 160.5

pred = model.get_prediction(pd.DataFrame({'몸무게':[50]}))

print(pred.summary_frame(alpha=0.05)) # 예측값에 대한 신뢰구간 155 ~ 165 / 예측구간 146 ~ 174

0.27954323113299584
0.49376558603491283
135.8209476309227
0.01654013445316978
0    160.509227
dtype: float64

mean mean_se mean_ci_lower mean_ci_upper obs_ci_lower obs_ci_upper

160.509227

2.291332

155.695318

165.323136

146.068566

174.949888

755.9032418952607
37.79516209476303
37.79516209476303

3-1) 다중 선형 회귀분석

문3-1) 매출액(종속변수), 광고비/플랫폼(독립변수) 데이터로 회귀모델을 구축하고, 각 문제의 값을 구하시오.

import pandas as pd

df = pd.DataFrame({

'매출액': [300, 320, 250, 360, 315, 328, 310, 335, 326, 280, 290, 300, 315, 328, 310, 335, 300, 400, 500, 600],

'광고비': [70, 75, 30, 80, 72, 77, 70, 82, 70, 80, 68, 90, 72, 77, 70, 82, 40, 20, 75, 80],

'플랫폼': [15, 16, 14, 20, 19, 17, 16, 19, 15, 20, 14, 5, 16, 17, 16, 14, 30, 40, 10, 50],

'투자':[100, 0, 200, 0, 10, 0, 5, 0, 20, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

})

print(df.head(3))

from statsmodels.formula.api import ols

model = ols('매출액 ~ 광고비 + 플랫폼', data=df).fit()

print(model.summary())

   매출액  광고비  플랫폼   투자
0  300   70   15  100
1  320   75   16    0
2  250   30   14  200
                            OLS Regression Results                            
==============================================================================
Dep. Variable:                    매출액   R-squared:                       0.512
Model:                            OLS   Adj. R-squared:                  0.454
Method:                 Least Squares   F-statistic:                     8.907
Date:                Wed, 23 Oct 2024   Prob (F-statistic):            0.00226
Time:                        14:51:21   Log-Likelihood:                -108.22
No. Observations:                  20   AIC:                             222.4
Df Residuals:                      17   BIC:                             225.4
Df Model:                           2                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept    101.0239     71.716      1.409      0.177     -50.284     252.331
광고비            1.8194      0.807      2.255      0.038       0.117       3.522
플랫폼            5.9288      1.430      4.147      0.001       2.912       8.945
==============================================================================
Omnibus:                       30.534   Durbin-Watson:                   1.354
Prob(Omnibus):                  0.000   Jarque-Bera (JB):               64.655
Skew:                           2.444   Prob(JB):                     9.13e-15
Kurtosis:                      10.327   Cond. No.                         401.
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

print(model.params['광고비']) # 회귀계수(광고비) 1.8194

print(model.params['플랫폼']) # 회귀계수(플랫폼) 5.9288

print(model.params['Intercept']) # 회귀계수(절편) 101.0239

print(model.pvalues['광고비']) # pvalue(광고비 회귀계수가 통계적으로 유의한지) 0.038

print(model.pvalues['플랫폼']) # pvalue(플랫폼 회귀계수가 통계적으로 유의한지) 0.001

print(model.conf_int(alpha=0.05)) # 95% 신뢰구간, 광고비: 0.117 ~ 3.522 / 플랫폼: 2.912 ~ 8.945

newdata = pd.DataFrame({

'광고비':[50],

'플랫폼':[20]

})

print(model.predict(newdata)) # 매출액 예측값(광고비 50, 플랫폼 20일 때) 310.57033

pred = model.get_prediction(newdata)

print(pred.summary_frame(alpha=0.05)) # 예측값에 대한 신뢰구간 268 ~ 352 / 예측구간 179 ~ 441

0.5116964327009041
1.8194269419344642
5.928755546950749
101.02387228241548
0.03764350647695994
0.0006746810554564365
0    310.57033
dtype: float64
                   0           1
Intercept -50.283684  252.331429
광고비         0.116785    3.522069
플랫폼         2.912406    8.945105
        mean    mean_se  mean_ci_lower  mean_ci_upper  obs_ci_lower  \
0  310.57033  19.887098     268.612221      352.52844    179.700104   

   obs_ci_upper  
0    441.440556

58686.17827156107
2934.3089135780533

3-2) 다중 선형 회귀분석 (범주형 변수)

import pandas as pd

df = pd.DataFrame({

'매출액': [300, 320, 250, 360, 315, 328, 310, 335, 326, 280, 290, 300, 315, 328, 310, 335, 300, 400, 500, 600],

'광고비': [70, 75, 30, 80, 72, 77, 70, 82, 70, 80, 68, 90, 72, 77, 70, 82, 40, 20, 75, 80],

'플랫폼': [15, 16, 14, 20, 19, 17, 16, 19, 15, 20, 14, 5, 16, 17, 16, 14, 30, 40, 10, 50],

'투자':[100, 0, 200, 0, 10, 0, 5, 0, 20, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],

'유형':['B','B','C','A','B','B','B','B','B','B','C','B','B','B','B','B','B','A','A','A']

})

from statsmodels.formula.api import ols

model = ols('매출액 ~ 광고비 + 유형', data=df).fit() # 자동으로 원핫인코딩 실시함

print(model.summary())

                            OLS Regression Results                            
==============================================================================
Dep. Variable:                    매출액   R-squared:                       0.720
Model:                            OLS   Adj. R-squared:                  0.667
Method:                 Least Squares   F-statistic:                     13.70
Date:                Wed, 23 Oct 2024   Prob (F-statistic):           0.000110
Time:                        15:06:35   Log-Likelihood:                -102.67
No. Observations:                  20   AIC:                             213.3
Df Residuals:                      16   BIC:                             217.3
Df Model:                           3                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------
Intercept    400.6463     47.477      8.439      0.000     300.000     501.292
유형[T.B]     -160.2695     26.756     -5.990      0.000    -216.991    -103.548
유형[T.C]     -180.1103     40.883     -4.406      0.000    -266.778     -93.443
광고비            1.0095      0.652      1.548      0.141      -0.373       2.392
==============================================================================
Omnibus:                        9.726   Durbin-Watson:                   1.496
Prob(Omnibus):                  0.008   Jarque-Bera (JB):               16.186
Skew:                          -0.147   Prob(JB):                     0.000306
Kurtosis:                       7.397   Cond. No.                         382.
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

4) 일원 분산분석

문4-1) 학생 40명을 무작위로 4개(A, B, C, D) 그룹으로 나누고, 다른 교육 방법을 적용했다.
학점 결과가 교육 방법에 따른 차이가 있는지 유의수준 0.05에서 검정하시오.
- 귀무가설(H0): 4가지 교육 방법에 의한 학생들의 학점 평균은 동일하다.
- 대립가설(H1): 적어도 두 그룹의 학점 평균은 다르다.

# 정규성 검정 (Shapiro-Wilk)

print(stats.shapiro(df['A'])) # 귀무가설 채택(즉, 정규분포 만족)

print(stats.shapiro(df['B'])) # 귀무가설 채택(즉, 정규분포 만족)

print(stats.shapiro(df['C'])) # 귀무가설 채택(즉, 정규분포 만족)

print(stats.shapiro(df['D'])) # 귀무가설 채택(즉, 정규분포 만족)

# 등분산 검정 (Levene)

print(stats.levene(df['A'], df['B'], df['C'], df['D'])) # 귀무가설 채택(즉, 등분산 만족)

# 일원 분산분석 (사이파이)

print(stats.f_oneway(df['A'], df['B'], df['C'], df['D'])) # 귀무가설 기각

ShapiroResult(statistic=0.9498823422157768, pvalue=0.667108682193412)
ShapiroResult(statistic=0.9346447100990081, pvalue=0.495096931740429)
ShapiroResult(statistic=0.9871342658078467, pvalue=0.9919546177620264)
ShapiroResult(statistic=0.9752339025839639, pvalue=0.9346854448707619)
LeveneResult(statistic=1.5433829973707245, pvalue=0.22000894224209636)
F_onewayResult(statistic=7.2969837587007, pvalue=0.0006053225519892207)

# 스테츠모델즈

from statsmodels.formula.api import ols

from statsmodels.stats.anova import anova_lm

model = ols('value ~ variable', data=df_melt).fit()

anova_lm(model)

from scipy import stats

from statsmodels.stats.multicomp import pairwise_tukeyhsd, MultiComparison

# Tukey HSD (투키)

tukey_result = pairwise_tukeyhsd(df_melt['value'], df_melt['variable'], alpha=0.05)

print(tukey_result.summary()) # reject-True는 해당 그룹 간에 유의미한 차이가 있다는 의미

# Bonferroni (본페로니)

mc = MultiComparison(df_melt['value'], df_melt['variable'])

bon_result = mc.allpairtest(stats.ttest_ind, method='bonf')

print(bon_result[0]) # pval, pval_corr을 모두 0.05보다 작아야 True임 (더 까다로운 조건)

Multiple Comparison of Means - Tukey HSD, FWER=0.05 
====================================================
group1 group2 meandiff p-adj   lower   upper  reject
----------------------------------------------------
     A      B     0.41 0.0397  0.0146  0.8054   True
     A      C     0.09 0.9273 -0.3054  0.4854  False
     A      D    -0.27 0.2722 -0.6654  0.1254  False
     B      C    -0.32 0.1483 -0.7154  0.0754  False
     B      D    -0.68 0.0003 -1.0754 -0.2846   True
     C      D    -0.36 0.0852 -0.7554  0.0354  False
----------------------------------------------------
Test Multiple Comparison ttest_ind 
FWER=0.05 method=bonf
alphacSidak=0.01, alphacBonf=0.008
=============================================
group1 group2   stat   pval  pval_corr reject
---------------------------------------------
     A      B -2.7199  0.014    0.0843  False
     A      C  -0.515 0.6128       1.0  False
     A      D  1.7538 0.0965    0.5788  False
     B      C  2.2975 0.0338    0.2028  False
     B      D  6.0686    0.0    0.0001   True
     C      D  2.5219 0.0213    0.1279  False
---------------------------------------------

문4-2) 비모수 검정

from scipy import stats

df = pd.DataFrame({

'A': [10.5, 11.3, 10.8, 10.6, 11.1, 10.2, 10.9, 11.4, 10.5, 10.3],

'B': [10.9, 11.4, 11.1, 11.2, 11.5, 10.8, 11.2, 10.9, 11.4, 11.3],

'C': [10.2, 10.7, 10.6, 10.9, 11.3, 11.1, 10.8, 10.5, 11.4, 11.0],

'D': [13.8, 10.4, 10.1, 10.5, 10.6, 10.9, 10.2, 10.7, 10.3, 10.4]

})

# 정규성 검정

print(stats.shapiro(df['A']))

print(stats.shapiro(df['B']))

print(stats.shapiro(df['C']))

print(stats.shapiro(df['D'])) # 0.05보다 작아, 정규분포를 따르지 않음

# Kruskal-Wallis 검정 (정규성을 만족하지 못할 경우에 사용)

print(stats.kruskal(df['A'], df['B'], df['C'], df['D']))

ShapiroResult(statistic=0.9498823422157767, pvalue=0.6671086821934112)
ShapiroResult(statistic=0.9346447100990083, pvalue=0.49509693174043135)
ShapiroResult(statistic=0.9871342658078467, pvalue=0.9919546177620264)
ShapiroResult(statistic=0.5759975003447693, pvalue=2.8656624682936833e-05)

KruskalResult(statistic=11.183607021517561, pvalue=0.010773365310213669)

5) 이원 분산분석

문5-1) 토마토 종자(A~D)에 대해 3가지 종류의 비료(11~13)를 사용하여 재배된 토마토 수를 조사하였다.
종자 및 비료 종류 간의 토마토 수에 차이가 있는지 유의수준 0.05에서 검정하시오. (단, 정규성, 등분산성 만족)
- (종자/비료) 귀무가설(H0): 종자/비료 간의 토마토 수에 차이가 없다.
- (종자/비료) 대립가설(H1): 적어도 하나의 종자/비료에서 토마토 수에 차이가 있다.
- (상호작용) 귀무가설(H0): 종자와 비료 간의 상호작용은 토마토 수에 영향을 미치지 않는다.
- (상호작용) 대립가설(H1): 종자와 비료 간의 상호작용은 토마토 수에 영향을 미친다.

from statsmodels.formula.api import ols

from statsmodels.stats.anova import anova_lm

model = ols('토마토수 ~ C(종자) + C(비료) + C(종자):C(비료)', data=df).fit() # 범주형 데이터 처리 - C(독립변수)

print(anova_lm(model))

# 지수표기법 → 일반표기법으로 format 변경

print(format(7.254117e-10, '.10f')) # 종자는 토마토수에 차이가 있다

print(format(1.835039e-03, '.10f')) # 비료는 토마토수에 차이가 있다

print(format(2.146636e-01, '.10f')) # 종자와 비료 간의 상호작용은 토마토수에 영향을 미치지 않는다

                df       sum_sq      mean_sq          F        PR(>F)
C(종자)          3.0  4801.000000  1600.333333  18.757977  7.254117e-10
C(비료)          2.0  1140.316667   570.158333   6.682993  1.835039e-03
C(종자):C(비료)    6.0   725.350000   120.891667   1.417007  2.146636e-01
Residual     108.0  9214.000000    85.314815        NaN           NaN
0.0000000007
0.0018350390
0.2146636000

# 사후검정(어떤 그룹들 간에 유의미한 차이가 있는지 구체적으로 확인하는 것, 분산분석 결과가 0,05보다 작은 경우 사용)

from scipy import stats

from statsmodels.stats.multicomp import pairwise_tukeyhsd, MultiComparison

# Tukey HSD

tukey_summary1 = pairwise_tukeyhsd(df['토마토수'], df['종자'], alpha=0.05)

tukey_summary2 = pairwise_tukeyhsd(df['토마토수'], df['비료'].astype(str), alpha=0.05)

print(tukey_summary1) # reject-True의 종자 그룹 간에 차이가 있다는 의미

print(tukey_summary2) # reject-True의 비료 그룹 간에 차이가 있다는 의미

# Bonferroni

mc = MultiComparison(df['토마토수'], df['종자'])

bon_result = mc.allpairtest(stats.ttest_ind, method='bonf', alpha=0.05)

print(bon_result[0]) # reject-True의 종자 그룹 간에 차이가 있다는 의미

mc = MultiComparison(df['토마토수'], df['비료'].astype(str))

bon_result = mc.allpairtest(stats.ttest_ind, method='bonf', alpha=0.05)

print(bon_result[0]) # reject-True의 비료 그룹 간에 차이가 있다는 의미

Multiple Comparison of Means - Tukey HSD, FWER=0.05 
====================================================
group1 group2 meandiff p-adj   lower   upper  reject
----------------------------------------------------
     A      B   5.7333 0.1106 -0.8444  12.311  False
     A      C     12.1    0.0  5.5223 18.6777   True
     A      D     16.7    0.0 10.1223 23.2777   True
     B      C   6.3667 0.0616  -0.211 12.9444  False
     B      D  10.9667 0.0002   4.389 17.5444   True
     C      D      4.6 0.2679 -1.9777 11.1777  False
----------------------------------------------------
Multiple Comparison of Means - Tukey HSD, FWER=0.05 
====================================================
group1 group2 meandiff p-adj   lower   upper  reject
----------------------------------------------------
    11     12    0.175 0.9973 -5.7831  6.1331  False
    11     13    6.625 0.0254  0.6669 12.5831   True
    12     13     6.45 0.0305  0.4919 12.4081   True
----------------------------------------------------
Test Multiple Comparison ttest_ind 
FWER=0.05 method=bonf
alphacSidak=0.01, alphacBonf=0.008
=============================================
group1 group2   stat   pval  pval_corr reject
---------------------------------------------
     A      B -2.3457 0.0224    0.1346  False
     A      C -4.9096    0.0       0.0   True
     A      D -7.0162    0.0       0.0   True
     B      C -2.3944 0.0199    0.1194  False
     B      D -4.2491 0.0001    0.0005   True
     C      D -1.7691 0.0821    0.4928  False
---------------------------------------------
Test Multiple Comparison ttest_ind 
FWER=0.05 method=bonf
alphacSidak=0.02, alphacBonf=0.017
=============================================
group1 group2   stat   pval  pval_corr reject
---------------------------------------------
    11     12 -0.0691 0.9451       1.0  False
    11     13 -2.8722 0.0052    0.0157   True
    12     13  -2.411 0.0183    0.0548  False
---------------------------------------------

4. 오즈비

오즈(Odds) : 어떤 사건이 발생할 확률과 발생하지 않을 확률의 비율 (오즈 = 발생 확률 / 발생하지 않을 확률)
오즈비(Odds Ratio, OR) : 로지스틱 회귀분석에서 독립변수의 계수를 exp() 함수에 넣어 산출한 값 (= exp(독립변수의 계수))
독립변수가 한 단위 증가할 때, 종속변수(0 또는 1)가 1(사건 발생)이 될 확률의 변화
- 오즈비 > 1 → 독립변수 값이 증가하면 → 종속변수 확률이 증가함
- 오즈비 < 1 → 독립변수 값이 증가하면 → 종속변수 확률이 감소함
(예, 오즈비 = 2, 독립변수가 1단위 증가하면 종속변수 확률이 2배가 됨 / 형제자매가 많을수록 생존확률이 증가함)

from statsmodels.formula.api import logit

import numpy as np

model = logit("종속변수 ~ 독립변수", data=데이터).fit() # 로지스틱 회귀 모델 생성 및 학습

print(model.summary()) # 독립변수 계수 확인

오즈비 = exp(독립변수의 계수) # 오즈비 계산

5. GLM

선형 회귀 모델을 확장한 것
종속변수의 분포가 정규분포 외에 다른 분포(이항분포, 포아송분포 등)를 따르는 경우에도 적용할 수 있음
잔차 이탈도(Residual Deviance) 값은 glm summary에서 제공함 (logit summary에는 없음)

from statsmodels.formula.api import glm

import statsmodels.api as sm

# glm 모델 적합 (로지스틱 회귀를 위해 이항분포 사용)

formula = "종속변수 ~ 독립변수"

model = glm(formula, data=데이터, family=sm.families.Binomial()).fit()

print(model.summary()) # 잔차 이탈도 확인

# 오류율 = (잘못 분류된 샘플 수) / (전체 샘플 수)

# 오류율 = 1 - accuracy

[빅데이터분석기사/실기] 제2유형. 모의문제

✨️데이터분석가✨️ — Sun, 8 Jun 2025 01:26:14 +0900

제2유형 모의문제 입니다.

총 3문제이며, 모두 다른 유형의 문제이니 다 풀어보시는 것을 추천드립니다.

문1. 분류 (신용카드를 떠나는 고객을 찾아라)

1) 데이터 불러오기

import pandas as pd

train = pd.read_csv(" ~ ")

test = pd.read_csv(" ~ ")

2) 데이터 확인하기

print(train.shape, test.shape)

print(train.head())

print(test.head())

print(train.info())

print(train['Attrition_Flag'].value_counts()) # target 값의 분포

print(train.isnull().sum())

print(test.isnull().sum())

3) 데이터 전처리

cols = train.select_dtypes(include='object').columns # baseline (object 타입 항목 제외)

cols

print(train.shape, test.shape)

#train = train.drop(cols, axis=1) # object 항목 삭제 / 대입없이 사용하는 동일쿼리 train.drop(cols, axis=1, inplace=True)

#test = test.drop(cols, axis=1)

print(train.shape, test.shape)

train = train.drop('CLIENTNUM', axis=1) # ID로 데이터와 연관없는 항목임

test_id = test.pop('CLIENTNUM') # test의 ID는 제출시에 필요해서 pop으로 복사해서 test_id에 저장

(8101, 21) (2026, 20)
(8101, 21) (2026, 20)

4) 피처엔지니어링

# 라벨 인코딩 (위 drop 2줄만 제외하고 다시 실행)

from sklearn.preprocessing import LabelEncoder

for col in cols:

le = LabelEncoder()

train[col] = le.fit_transform(train[col])

test[col] = le.transform(test[col])

train[cols].head()

# 원핫 인코딩 (위 drop 2줄, 라벨 인코딩 제외하고 다시 실행)

train = pd.get_dummies(train, columns=cols)

test = pd.get_dummies(test, columns=cols)

5) 검증 데이터 분리

from sklearn.model_selection import train_test_split

X_tr, X_val, y_tr, y_val = train_test_split(

train.drop('Attrition_Flag', axis=1), train['Attrition_Flag'], test_size=0.2, random_state=2022

)

X_tr.head()

6) 랜덤포레스트 분류 모델

array([0, 0, 0, ..., 0, 0, 0])

7) 평가지표

from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score

print(accuracy_score(y_val, pred)) # 정확도

print(precision_score(y_val, pred)) # 정밀도

print(recall_score(y_val, pred)) # 재현율(민감도)

print(f1_score(y_val , pred)) # F1 score

pred = model.predict_proba(X_val) # roc-auc

print(roc_auc_score(y_val, pred[:,1]))

# baseline

# 0.9666872301048736

# 0.9444444444444444

# 0.8435114503816794

# 0.8911290322580645

# 0.9894048160692921

# label (가장 좋음, baseline보다 높으면 좋음)

# 0.9685379395434917

# 0.948936170212766

# 0.851145038167939

# 0.89738430583501

# 0.9899707351049547

# one-hot (가장 안 좋음)

# 0.9605181986428131

# 0.9419642857142857

# 0.8053435114503816

# 0.8683127572016461

# 0.9885945548197205

8) 예측 및 csv 제출

pred = model.predict_proba(test)

submit = pd.DataFrame({

'CLIENTNUM':test_id,

'Attrition_Flag':pred[:,1]

})

submit.to_csv('00000.csv', index=False)

pd.read_csv("00000.csv") # 파일 확인

문2. 회귀 (에어비앤비 가격)

1) 데이터 불러오기

import pandas as pd

train = pd.read_csv(" ~ ")

test = pd.read_csv(" ~ ")

2) 데이터 확인하기

print(train.shape, test.shape)

print(train.head(3))

print(test.head(3))

print(train.isnull().sum())

print(test.isnull().sum())

print(train['price'].describe()) # 분포 확인

print(train.info()) # 타입 확인

3) 데이터 전처리

cols = ['name', 'host_name', 'last_review', 'host_id'] # 결측치 컬럼 삭제

print(train.shape)

train = train.drop(cols, axis=1)

test = test.drop(cols, axis=1)

print(train.shape)

train = train.drop('id', axis=1) # 데이터와 관련 없는 id 컬럼 삭제

test_id = test.pop('id')

train['reviews_per_month'] = train['reviews_per_month'].fillna(0) # 결측치 0으로 보정

test['reviews_per_month'] = test['reviews_per_month'].fillna(0)

train.isnull().sum()

(39116, 16)
(39116, 12)

4) 피처엔지니어링

# 라벨 인코딩 (object 타입을 라벨로 변경)

cols =['neighbourhood_group', 'neighbourhood', 'room_type']

from sklearn.preprocessing import LabelEncoder

for col in cols:

le = LabelEncoder()

train[col] = le.fit_transform(train[col])

test[col] = le.transform(test[col])

train[cols]

5) 검증 데이터 분리

from sklearn.model_selection import train_test_split

X_tr, X_val, y_tr, y_val = train_test_split(train.drop('price', axis=1), train['price'], test_size=0.15, random_state=2022)

X_tr.head()

6) 평가지표

import numpy as np

from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error

def rmse(y_test, y_pred): # RMSE

return np.sqrt(mean_squared_error(y_test, y_pred))

def rmsle(y_test, y_pred): # RMSLE

return np.sqrt(np.mean(np.power(np.log1p(y_test) - np.log1p(y_pred), 2)))

def mape(y_test, y_pred): # MAPE

return np.mean(np.abs((y_test - y_pred) / y_test)) * 100

7) 선형회귀

r2:  0.08443940934632932
mae:  74.00660016028452
mse:  44817.58349299408
rmse:  211.7016379081515
rmsle:  0.6341218108203222
mape:  58.97544770577991

8) 릿지

0.08449983846382447
r2:  0.08449983846382447
mae:  73.96841697454546
mse:  44814.625428780324
rmse:  211.69465139388933
rmsle:  0.624550834150591
mape:  58.93648696395185

9) 라쏘

r2:  0.07707144198918314
mae:  74.75696045484243
mse:  45178.25267816161
rmse:  212.55176470253454
rmsle:  0.6275723008930043
mape:  60.91168715198994

10) 랜덤포레스트

r2:  0.24029689715169567
mae:  65.38766246307658
mse:  37188.20751937533
rmse:  192.84244221481777
rmsle:  0.49140644777864845
mape:  45.72220287985546

11) XGBRegressor

r2:  0.1418973207473755
mae:  69.43030765665861
mse:  42004.95546462088
rmse:  204.95110505830624
rmsle:  0.54789599862578
mape:  50.834984242418045

12) 예측 및 csv 제출

pred = model.predict(test)

pd.DataFrame({'id':test_id, 'output':pred}).to_csv("22222.csv", index=False)

pd.read_csv("22222.csv")

문3. 분류 (심장마비 확률이 높은 사람)

1) 데이터 불러오기

import pandas as pd

train = pd.read_csv(" ~ ")

test = pd.read_csv(" ~ ")

2) 데이터 확인하기

print(train.shape, test.shape)

print(train.head(3))

print(test.head(3))

print(train['output'].value_counts()) # 분포 확인

print(train.isnull().sum())

print(test.isnull().sum())

print(train.describe())

print(train.info())

print(train.nunique())

3) 데이터 전처리

train = train.drop('id', axis=1)

test_id = test.pop('id')

test.head()

4) 검증 데이터 분리

from sklearn.model_selection import train_test_split

X_tr, X_val, y_tr, y_val = train_test_split(train.drop('output', axis=1), train['output'], test_size=0.15, random_state=2022)

X_tr.head()

5) 모델 및 평가

from sklearn.ensemble import RandomForestClassifier # 모델

rf = RandomForestClassifier(random_state=2022, max_depth=5, n_estimators=200)

rf.fit(X_tr, y_tr)

pred = rf.predict(X_val)

pred_proba = rf.predict_proba(X_val)

from sklearn.metrics import roc_auc_score, f1_score, accuracy_score # 평가

print(roc_auc_score(y_val, pred_proba[:,1]))

print(f1_score(y_val, pred))

print(accuracy_score(y_val, pred))

# 기본

# 0.9301242236024845

# 0.7906976744186046

# 0.7567567567567568

# max_depth=3

# 0.9378881987577639

# 0.8636363636363636

# 0.8378378378378378

# max_depth=5

# 0.9409937888198757

# 0.8444444444444444

# 0.8108108108108109

# max_depth=5, n_estimators=200 (가장 값이 높아서, 확정)

# 0.9440993788819876

# 0.8444444444444444

# 0.8108108108108109

6) xgb

from xgboost import XGBClassifier

xgb = XGBClassifier(random_state=2022, max_depth=5, n_estimators=400, learning_rate=0.01)

# xgb는 n_estimators와 learning_rate 같이 사용 (값은 반비례로)

xgb.fit(X_tr, y_tr)

pred = xgb.predict(X_val)

pred_proba = xgb.predict_proba(X_val)

print(roc_auc_score(y_val, pred_proba[:,1]))

print(f1_score(y_val, pred))

print(accuracy_score(y_val, pred))

# 기본

# 0.9192546583850931

# 0.8444444444444444

# 0.8108108108108109

# max_depth=5

# 0.906832298136646

# 0.8181818181818182

# 0.7837837837837838

# max_depth=5, n_estimators=400, learning_rate=0.01

# 0.9161490683229814

# 0.8372093023255814

# 0.8108108108108109

7) 예측 및 csv 제출

pred_proba = xgb.predict_proba(test)

pd.DataFrame({'id':test_id, 'output':pred_proba[:,1]}).to_csv("33333.csv", index=False)

pd.read_csv("33333.csv")

[빅데이터분석기사/실기] 제2유형. 머신러닝 및 평가지표

dataslog.tistory.com

[빅데이터분석기사/실기] 제2유형. 평가지표

dataslog.tistory.com

[빅데이터분석기사/실기] 제2유형. 평가지표

✨️데이터분석가✨️ — Sun, 8 Jun 2025 01:00:20 +0900

제2유형 평가지표에 대한 내용입니다.

통계에 대한 내용이라 비전공자는 다소 어렵기 때문에 그냥 통째로 암기!ㅎㅎ

1. 이진분류 평가지표(0과 1로 이루어진 데이터)

import pandas as pd

from sklearn.ensemble import RandomForestClassifier

# train 데이터

train = pd.DataFrame({

'f1': [2, 3, 5, 7, 11, 13, 17, 19, 23, 29],

'f2': [30, 28, 26, 24, 22, 20, 18, 16, 14, 12],

'target': ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B']

})

# test 데이터

test = pd.DataFrame({

'f1': [7, 9, 15],

'f2': [23, 18, 26]

})

# target 데이터 분리

target = train.pop('target')

# 머신러닝 학습 및 예측

clf = RandomForestClassifier(random_state=0)

clf.fit(train, target)

pred = clf.predict(test)

print(pred)

['B' 'A' 'A']

2. 머신러닝 예시 코드(predict)

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import accuracy_score

train = pd.DataFrame({

'f1': [2, 3, 5, 7, 11, 13, 17, 19, 23, 29],

'f2': [30, 28, 26, 24, 22, 20, 18, 16, 14, 12],

'target': ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B']

})

# 검증 데이터 30% 분리

target = train.pop('target')

X_train, X_val, y_train, y_val = train_test_split(train, target, test_size=0.3, random_state=0)

# 머신러닝 학습 및 X_val 데이터로 예측

clf = RandomForestClassifier(random_state=0)

clf.fit(X_train, y_train)

y_pred = clf.predict(X_val) # predict

print("val:", y_pred) # 예측값

print("정확도:", accuracy_score(y_val, y_pred)) # 정확도 평가

# test 데이터로 예측한 결과

test = pd.DataFrame({

'f1': [7, 9, 15],

'f2': [23, 18, 26]

})

pred = clf.predict(test)

print("test:", pred)

val: ['A' 'A' 'A']
정확도: 0.6666666666666666
test: ['B' 'A' 'A']

3. 이진분류 데이터의 정확도

숫자 데이터 정확도: 0.6
문자 데이터 정확도: 0.6

4. F1 Score⭐

숫자 데이터 F1 스코어: 0.6
문자 데이터 F1 스코어: 0.6

5. 머신러닝 예시 코드(predict_proba)

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import roc_auc_score

df = pd.DataFrame({

'f1': [2, 3, 5, 7, 11, 13, 17, 19, 23, 29],

'f2': [30, 28, 26, 24, 22, 20, 18, 16, 14, 12],

'target': ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B']

})

target = df.pop('target')

X_train, X_val, y_train, y_val = train_test_split(df, target, test_size=0.5, random_state=0)

clf = RandomForestClassifier(random_state=42)

clf.fit(X_train, y_train)

y_pred = clf.predict_proba(X_val) # predict_proba

print(y_pred) # 예측값(0일 확률, 1일 확률)

roc_auc_score(y_val, y_pred[:,1]) # 정확도 평가

[[0.32 0.68]
 [1.   0.  ]
 [0.75 0.25]
 [1.   0.  ]
 [0.74 0.26]]

0.25

6. ROC-AUC, 숫자 데이터⭐

import numpy as np

# 실제값 (0: 음성, 1: 양성)

y_true = pd.DataFrame([0, 1, 0, 1, 1, 0, 0, 0, 1, 1])

# 예측값

y_pred_proba = np.array([

[0.8, 0.2], # (0일 확률, 1일 확률)

[0.1, 0.9],

[0.77, 0.23],

[0.6, 0.4],

[0.2, 0.8],

[0.4, 0.6],

[0.6, 0.4],

[0.8, 0.2],

[0.3, 0.7],

[0.4, 0.6]

])

roc_auc = roc_auc_score(y_true, y_pred_proba[:,1]) # (실제값, 양성(1)일 예측값)

print("ROC-AUC:", roc_auc)

ROC-AUC: 0.92

7. ROC-AUC, 문자 데이터

ROC-AUC: 0.92

8. 다중분류 평가지표(여러 값으로 이루어진 데이터)의 정확도

정확도: 0.7
정확도: 0.7

9. F1 Score⭐

F1 스코어: 0.6518518518518518
F1 스코어: 0.6518518518518518

10. 회귀 평가지표

import pandas as pd

y_true = pd.DataFrame([0, 2, 5, 2, 4, 4, 7, 10]) # 실제값

y_pred = pd.DataFrame([1.14, 2.53, 4.87, 3.08, 4.21, 5.53, 7.51, 10.32]) # 예측값

10-1) MSE(Mean Squared Error) → 작을수록 좋음

MSE: 0.6889125

10-2) MAE(Mean Absolute Error) → 작을수록 좋음⭐

MAE: 0.68125

10-3) 결정 계수(R-squared) → 높을수록 좋음(0 < R² < 1)⭐

결정 계수: 0.9207007194244604

10-4) RMSE(Root Mean Squared Error) → 작을수록 좋음⭐

RMSE: 0.830007530086324

[빅데이터분석기사/실기] 제2유형. 머신러닝 및 평가지표

✨️데이터분석가✨️ — Sun, 8 Jun 2025 00:01:41 +0900

제2유형은 머신러닝에 대한 문제이며, 1문제이지만 배점이 40점으로 가장 높습니다.

주어진 라이브러리와 데이터를 불러온 뒤, 데이터 전처리를 거쳐 모델을 학습시키고 평가한 결과를 CSV 코드 형식으로 제출하는 유형입니다.

문제의 난이도가 다소 높은 유형이지만, 전반적인 풀이 방식이 어느 정도 정형화되어 있어,

풀이 방식을 암기하여 충분히 맞출 수 있습니다.

자, 그럼 문제를 풀이 단계별로 확인해 볼까요?

구분	문항 수	답안 제출	점수
제1유형	3문항	전처리 결과 제출	30점
제2유형	1문항	CSV 코드 제출	40점
제3유형	2문항	답안 제출	30점
합계	6문항	-	100점

[0단계] 머신러닝 - 지도학습(분류, 회귀) / 비지도학습(군집, 차원축소) / 강화학습
① 문제 정의 및 데이터 불러오기: 분류/회귀, 예측 컬럼/결과, 평가방식, 최종파일

Train 학습.검증용, Test 평가(예측)용
② 탐색적 데이터 분석(EDA): 데이터 크기, 타입, 분류 비율 등 데이터 확인
③ 데이터 전처리: 결측치 처리, 이상치 처리
④ 피처 엔지니어링: 수치형(min-max 스케일링, 표준화), 범주형(라벨 인코딩, 원핫 인코딩)
⑤ 모델(훈련, 평가 등): 분류 모델, 회귀 모델
⑥ 예측: Test 데이터로 평가해서 예측모델 제출

[1단계] 라이브러리 및 데이터 불러오기

1) 데이터 확인

import pandas as pd

X_train = pd.read_csv(" ~ ")

y_train = pd.read_csv(" ~ ")

X_test = pd.read_csv(" ~ ")

X_train.head() # 상위 5개 추출

X_train.tail() # 하위 5개 추출

X_train.sample(3) # 랜덤 3개 추출

X_train.shape # 행열 개수 추출

X_train.info() # 데이터 타입 확인

X_train.describe() # 수치형 데이터 통계값 확인

X_train.describe(include='object') # 범주형 데이터 통계값 확인

X_train.isnull().sum() # 결측치 확인

y_train['income'].value_counts() # 라벨별 개수 확인

X_train.corr(numeric_only=True) # 상관관계

train = pd.read_csv(" ~ ")

test = pd.read_csv(" ~ ")

train.shape, test.shape # 데이터 크기 확인

bottom = train['income'] == "<=50K" # 하위 소득

female = train['sex'] == "Female"

male = train['sex'] == "Male"

print( len(train[male]), len(train[female]) ) # 남성과 여성의 수

print( len(train[male&top]), len(train[male&bottom]) ) # 남성 중 상위/하위소득 인원 수

print( len(train[male&top])/len(train[male]), len(train[male&bottom])/len(train[male]) ) # 남성 중 상위/하위소득 비율

19578 9726
5976 13602
0.3052405761569108 0.6947594238430892

2) 데이터 합치기

(29304, 16) (29304, 15) (29304, 2)

(29304, 16)

3) 데이터 분리하기

((29304, 15), (29304, 2))

[2단계] 데이터 전처리

test 데이터는 절대 삭제하면 안됨
train 데이터는 데이터가 많을 경우, 소수 데이터를 삭제해도 무방함
test/train 컬럼은 삭제/추가 가능 (단, 컬럼수/컬럼명은 일치해야 함)

1) 중복값/결측치 처리

X_train['workclass'].value_counts() # workclass 값 분포

df = X_train.dropna() # 결측치 있는 데이터(행) 전체 삭제

df = X_train.dropna(subset=['workclass', 'native.country']) # 특정 컬럼의 결측치 데이터(행) 삭제

df = X_train.dropna(axis=1) # 결측치가 있는 컬럼 모두 삭제 (axis=1은 컬럼)

df = X_train.drop(['workclass'], axis=1) # 특정 컬럼 삭제

df = X_train.drop_duplicates() # 중복값 제거

df = X_train.drop_duplicates(subset=['workclass', 'native.country'], keep='last') # 특정 컬럼만 중복값 제거 (last는 뒤에 값을 살림)

X_train['workclass'] = X_train['workclass'].fillna(X_train['workclass'].mode()[0]) # 최빈값으로 결측치 채우기

X_train['occupation'] = X_train['occupation'].fillna('X') # 특정값으로 결측치 채우기

X_train['age'] = X_train['age'].fillna(int(X_train['age'].mean())) # 평균값으로 결측치 채우기

2) 이상치 제외하고 저장

(29304, 15)
(29301, 15)

3) 컬럼별 이상치 개수 확인

age의 이상치: 121개 입니다.
fnlwgt의 이상치: 892개 입니다.
education.num의 이상치: 1077개 입니다.
capital.gain의 이상치: 2459개 입니다.
capital.loss의 이상치: 1359개 입니다.
hours.per.week의 이상치: 8104개 입니다.

[3단계] 피처 엔지니어링

1) Min-Max Scaler (모든 값이 0~1)

obj_train = X_train.select_dtypes(include='object').copy() # object 유형만 저장

num_train = X_train.select_dtypes(exclude='object').copy() # object 외 유형 저장

obj_test = X_test.select_dtypes(include='object').copy()

num_test = X_test.select_dtypes(exclude='object').copy()

cols = ['age', 'fnlwgt', 'education.num', 'capital.gain', 'capital.loss', 'hours.per.week'] # num 유형만 저장

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()

print( num_train.head(2) )

num_train[cols] = scaler.fit_transform(num_train[cols]) # 학습과 변환 작업 진행

num_test[cols] = scaler.transform(num_test[cols]) # 변환 작업만 진행

print( num_train.head(2) ) # Min-Max Sacler 적용된 데이터

      id   age  fnlwgt  education.num  capital.gain  capital.loss  \
0   3331  34.0  177331             10          4386             0   
1  19749  58.0  290661              9             0             0   

   hours.per.week  
0            40.0  
1            40.0  
      id     age    fnlwgt  education.num  capital.gain  capital.loss  \
0   3331  0.5625  0.112092       0.600000       0.04386           0.0   
1  19749  0.7500  0.189060       0.533333       0.00000           0.0   

   hours.per.week  
0        0.397959  
1        0.397959

2) 표준화 (Z-score 정규화, 평균 0 표준편차 1인 표준정규분포로 변환)

      id     age    fnlwgt  education.num  capital.gain  capital.loss  \
0   3331  0.5625  0.112092       0.600000       0.04386           0.0   
1  19749  0.7500  0.189060       0.533333       0.00000           0.0   

   hours.per.week  
0        0.397959  
1        0.397959  
      id       age    fnlwgt  education.num  capital.gain  capital.loss  \
0   3331 -0.334145 -0.117678      -0.031447      0.440284     -0.216045   
1  19749  1.427220  0.956304      -0.420434     -0.146290     -0.216045   

   hours.per.week  
0       -0.035227  
1       -0.035227

3) 로버스트 스케일링 (중앙값과 사분위값 활용, 이상치 영향 최소화)

      id       age    fnlwgt  education.num  capital.gain  capital.loss  \
0   3331 -0.334145 -0.117678      -0.031447      0.440284     -0.216045   
1  19749  1.427220  0.956304      -0.420434     -0.146290     -0.216045   

   hours.per.week  
0       -0.035227  
1       -0.035227  
      id   age    fnlwgt  education.num  capital.gain  capital.loss  \
0   3331 -0.15 -0.008765       0.000000      0.586575           0.0   
1  19749  1.05  0.941358      -0.333333      0.000000           0.0   

   hours.per.week  
0             0.0  
1             0.0

4) 로그 변환

import numpy as np

print(X_train['fnlwgt'][:3])

print(np.log1p(X_train['fnlwgt'])[:3]) # log1p 적용

print(np.exp(np.log1p(X_train['fnlwgt']))) # 다시 원래값으로 변환 (1~2정도 차이는 있음)

0    177331
1    290661
2    125933
Name: fnlwgt, dtype: int64
0    12.085779
1    12.579916
2    11.743513
Name: fnlwgt, dtype: float64
0        177332.0
1        290662.0
2        125934.0
3        100314.0
4        195662.0
           ...   
29299     47169.0
29300    231794.0
29301    201436.0
29302    137723.0
29303    406979.0
Name: fnlwgt, Length: 29304, dtype: float64

5-1) 라벨 인코딩 - 값에 라벨을 붙여서 데이터를 구성 (예, 사과=1, 배=2)

cols = ['workclass', 'education', 'marital.status', 'occupation', 'relationship', 'race', 'sex', 'native.country'] # obj 유형만 저장

from sklearn.preprocessing import LabelEncoder

for col in cols:

le = LabelEncoder()

obj_train[col] = le.fit_transform(obj_train[col])

obj_test[col] = le.transform(obj_test[col])

obj_train.head()

5-2) 원핫 인코딩 - 값을 컬럼으로 생성하여, 데이터는 0(비해당) or 1(해당)로 구성 (예, 사과 컬럼=0, 1, 0, 0)

obj_train.head()

obj_train = pd.get_dummies(obj_train[cols])

obj_test = pd.get_dummies(obj_test[cols])

obj_train.head()

6) 데이터 합치기

cols = list(X_train.columns[X_train.dtypes == object]) # 문자형 데이터만 저장

print(X_train.shape, X_test.shape)

all_df = pd.concat([X_train, X_test]) # 두 데이터를 위 아래로 합침 (asis=0, 기본값)

all_df = pd.get_dummies(all_df[cols]) # 원핫 인코딩

line = int(X_train.shape[0]) # train, test 데이터가 연결된 지점 확인

print(line)

X_train = all_df.iloc[:line,:].copy() # train 데이터만 분리

X_test = all_df.iloc[line:,:].copy() # test 데이터만 분리

print(X_train.shape, X_test.shape)

(29304, 15) (3257, 15)
29304
(29304, 99) (3257, 99)

[4단계] 모델링 및 평가 (분류)

0) 데이터 전처리

cols =['age', 'fnlwgt', 'education.num', 'capital.gain', 'capital.loss', 'hours.per.week'] # 수치형 데이터 저장

print( X_train[cols].isnull().sum() ) # 결측치 확인

X_train = X_train.fillna(0) # 결측치 0으로 보정

X_test = X_test.fillna(0) # 결측치 0으로 보정

print( X_train[cols].isnull().sum() ) # 결측치 확인

y = (y_train['income'] == '>50K').astype(int) # <=50k →0, >50K →1로 변환/ True,False로 만든 후 정수로 변환

1) 랜덤포레스트

from sklearn.ensemble import RandomForestClassifier # 모델 불러오기

rf = RandomForestClassifier()

rf.fit(X_train[cols], y) # 훈련하기

pred = rf.predict(X_test[cols]) # 예측하기

submit = pd.DataFrame(

{

'id':X_test['id'],

'income':pred

}

)

submit.to_csv("11111.csv", index=False) # csv 생성 (index=False, 컬럼명이 있다는 의미)

2) 정확도 모델

0.8090267116978815

3) 학습용/검증용 데이터 분리

((26373, 15), (2931, 15), (26373,), (2931,))

4) 의사결정나무

0.6993277847701769

5) 랜덤포레스트

0.8475316831271521

6) XGBoost

0.8859038904196574

7) 평가용 데이터 >50k일 확률값을 예측한 값을 csv로 저장

# 평가 데이터로 >50k일 확률값을 예측한 값을 csv로 저장

from sklearn.metrics import roc_auc_score

roc_auc_score(y_val, pred[:,1])

pred = xgb.predict_proba(X_test[cols])

submit = pd.DataFrame(

{

'id':X_test['id'],

'income':pred[:,1]

}

)

submit.to_csv("22222.csv", index=False)

[5단계] 모델링 및 평가 (회귀)

0) 데이터 전처리

# 원핫 인코딩

cols = train.select_dtypes(include='object').columns

train = pd.get_dummies(train, columns=cols)

test = pd.get_dummies(test, columns=cols)

# 검증 데이터 분리

from sklearn.model_selection import train_test_split

X_tr, X_val, y_tr, y_val = train_test_split(train.drop('charges',axis=1), train['charges'], test_size=0.15, random_state = 2022)

X_tr.shape, X_val.shape, y_tr.shape, y_val.shape

# 평가 수식

from sklearn.metrics import mean_squared_error

import numpy as np

def rmse(y_test, pred): # 실제값, 예측값

return np.sqrt(mean_squared_error(y_test, pred))

1) LinearRegression → 결과: 5855

5888.05802236533

2) StandardScaler / LinearRegression → 결과: 5855 (차이가 없음)

5888.05802236533

3) RandomForestReggressor → 결과: 4671

4671.528967705076

4) StandardScaler / RandomForestReggressor → 결과: 4732 (안 좋아짐)

4732.311401989539

5) MinMaxScaler / RandomForestReggressor → 결과: 4672 (안 좋아짐)

4672.464232356961

6) MinMaxScaler & bmi만 적용/ RandomForestReggressor → 결과: 4712 (안 좋아짐)

4712.997771609883

7) log 변환 / RandomForestReggressor → 결과: 4605 (가장 좋음)

import numpy as np

train['charges'] = np.log1p(train['charges'])

# 검증 데이터 분리

from sklearn.model_selection import train_test_split

X_tr, X_val, y_tr, y_val = train_test_split(train.drop('charges',axis=1), train['charges'], test_size=0.15, random_state = 2022)

X_tr.shape, X_val.shape, y_tr.shape, y_val.shape

from sklearn.ensemble import RandomForestRegressor

model = RandomForestRegressor()

model.fit(X_tr, y_tr)

pred = model.predict(X_val)

rmse(np.exp(y_val), np.exp(pred))

4605.62579084553

8) XGBRegressor → 결과: 4903 (가장 안 좋음)

4903.671366916808

9) csv 파일 생성

pred = model.predict(test) # 데이터 예측

submit = pd.DataFrame(

{

'id':test['id'],

'charges':pred

}

)

submit.to_csv('33333.csv', index=False) # csv파일 생성

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 모의문제

✨️데이터분석가✨️ — Sat, 7 Jun 2025 01:29:35 +0900

제1유형의 모의문제 입니다.

다양한 문제를 많이 풀어보는 것이 시험에 가장 큰 도움이 되기에 아래 문제들도 꼭 풀어보시기 바랍니다.

[문제 1번]

① f1 컬럼의 결측치는 중앙 값으로 대체

② 나머지 결측치가 있는 데이터(행)을 모두 제거

③ 앞에서부터 70% 데이터 중 views 컬럼의 3사분위 수에서 1사분위 수를 뺀 값을 구하시오.

(단, 데이터 70% 지점은 정수형(int) 변환)

print(df1.shape) # 데이터 개수 확인

print( df1.isnull().sum() ) # 결측치 확인

df1['f1'] = df1['f1'].fillna(df1['f1'].median()) # ①중앙값 대체

df1 = df1.dropna() # ②결측치 삭제

print(df1.shape) # 데이터 개수 확인

print( int(len(df1) * 0.7) ) # 70% 지점 데이터 개수 확인

df1 = df1[:int(len(df1) * 0.7)] # 70% 데이터만 저장

IQR = df1['views'].quantile(0.75) - df1['views'].quantile(0.25) # ③3사분위 수 - 1사분위 수

print(IQR)

(100, 10)
id             0
age            0
city           0
f1            31
f2             0
f3            28
f4             0
f5             0
subscribed     0
views          4
dtype: int64
(72, 10)
50
3261.0

[문제 2번]

① 주어진 데이터에서 결측치가 30% 이상인 컬럼을 A, 결측치가 30% 미만, 20% 이상인 컬럼을 B라고 가정
② A에 해당하는 컬럼은 결측치가 있는 데이터(행)를 삭제
③ B에 해당하는 컬럼은 결측치를 최빈값으로 대체
④ 'f3'컬럼의 'gold' 값을 가진 데이터 수를 구하시오.

print( df2.isnull().sum() )

print( len(df2) * 0.3 ) # 결측치가 30% 이상이 되는 값

# ①A = f1, B = f3

print(df2.shape)

df2 = df2.dropna(subset=['f1']) # ②A의 결측치 데이터 삭제

print(df2.shape)

df2['f3'] = df2['f3'].fillna(df2['f3'].mode()[0]) # ③B의 결측치 최빈값으로 대체

print( df2.isnull().sum() )

print( sum(df2['f3'] == 'gold') ) # ④gold 데이터의 개수

id             0
age            0
city           0
f1            31
f2             0
f3            28
f4             0
f5             0
subscribed     0
views          4
dtype: int64
30.0
(100, 10)
(69, 10)
id            0
age           0
city          0
f1            0
f2            0
f3            0
f4            0
f5            0
subscribed    0
views         2
dtype: int64
56

[문제 3번]

① views 컬럼에 결측치가 있는 데이터(행)을 삭제
② f3 컬럼의 결측치는 0, silver는 1, gold는 2, vip는 3 으로 변환
③ f3 컬럼의 총 합을 정수형으로 출력하시오.

(100, 10)
(96, 10)
133

[문제 4번]

① 주어진 데이터에서 자료형(type)이 object인 컬럼은 삭제
② 결측치는 0으로 대체
③ 행 단위로 더하기
④ 그 값이 3000보다 큰 값의 데이터 수를 구하시오. ('age', 'f1', 'f2', 'f5', 'views'의 각 행별 합)

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 100 entries, 0 to 99
Data columns (total 10 columns):
 #   Column      Non-Null Count  Dtype  
---  ------      --------------  -----  
 0   id          100 non-null    object 
 1   age         100 non-null    float64
 2   city        100 non-null    object 
 3   f1          69 non-null     float64
 4   f2          100 non-null    int64  
 5   f3          72 non-null     object 
 6   f4          100 non-null    object 
 7   f5          100 non-null    float64
 8   subscribed  100 non-null    object 
 9   views       96 non-null     float64
dtypes: float64(4), int64(1), object(5)
memory usage: 7.9+ KB
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 100 entries, 0 to 99
Data columns (total 5 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   age     100 non-null    float64
 1   f1      69 non-null     float64
 2   f2      100 non-null    int64  
 3   f5      100 non-null    float64
 4   views   96 non-null     float64
dtypes: float64(4), int64(1)
memory usage: 4.0 KB
0     6913.297791
1     2674.339826
2     7418.252986
3      622.667078
4     1478.269869
         ...     
95    8909.297791
96    4534.667078
97    6854.886373
98    1062.429899
99    6235.381034
Length: 100, dtype: float64
73

[문제 5번]

IQR을 활용해 views 컬럼의 이상치를 찾고, 이상치 데이터 개수를 구하시오.

[문제 6번]

① 'age' 컬럼의 이상치(소수점 나이와 0과 음수 나이)를 제거
② 제거 전 후의 views 컬럼 표준편차를 더하시오.

(최종 결과 값은 소수 둘째자리까지 출력, 셋째자리에서 반올림)

(100, 10)
(96, 10)
(90, 10)
8420.69

[문제 7번]

① index '2001' 데이터(행)의 평균보다 큰 값의 개수
② index '2003' 데이터(행)의 평균보다 작은 값의 개수를 더하시오.

import pandas as pd

import random

random.seed(2022)

df = pd.DataFrame()

for i in range(0, 5):

list_box = []

for k in range(0, 200):

ran_num = random.randint(1,200)

list_box.append(ran_num)

df[i+2000] = list_box

df = df.T

df.to_csv("data.csv", index=True)

df7 = pd.read_csv("data.csv", index_col="Unnamed: 0")

m2001 = sum(df7.loc[2001] > df7.loc[2001].mean()) # ①2001행의 평균보다 큰 값의 개수

m2003 = sum(df7.loc[2003] < df7.loc[2003].mean()) # ②2003행의 평균보다 작은 값의 개수

print( m2001 + m2003 )

[문제 8번]

① 결측 값을 가진 데이터는 바로 뒤에 있는 값으로 대체

(바로 뒤가 결측값이라면 뒤에 있는 데이터 중 가장 가까운 값)
② city와 f2 컬럼 기준으로 그룹합을 계산
③ views가 세번째로 큰 city(도시) 이름은?

대구

[문제 9번]

① 구독(subscribed)의 월별 데이터 개수
② 가장 작은 구독 수가 있는 월을 구하시오.

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 날짜 변환

dataslog.tistory.com

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 날짜 변환

dataslog.tistory.com

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 조건필터, 결측치 처리, 통계분석, 데이터 개수

제1유형의 기초 학습에 이어,이번에는 실제 문제 유형을 풀어보는 실습에 대한 내용입니다.응용력이 중요하기 때문에, 다양한 문제를 많이 풀어보는 것이 합격하는데 가장 큰 도움이 되는 것 같

dataslog.tistory.com

[빅데이터분석기사/실기] 제1유형. 판다스 기초 - 데이터 불러오기/추가/삭제/정렬, 인덱싱/슬라

빅데이터분석기사 실기 문제는 3가지 유형이 있습니다. 먼저, 제1유형은 데이터 전처리에 대한 문제이며, 총 3문제가 출제됩니다.주어진 데이터셋에 대해 결측치 처리, 이상치 제거, 컬럼 생성,

dataslog.tistory.com

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 문자열

✨️데이터분석가✨️ — Fri, 6 Jun 2025 23:06:09 +0900

제1유형에서 문자열을 다루는 다양한 방법들을 담고 있으며,

문자열 변경, 나누기, 찾기, 길이 구하기, 대/소문자 변경, 공백제거, 추출에 대해 알아 봅시다!ㅎ

문1. 일부 문자 값 변경, replace( ) 함수

# 일부 문자 변경 (시리즈 사용O, 데이터프레임 사용X / 숫자 변경 불가)

df['A'] = df['A'].str.replace('스무디', '에이드')

문2. 문자 나누기, split( ) 함수

print( df['A'].str.split() ) # 띄어쓰기 기준으로 단어 나누기

print( df['A'].str.split().str[0] ) # 첫번째 값만 추출

print( df['C'].str.split('/') ) # 특수문자 기준으로 단어 나누기

0       [블루베리, 에이드]
1         [딸기, 에이드]
2    [딸기, 바나나, 에이드]
Name: A, dtype: object
0    블루베리
1      딸기
2      딸기
Name: A, dtype: object
0     [추천, 신메뉴]
1     [신메뉴, 할인]
2    [사이즈업, 추천]
Name: C, dtype: object

문3. 특정 문자 찾기, contains( ) / isin( ) 함수

print( df['A'].str.contains('딸기') ) # 일부 단어 찾기 가능

print( df.isin(['블루베리 에이드', '딸기 에이드']) ) # 일부 단어 찾기 불가능

0    False
1     True
2     True
Name: A, dtype: bool
       A      B      C      D
0   True  False  False  False
1   True  False  False  False
2  False  False  False  False

문4. 문자 길이, len( ) 함수

df['A'].str.len() # 문자 길이

	A
0	8
1	6
2	10

문5. 대/소문자 변경, upper( ) / lower( ) 함수

print( df['D'].str.upper() ) # 대문자로 변경

print( df['D'].str.lower() ) # 소문자로 변경

문6. 공백 제거, replace( ) 함수

df['D'] = df['D'].str.replace(" ","") # 공백 제거

문7. 추출, 슬라이싱

dfnew = pd.DataFrame({'date':['2024년 3월', '2024년 4월', '2024년 5월']})

print( dfnew['date'].str[:4] ) # 연도

print( dfnew['date'].str[6:7] ) # 월

print( dfnew['date'][:2] ) # 두 개 데이터 추출

0    2024
1    2024
2    2024
Name: date, dtype: object
0    3
1    4
2    5
Name: date, dtype: object
0    2024년 3월
1    2024년 4월
Name: date, dtype: object

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 날짜 변환

dataslog.tistory.com

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 날짜 변환

✨️데이터분석가✨️ — Fri, 6 Jun 2025 21:27:28 +0900

제1유형의 날짜를 변환하는 실습 내용입니다.

날짜 및 시각 형식 변환, 날짜 계산, 기간 계산 등 날짜에 관한 다양한 유형들이 있습니다.

문1-1. Date1 형식 변환 (2024-02-17)

print(df['Date1'])

df['Date1'] = pd.to_datetime(df['Date1'])

print(df['Date1'])

0    2024-02-17
1    2024-02-18
2    2024-02-19
Name: Date1, dtype: object
0   2024-02-17
1   2024-02-18
2   2024-02-19
Name: Date1, dtype: datetime64[ns]

문1-2. Date2 형식 변환 (2024:02:17)

print(df['Date2'])

df['Date2'] = pd.to_datetime(df['Date2'], format='%Y:%m:%d') # 년도 4자리는 대문자

print(df['Date2'])

문1-3. Date3 형식 변환 (24/02/17)

print(df['Date3'])

df['Date3'] = pd.to_datetime(df['Date3'], format='%y/%m/%d') # 년도 2자리는 소문자

print(df['Date3'])

문1-4. Date4 형식 변환 (02/17/2024)

print(df['Date4'])

df['Date4'] = pd.to_datetime(df['Date4'])

print(df['Date4'])

문1-5. Date5 형식 변환 (17-Feb-2024)

print(df['Date5'])

df['Date5'] = pd.to_datetime(df['Date5'])

print(df['Date5'])

문1-6. Date6 형식 변환 (2024년02월17일)

print(df['Date6'])

df['Date6'] = pd.to_datetime(df['Date6'], format='%Y년%m월%d일')

print(df['Date6'])

문2-1. DateTime1 형식 변환 (24-02-17 11:45:30)

print(df['DateTime1'])

df['DateTime1'] = pd.to_datetime(df['DateTime1'], format='%y-%m-%d %H:%M:%S') # 시간 H,M,S는 대문자

print(df['DateTime1'])

0    24-02-17 11:45:30
1    24-02-18 12:55:45
2    24-02-19 13:30:15
Name: DateTime1, dtype: object
0   2024-02-17 11:45:30
1   2024-02-18 12:55:45
2   2024-02-19 13:30:15
Name: DateTime1, dtype: datetime64[ns]

문2-2. DateTime2 형식 변환 (2024-02-17 11-45-30)

print(df['DateTime2'])

df['DateTime2'] = pd.to_datetime(df['DateTime2'], format='%Y-%m-%d %H-%M-%S')

print(df['DateTime2'])

문2-3. DateTime3 형식 변환 (02/17/2024 11:45:30 AM)

print(df['DateTime3'])

df['DateTime3'] = pd.to_datetime(df['DateTime3'])

print(df['DateTime3'])

문2-4. DateTime4 형식 변환 (17 Feb 2024 11:45:30)

print(df['DateTime4'])

df['DateTime4'] = pd.to_datetime(df['DateTime4'])

print(df['DateTime4'])

문3. 날짜 분리

df['year'] = df['DateTime2'].dt.year

df['month'] = df['DateTime2'].dt.month

df['day'] = df['DateTime2'].dt.day

df['hour'] = df['DateTime2'].dt.hour

df['minute'] = df['DateTime2'].dt.minute

df['second'] = df['DateTime2'].dt.second

df['week'] = df['DateTime2'].dt.dayofweek # 요일, 0:월, 1:화 ~ 6:일

df['주말'] = df['DateTime2'].dt.dayofweek >= 5 # 주말

문4-1. 날짜 계산

df = pd.read_csv("date.csv", usecols=['DateTime4'], parse_dates=['DateTime4']) # 특정 컬럼만 불러오기

day = pd.Timedelta(days=99) # 100일째 되는 날

hour = pd.Timedelta(hours=100) # 100시간 이후

three = pd.Timedelta(weeks=3, days=3, hours=3, minutes=3, seconds=3)

df['100일'] = df['DateTime4'] + day

df['100시간'] = df['DateTime4'] + hour

df['+3'] = df['DateTime4'] + three

df['-3'] = df['DateTime4'] - three

문4-2. 기간 계산

diff = df['100일'] - df['100시간']

print(diff)

print( diff.dt.total_seconds() ) # 기간을 초로 변환 (timedelta에만 사용 가능)

print( diff.dt.total_seconds()/60 ) # 분

print( diff.dt.total_seconds()/60/60 ) # 시간

print( diff.dt.total_seconds()/60/60/24 ) # 일

0   94 days 20:00:00
1   94 days 20:00:00
2   94 days 20:00:00
dtype: timedelta64[ns]
0    8193600.0
1    8193600.0
2    8193600.0
dtype: float64
0    136560.0
1    136560.0
2    136560.0
dtype: float64
0    2276.0
1    2276.0
2    2276.0
dtype: float64
0    94.833333
1    94.833333
2    94.833333
dtype: float64

문4-3. 시간 계산

# 5.49분을 30초 이상이면 올림, 미만이면 버림

value = 5.49 # 0.49분 X 60 = 29.4초

round(value)

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 조건필터, 결측치 처리, 통계분석, 데이터 개수

dataslog.tistory.com

[엑셀 최신 함수] 엑셀 함수 마스터 클래스 - 오빠두엑셀 챌린지 #2일차

✨️데이터분석가✨️ — Mon, 2 Jun 2025 23:40:00 +0900

엑셀 2024 및 M365 버전에서 활용할 수 있는 최신 함수 입니다!

지난번에 이어 오빠두엑셀 무료 챌린지 #2일차에서 학습했던 내용입니다.

다시 한번 오빠두엑셀님께 감사드리며, 이번 내용도 실무에 활용도 높은 기능들이 많습니다.

어서 공부해서 칼퇴합시다!

LET 함수

: 수식에 이름을 할당하여 수식의 성능 및 가독성 향상

= LET ( 이름1, 값1, [이름2], [값2], … , 계산식 )

LET 함수

LAMBDA 함수

: 통합문서에서 재사용 가능한 사용자 함수를 생성

= LAMBDA ( 인수1, [인수2], … , 수식 )

LAMBDA 함수

TEXT 함수

: 셀의 값을 사용자 지정 형식으로 텍스트로 변환

= TEXT ( 값, 표시형식 )

TEXT 함수

TEXTSPLIT 함수

: 문장을 지정한 구분기호로 분할

= TEXTSPLIT ( 텍스트, 열구분자, [행구분자], [빈칸무시], [일치옵션], [기본값] )

TEXTSPLIT 함수

엑셀 배열 계산

: 엑셀에서 논리(TRUE, FALSE)는 각각 TRUE = 1, FALSE = 0 으로 계산됨

① 모든 조건을 만족(AND) → 곱셈 / ② 둘 중 하나라도 만족(OR) → 덧셈

엑셀 배열 계산

TAKE 함수

: 범위에서 지정한 수의 행이나 열을 추출

= TAKE ( 범위, 추출할행수, [추출할열수] )

TAKE 함수

DROP 함수

: 범위에서 지정한 개수의 행이나 열을 제거한 결과를 반환

= DROP ( 범위, 제거할행수, [제거할열수] )

DROP 함수

HSTACK 함수

: 여러 범위를 가로로 결합하여 하나의 큰 배열을 생성

= HSTACK ( 범위1, [범위2], … )

HSTACK 함수

# 실시간 보고서 작성

[엑셀 최신 함수] 엑셀 함수 마스터 클래스 - 오빠두엑셀 챌린지 #1일차

✨️데이터분석가✨️ — Mon, 2 Jun 2025 01:24:59 +0900

엑셀 2024 및 M365 버전에서 활용할 수 있는 최신 함수 입니다!

엑셀 고수분들도 최신 기능을 스터디 하지 않으셨다면 모르실 수 있는 함수입니다.

실무 활용도가 굉장히 높은 함수들이니 꼭! 활용해 보시면 좋을 것 같습니다.

(저도 내일 출근하자마자 활용할 예정입니다)

이번 내용은 오빠두엑셀 무료 챌린지 #1일차에서 학습했던 내용입니다.

정말 양질의 강의를 무료로 제공해 주시는 오빠두엑셀님께 무한한 감사를 드립니다.

VLOOKUP 함수 동적 배열

: 연속된 함수를 자동으로 작성해 주는 기능

= VLOOKUP ( 찾을값, 검색범위, 열번호, [일치옵션] )

VLOOKUP 함수

UNIQUE 함수

: 범위의 고유값을 출력

= UNIQUE ( 범위, [가로방향조회], [단독발생] )

UNIQUE 함수

SORT 함수

: 범위를 지정한 열 기준으로 오름차순 또는 내림차순으로 정렬

= SORT ( 범위, [기준열], [정렬방향], [가로방향정렬] )

SORT 함수

CHOOSECOLS 함수

: 범위 또는 배열에서 선택한 열을 반환

= CHOOSECOLS ( 범위, 열번호1, [열번호2], … )

CHOOSECOLS 함수

XLOOKUP 함수

: 범위에서 일치하는 값을 찾아 원하는 데이터를 반환

= XLOOKUP ( 찾을값, 찾을범위, 반환범위, [N/A값], [일치옵션], [검색방향] )

XLOOKUP 함수

SEQUENCE 함수

: 연속된 숫자가 채워진 배열을 생성

= SEQUENCE ( 높이, [너비], [시작값], [단계] )

SEQUENCE 함수

＃ 달력 만들기

① SEQUENCE 함수로 6행 7열 날짜 채우기

② WEEKDAY 함수로 시작일의 요일 계산하여 날짜 작성

③ 조건부 서식에서 MONTH 함수 활용하여 해당 월이 아닌 기간은 회색 글자로 표기

FILTER 함수

: 범위에서 조건을 만족하는 데이터를 필터링

= FILTER ( 범위, 조건, [결과없음출력값] )

FILTER 함수

VSTACK 함수

: 여러 범위를 세로로 결합하여 하나의 큰 배열을 생성

= VSTACK ( 범위1, [범위2], ... )

VSTACK 함수

VSTACK 함수로 시작 ~ 끝 시트 사이에 있는 데이터를 합치고, FILTER 함수로 값이 있는 셀만 합침 (실무 유용⭐)

VSTACK, FILTER 함수

TOCOL 함수

: 선택한 범위를 하나의 세로 열로 변환

= TOCOL ( 범위, [제외옵션], [읽기방향] )

TOCOL 함수

WRAPROWS 함수

: 한 줄로 된 배열을 지정한 개수만큼 잘라 여러 줄로 나눔

= WRAPROWS ( 범위,나눌개수,[채울값] )

WRAPROWS 함수

IMAGE 함수

: URL 경로의 이미지를 셀 안에 삽입

= IMAGE ( URL주소, [대체텍스트], [크기옵션], [높이], [너비] )

IMAGE 함수

[빅데이터분석기사/실기] 제1유형. 판다스 실습 - 조건필터, 결측치 처리, 통계분석, 데이터 개수확인

✨️데이터분석가✨️ — Mon, 26 May 2025 07:37:40 +0900

제1유형의 기초 학습에 이어,

이번에는 실제 문제 유형을 풀어보는 실습에 대한 내용입니다.

응용력이 중요하기 때문에, 다양한 문제를 많이 풀어보는 것이 합격하는데 가장 큰 도움이 되는 것 같습니다!

문1. 가격이 4500원 이하인 콜롬비아 커피는?

a = df['원두'] == '콜롬비아'

b = df['가격'] < 4500

df[a & b]

문2. 결측값 확인 및 컬럼별 결측치 개수는?

print( df.isnull() ) # 결측치 확인

print( df.isnull().sum() ) # 결측치 개수

      메뉴     가격    할인율    칼로리     원두   이벤트가
0  False  False  False  False  False  False
1  False  False  False  False   True  False
2  False  False  False  False  False   True
3  False  False  False  False   True  False
4  False  False  False  False  False   True
5  False  False  False  False  False  False
6  False  False  False  False   True  False
메뉴      0
가격      0
할인율     0
칼로리     0
원두      3
이벤트가    2
dtype: int64

문3. 결측치 채우기

1) 원두 결측치에 '코스타리카'로 채우기

df['원두'] = df['원두'].fillna('코스타리카') # 결측치 채우기

2) 이벤트가 결측치에 '최소값', 원두 결측치에 최빈값으로 채우기

df['이벤트가'] = df['이벤트가'].fillna(df['이벤트가'].min()) # 이벤트가 결측치를 최소값으로 채움

df['원두'] = df['원두'].fillna(df['원두'].mode()[0]) # 원두 결측치를 최빈값으로 채움

문4. 데이터 변경 (아메리카노→룽고, 녹차→그린티)

df = df.replace('아메리카노', '룽고').replace('녹차','그린티') # 리스트 데이터 변경

d = {'아메리카노':'룽고', '녹차':'그린티'} # 디렉터리 데이터 변경

df = df.replace(d)

df.loc[3, "원두"] = "과테말라" # 바닐라라떼 원두를 과테말라로 변경

문5. 열/행별 데이터 개수 확인

df = pd.read_csv('data.csv')

print( df.count() ) # 열별(컬럼) 데이터 개수, 결측치 제외

print( df.count(axis=1) ) # 행별 데이터 개수, 결측치 제외

print( len(df) ) # 데이터 개수

print( df.shape ) # 데이터 개수, 컬럼 수

print( df.shape[0] ) # 데이터 개수

메뉴      7
가격      7
할인율     7
칼로리     7
원두      4
이벤트가    5
dtype: int64
0    6
1    5
2    5
3    5
4    5
5    6
6    5
dtype: int64

7
(7, 6)
7

문6. 통계 분석

1) 최댓값, 중앙값, 평균, 표준편차, 왜도, 첨도

print( df['가격'].max() ) # 최댓값

print( df['가격'].median() ) # 중앙값

print( df['가격'].mean() ) # 평균

print( df['가격'].std() ) # 표준편차

print( df['가격'].skew() ) # 왜도

print( df['가격'].kurt() ) # 첨도

5100
4600.0
4657.142857142857
435.3433237386437
-0.3739900475641664
-1.7170778515694067

2) 백분위수

print( df.describe() ) # 백분위수

print( df['가격'].describe() )

print( df['가격'].quantile(0.25) ) # 하위 25% 값 (4,350원)

x = df['가격'].quantile(0.25) > df['가격'] # 하위 25% 데이터 (4,350원 이하 데이터)

print( df[x] )

                가격       할인율         칼로리         이벤트가
count     7.000000  7.000000    7.000000     5.000000
mean   4657.142857  0.157143  264.285714  2600.000000
std     435.343324  0.190238  196.965068   524.404424
min    4100.000000  0.000000   10.000000  1900.000000
25%    4350.000000  0.000000  100.000000  2300.000000
50%    4600.000000  0.100000  320.000000  2600.000000
75%    5050.000000  0.250000  410.000000  3000.000000
max    5100.000000  0.500000  500.000000  3200.000000
count       7.000000
mean     4657.142857
std       435.343324
min      4100.000000
25%      4350.000000
50%      4600.000000
75%      5050.000000
max      5100.000000
Name: 가격, dtype: float64
4350.0
      메뉴    가격  할인율  칼로리    원두    이벤트가
0  아메리카노  4100  0.5   10  콜롬비아  1900.0
4     녹차  4100  0.0   20    한국     NaN

3) 최빈값

df['원두'].mode()[0] # 최빈값

'콜롬비아'

4) 그룹별 평균 (원두&메뉴별 평균 가격)

df.groupby(['원두', '메뉴'])['가격'].mean() # 원두와 메뉴별 평균 가격

df.groupby(['원두', '메뉴']).mean().reset_index() # 인덱스 형태로 리셋

문7. 신규 컬럼 추가 (칼로리가 300이상이면 No, 아니면 Yes)

def cal(x):

if x >= 300:

return "No"

else:

return "Yes"

df['결과'] = df['칼로리'].apply(cal) # apply 함수

[빅데이터분석기사/실기] 제1유형. 판다스 기초 - 데이터 불러오기/추가/삭제/정렬, 인덱싱/슬라

dataslog.tistory.com

[빅데이터분석기사/실기] 제1유형. 판다스 기초 - 데이터 불러오기/추가/삭제/정렬, 인덱싱/슬라이싱

✨️데이터분석가✨️ — Sun, 25 May 2025 16:53:43 +0900

빅데이터분석기사 실기 문제는 3가지 유형이 있습니다.

먼저, 제1유형은 데이터 전처리에 대한 문제이며, 총 3문제가 출제됩니다.

주어진 데이터셋에 대해 결측치 처리, 이상치 제거, 컬럼 생성, 데이터 통합 등에 대한 문제가 출제되며,

코드 제출이 아닌 결과 데이터 제출이므로 작업의 정확성이 중요합니다.

대부분 pandas 라이브러리를 사용하여 처리하게 됩니다. 기초부터 탄탄히 공부해 볼까요?

구분	문항 수	답안 제출	점수
제1유형	3문항	전처리 결과 제출	30점
제2유형	1문항	CSV 코드 제출	40점
제3유형	2문항	답안 제출	30점
합계	6문항	-	100점

1. 판다스/데이터 불러오기

import pandas as pd # 판다스 불러오기

data = {

"메뉴": ['김밥', '라면', '떡볶이', '튀김', '순대'],

"가격": [3000, 4000, 6000, 5000, 3500],

"판매량": [50, 42, 38, 25, 16],

}

data = pd.DataFrame(data)

data.to_csv('data.csv', index=False)

pd.read_csv('data.csv') # 데이터 불러오기

2. 일부 데이터만(앞/뒤 줄) 확인하기

df = pd.read_csv('data.csv')

print( df.head(2) ) # 앞 2줄만 확인

print( df.tail(2) ) # 뒤 2줄만 확인

   메뉴    가격  판매량
0  김밥  3000   50
1  라면  4000   42
   메뉴    가격  판매량
3  튀김  5000   25
4  순대  3500   16

3. 시리즈/데이터프레임 만들기

# 시리즈 만들기

menu = pd.Series( ['김밥', '라면', '떡볶이'] )

price = pd.Series( [3000, 4000, 6000] )

# 데이터프레임 만들기

pd.DataFrame( {

"menu" : menu,

"price" : price

})

4. 데이터 통계 정보

print( df.shape ) # 데이터프레임 크기(행, 컬럼)

print( df.info() ) # 컬럼 정보

print( df.describe() ) # 기초 통계 정보(수치형)

print( df.describe(include='all') ) # 기초 통계 정보(모두)

#print( df.corr() ) # 상관관계

(5, 3)
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 5 entries, 0 to 4
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   메뉴      5 non-null      object
 1   가격      5 non-null      int64 
 2   판매량     5 non-null      int64 
dtypes: int64(2), object(1)
memory usage: 252.0+ bytes
None
                가격        판매량
count     5.000000   5.000000
mean   4300.000000  34.200000
std    1204.159458  13.608821
min    3000.000000  16.000000
25%    3500.000000  25.000000
50%    4000.000000  38.000000
75%    5000.000000  42.000000
max    6000.000000  50.000000
         메뉴           가격        판매량
count     5     5.000000   5.000000
unique    5          NaN        NaN
top      김밥          NaN        NaN
freq      1          NaN        NaN
mean    NaN  4300.000000  34.200000
std     NaN  1204.159458  13.608821
min     NaN  3000.000000  16.000000
25%     NaN  3500.000000  25.000000
50%     NaN  4000.000000  38.000000
75%     NaN  5000.000000  42.000000
max     NaN  6000.000000  50.000000

5. 중복값 있는 데이터 생성

ring = {

"color": ['Gold', 'Siver', 'Siver', 'Gold', 'Gold', 'Gold'],

"size": ['S', 'M', 'M', 'S', 'L', 'S'],

"price": [3000, 4000, 2000, 5000, 5000, 3000],

"discount": ['0.3', '0.5', '0.3', '0.2', '0.5', '0.4']

}

ring = pd.DataFrame(ring)

print( ring.nunique() ) # 항목 종류 수

print( ring['size'].unique() ) # 항목 종류

print( ring['color'].value_counts() ) # 항목별 개수

color       2
size        3
price       4
discount    4
dtype: int64
['S' 'M' 'L']
color
Gold     4
Siver    2
Name: count, dtype: int64

6. 자료형 변환 (object → float)

ring['discount'] = ring['discount'].astype('float')

ring.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 6 entries, 0 to 5
Data columns (total 4 columns):
 #   Column    Non-Null Count  Dtype  
---  ------    --------------  -----  
 0   color     6 non-null      object 
 1   size      6 non-null      object 
 2   price     6 non-null      int64  
 3   discount  6 non-null      float64
dtypes: float64(1), int64(1), object(2)
memory usage: 320.0+ bytes

7. 데이터 추가 및 삭제

1) 새로운 컬럼 추가

ring['new'] = ring['price'] * (1 - ring['discount'])

ring

2) 결측값으로 추가

import numpy as np

ring['review'] = np.nan

ring

3) 컬럼 삭제

ring = ring.drop('review', axis=1)

ring

4) 데이터 삭제

ring = ring.drop(1, axis=0)

ring

8. CSV로 저장/불러오기

# csv로 저장하기

ring.to_csv('ring.csv', index=False)

# csv로 불러오기

new_ring = pd.read_csv('ring.csv')

9. 인덱싱 및 슬라이싱

1) 인덱싱

import pandas as pd

cafe = {

"메뉴":['아메리카노','카페라떼','카페모카', '바닐라라떼', '녹차', '초코라떼', '바닐라콜드브루'],

"가격":[4100, 4600, 4600, 5100, 4100, 5000, 5100],

"할인율":[0.5, 0.1, 0.2, 0.3, 0, 0, 0],

"칼로리":[10, 180, 420, 320, 20, 500, 400],

}

cafe = pd.DataFrame(cafe)

cafe.to_csv('cafe.csv', index=False)

cafe = pd.read_csv('cafe.csv')

# 인덱싱

cafe.loc[0] # loc[인덱스 명]

cafe.iloc[0] # iloc[인덱스 번호]

2) 슬라이싱

# 슬라이싱

cafe.loc[:,'가격':'할인율'] # loc[인덱스 명, 컬럼 명], 마지막 포함 함

cafe.iloc[:,1:3] # iloc[인덱스 번호, 컬럼 번호], 마지막 포함 안함

3) 인덱싱/슬라이싱

print( cafe.loc[1:2, ['메뉴', '칼로리']] )

print( cafe.iloc[1:3, [0, 3]])

     메뉴  칼로리
1  카페라떼  180
2  카페모카  420
     메뉴  칼로리
1  카페라떼  180
2  카페모카  420

10. 데이터 추가

import numpy as np

cafe['원두'] = np.nan

cafe.loc[0, '원두'] = '콜롬비아'

cafe.loc['시즌'] = ['시즌메뉴', 6000, 0, 500, '한국'] # 리스트

cafe.loc[7] = {'메뉴':'에스프레소', '가격':2000, '칼로리':10} # 딕셔너리

cafe

11. 데이터 정렬

print( cafe.sort_index(ascending=False) ) # 내림차순

print( cafe.sort_values(['가격', '메뉴'], ascending=[False, True]) )

print( cafe.reset_index(drop=True) ) # 인덱스를 컬럼으로 지정하지 않고, 오름차순

[빅데이터분석기사/실기] 0. 파이썬 기초

✨️데이터분석가✨️ — Sat, 24 May 2025 23:13:53 +0900

[빅데이터분석기사] 필기 합격하신 모든 분들 축하드립니다!

이제 실기시험을 준비해야 하는데, 실기는 파이썬 or R을 선택해서 시험을 봅니다.

저는 요즘 실무에서 많이 사용하고 있어 활용도가 높은 '파이썬'으로 선택했습니다.

파이썬 실행 방법, 기본적인 문법 등 파이썬 기초에 대해 알아보겠습니다.

■ 파이썬 실행 방법

먼저, 파이썬을 실행하기 위해서는 파이썬 프로그램이 필요한데,

저는 무료로 설치 과정 없이 이용할 수 있는 '구글 코랩'을 통해서 이용하고 있습니다.

구글 코랩에 접속해서 로그인만 하면 준비 완료입니다!

https://colab.research.google.com

파이썬 프로그램(+비주얼 스튜디오)을 설치해서 이용하는 방법은 아래 글에 자세하게 나와 있습니다.

[혼공학습단 파이썬] #1-1. 파이썬 설치 및 실행

1. 파이썬 시작하기 1) 파이썬 특징 2) 프로그램 설치 3) 파이썬 실행 1) 파이썬 특징 비전공자도 쉽게 배울 수 있는 언어 다양한 분야에서 활용 가능 대부분의 운영체제(윈도우, 맥, 리눅스)에서 사

dataslog.tistory.com

■ 파이썬 기초

1. 출력 기능

- print( ) 함수를 이용하여 괄호 안의 내용을 출력함. 따옴표로 묶이면 문자로 출력됨

print(45)

print("happy")

print('happy')

45
happy
happy

- print( ) 함수를 활용하지 않으면, 마지막 내용만 출력됨

345

645

2. 주석 기능

- 프로그램 실행에 영향을 주지 않는 코드이며, #으로 시작하는 초록색 글씨

# 주석: 메모 기능 (프로그램 실행에 영향을 미치지 않음)

# 여러 줄 한번에 주석 처리: 블럭지정 후 ctrl+/

3. 연산 기능

- // 몫, % 나머지, ** 제곱

print(16 // 3) # 몫

print(16 % 3) # 나머지

print(4 ** 2) # 제곱

5
1
16

- < 작다, >= 크거나 같다, == 같다, != 같지 않다

print(10 < 5) # 작다

print(10 >= 5) # 크거나 같다

print(10 == 5) # 같다

print(10 != 5) # 같지 않다

False
True
False
True

4. 변수 유형

- int 정수형, float 실수형, str 문자열, bool 참거짓

print( type(3) ) # 정수형 int

print( type(3.5) ) # 실수형 float

print( type('3') ) # 문자열 str

print( type(True) ) # 참거짓 bool

<class 'int'>
<class 'float'>
<class 'str'>
<class 'bool'>

5. if문

- 해당 조건이 참일 경우, 아래 코드를 실행함

age = 30

if age < 20:

print("20세 미만")

elif age >= 20 and age < 60:

print("20 ~ 59세")

print("꽝")

else:

print("60세 이상")

20 ~ 59세
꽝

6. 리스트

- [ ]는 리스트 형태이며, append( )는 값 추가 함수, sort( )는 오름차순 정렬 함수

['치킨', '피자', 3, 5] <class 'list'>
['치킨', '피자', 3, 5, '추가']
['딸기', '레몬', '포도']

7. 딕셔너리

- {key1:value1, key2:value2...}는 딕셔너리 형태

{'name': 'serena', 'level': 5}
serena
{'name': 'bella', 'level': 5}
dict_keys(['name', 'level'])
dict_values(['bella', 5])

8. 인덱싱과 슬라이싱

- 인덱싱은 문자 하나를 선택하는 연산자, [0]은 첫 번째 글자, [1]은 두 번째 글자, [-1]은 마지막 글자가 선택됨

- 슬라이싱은 특정 범위를 선택하는 연산자, [0:2], [:2]은 첫 번째 ~ 두 번째 글자가 선택됨 (마지막 숫자 미포함)

[60, 92, 59]

9. 내장함수

- sum 합계, max 최댓값, min 최솟값, len 길이(개수), round 반올림

10. for 반복문

- 특정 코드를 반복해서 실행하고자 할 때 사용

11. 인덱스와 값 출력

- enumerate를 이용하여 리스트의 모든 인덱스와 값을 for 문을 이용하여 출력

0
사과
인덱스0인 값은 사과입니다.
1
포도
인덱스1인 값은 포도입니다.
2
레몬
인덱스2인 값은 레몬입니다.

12. def 함수

- 최댓값/최솟값을 구하는 함수

15 95

- 평균을 구하는 함수

53.0

※ 파이썬 기초에 대한 자세한 내용은 아래 글에서 확인하실 수 있습니다.

[혼공학습단 파이썬] #1-2. 파이썬 용어

1. 파이썬 시작하기 4) 파이썬 용어 4) 파이썬 용어 표현식(expression): 어떤 값을 만들어내는 코드를 의미 식별자(identifier): 사용자가 정의한 단어, 키워드 단어X, 숫자 시작X, 공백X 예시 스네이크 케

dataslog.tistory.com

[혼공학습단 파이썬] #2-1. 문자열, 인덱싱, 슬라이싱

2. 자료형 1) 문자열 (1) 문자열 만들기 (2) 문자열 연산자 (3) 문자열 선택 연산자 (인덱싱) (4) 문자열 범위 선택 연산자 (슬라이싱) (5) 문자열 길이, len( ) 자료(Data): 프로그램이 처리할 수 있는 모든

dataslog.tistory.com

[혼공학습단 파이썬] #2-2. 숫자, 변수와 입력

2. 자료형 2) 숫자 (1) 숫자 종류 (2) 숫자 연산자 (3) 연산자의 우선순위 3) 변수와 입력 (1) 변수 생성 (2) 복합 대입 연산자 (3) 사용자 입력, input( ) (4) 문자열 ↔ 숫자 변환 2) 숫자 (1) 숫자 종류 - 정

dataslog.tistory.com

[혼공학습단 파이썬] #3-1. 불 자료형, if 조건문

3. 조건문 1) 불 자료형 (1) 비교 연산자 (2) 논리 연산자 2) if 조건문 (1) if 조건문 (2) 날짜/시간 활용하기 (3) 짝수/홀수 구분하기 1) 불 자료형 - 불(Boolean, 불린): 참(True)과 거짓(False)을 나타내는 값 (

dataslog.tistory.com

[혼공학습단 파이썬] #3-2. else 구문, elif 구문

3. 조건문 3) if ~ else 구문 4) elif 구문 5) False로 변환되는 값 6) pass 키워드 3) if ~ else 구문 - 조건이 2가지로 구분되는 경우에 활용 if 조건문: 조건이 참일 때 실행할 문장 else 조건문: 조건이 거짓일

dataslog.tistory.com

[혼공학습단 파이썬] #4-1. 리스트

4. 리스트와 반복문 1) 리스트 (1) 리스트 기본 (2) 리스트 연산 (3) 리스트 요소추가 (4) 리스트 요소제거 (5) 리스트 정렬 (6) 리스트 값 확인 1) 리스트 리스트, list 요소, element 인덱스, index 대괄호 내

dataslog.tistory.com

[혼공학습단 파이썬] #4-2. for 반복문, 딕셔너리

4. 리스트와 반복문 2) for 반복문 (1) if 조건문 & for 반복문 조합 (2) for 반복문 & for 반복문 조합 3) 딕셔너리 (1) 딕셔너리 기본 (2) 딕셔너리 값 확인 (3) 리스트 & 딕셔너리 조합 (4) 중첩 딕셔너리 2) f

dataslog.tistory.com

[혼공학습단 파이썬] #4-4. reversed(), enumerate(), items()

4. 리스트와 반복문 6) 관련 함수 (1) 기본 함수 (2) reversed( ) 함수 (3) enumerate( ) 함수 (4) items( ) 함수 (5) 리스트 내포 6) 관련 함수 (1) 기본 함수 - min( ): 최솟값 출력 - max( ): 최댓값 출력 - sum( ): 내부

dataslog.tistory.com

[혼공학습단 파이썬] #5-1. 함수 생성, 가변 매개변수, 기본 매개변수, 리턴

5. 함수 1) 함수 생성 (1) 함수 용어 (2) 함수 기본 (3) 가변 매개변수 (4) 기본 매개변수 (5) 가변 매개변수 + 기본 매개변수 (6) 리턴 1) 함수 생성 (1) 함수 용어 - 함수 호출(function call): 함수를 실행하

dataslog.tistory.com

[빅데이터분석기사/필기기출] 8회 기출문제(24년 4월)

✨️데이터분석가✨️ — Wed, 27 Nov 2024 01:09:05 +0900

[1과목. 빅데이터 분석기획]

문1. 빅데이터의 특징 5V에 대한 설명은?

☞ Variety 유형

☞ Volume 규모

☞ Velocity 속도

☞ Value 가치

☞ Veracity 품질

문2. 빅데이터 분석 방법론의 데이터 분석 단계에서 수행하는 작업은?

☞ 분석용 데이터 준비

☞ 텍스트/탐색적 분석

☞ 모델링

☞ 모델 평가 및 검증

문3. 수집한 데이터를 저장/처리하고 분석할 수 있도록 포괄적으로 지원하는 것은?

☞ 빅데이터 플랫폼

문4. 가역/불가역 데이터에 대한 설명은?

☞ 가역 데이터는 원본 데이터가 변경되는 경우, 변경사항을 반영할 수 있음

☞ 가역 데이터는 생산된 데이터의 원본으로 환원이 가능한 데이터임

☞ 불가역 데이터는 생산된 데이터의 원본으로 환원이 불가능한 데이터임

(오답: 불가역 데이터는 원본 데이터가 변경되는 경우, 변경사항을 반영할 수 있음)

문5. 정량적 데이터와 정성적 데이터에 대한 설명은?

☞ 정량적 데이터는 양적 데이터 / 정성적 데이터는 질적 데이터임

☞ 정량적 데이터 중 계수 데이터는 범주형 데이터로 변환 가능함

(오답: 정성적 데이터 중 변수 데이터는 연속형 데이터로 ~~변환 가능함~~)

문6. 데이터 변환에 대한 예는?

☞ 키 수치를 평균 0, 표준편차 1로 표준화

☞ YYYY년 MM월 DD일 → YYYY.MM.DD

☞ 20~30세는 청년, 40~50세는 중년 등으로 범주화

(오답: 1, 2, 3학년 값을 batch로 변환하여 데이터 분할 → 데이터 추출/분할)

문7. 개인정보보호 관련 법률에 대한 설명은?

☞ 개인정보 파기 시, 사유는 고지할 의무가 없음

☞ 개인정보보호위원회는 개인정보보호 업무를 독립적으로 처리하기 위한 기관임

☞ 데이터3법은 개인정보보호법, 정보통신망 이용촉진 및 정보보호 등에 관한 법률, 신용정보의 이용 및 보호에 관한 법률임

(오답: 익명정보 생성 시, 당사자의 동의를 구해야 함)

문8. 사용자에 대한 정보를 섞어 정보의 손실 없이 특정 개인에 대한 추측을 할 수 없도록 하는 비식별화 기법과 세부기술은?

☞ 총계처리 - 재배열

문9. 비식별화 기법에 대한 설명은?

☞ 비식별 조치 방법은 여러가지 기법을 단독 or 복합적으로 활용함

☞ 가명처리 시, 값을 대체할 때 규칙이 노출되어 역으로 쉽게 식별할 수 없도록 주의해야 함

☞ 총계처리 시, 특정 속성을 지닌 개인으로 구성된 단체의 속성 정보를 공개하는 것은 개인 정보를 공개하는 것과 같음

(오답: 데이터 마스킹 수준이 높으면 데이터를 식별/예측하기 ~~쉬워짐~~)

문10. 내부/외부 데이터에 대한 설명은?

☞ 내부 데이터는 개인정보일 경우 비식별 조치방안을 함께 고려해야 함

☞ 내부 데이터는 관리 권한이 다른 부서에 있는 경우 공유 가능 여부를 확인해야 함

☞ 외부 데이터는 수집 시 법률/제도상 제약이 없는지 검토해야 함

(오답: 외부 데이터는 보안을 신경쓰지 않고 자유롭게 사용해도 됨)

문11. 데이터 웨어하우스의 특징은?

☞ 통합성

☞ 시계열성

☞ 주제지향성

(오답: ~~휘발성~~ → 비휘발성)

문12. 분산 저장 방식은?

☞ GFS

☞ HDFS

☞ Ceph

(오답: HBase → 하둡)

문13. Key-Value 데이터베이스에 대한 설명은?

☞ 쿼리의 질의 응답시간이 빠름

☞ 관계형 데이터베이스보다 확장성이 뛰어남

☞ 데이터를 키(Key)와 그에 해당하는 값(Value)의 쌍으로 저장하는 데이터 모델에 기반을 둠

(오답: 복잡한 쿼리 수행이 ~~가능함~~)

문14. Cassandra, MongoDB를 포함하는 반정형/비정형 데이터 저장소는?

☞ NoSQL

문15. 비정형 데이터는?

☞ 음성 데이터

☞ 메시지 데이터

☞ 이미지 데이터

문16. 유의미한 변수를 선정하는 작업을 수행하는 단계는?

☞ 데이터 분석

문17. 하향식 문제 탐색 과정에 대한 설명은?

☞ 타당성 검토는 경제성, 기술적 타당성을 분석하는 단계임

☞ 문제 정의는 식별된 비즈니스 문제를 데이터 문제로 변환함

☞ 해결방안 탐색은 과제 정의 후, 해결 방안을 탐색함

(오답: 문제 탐색은 개인이 생각하는 문제를 나열함)

문18. 표준화란?

☞ 두 개의 샘플을 하나로 통합하는 작업

문19. 텍스트 마이닝에 대한 설명은?

☞ 사용하지 않거나 분석에 필요 없는 불용어를 제거해야 함

☞ Tokening은 예측해야 할 정보를 하나의 특정 기본 단위로 자르는 작업임

☞ Stemming은 동일한 뜻을 가진 형태가 다른 단어들을 같은 형태로 바꾸는 작업임

문20. 지도학습 모델 선정 시 고려요소는?

☞ 데이터

☞ 분석 목적

☞ 변수의 중요도

(오답: 자기상관성)

[2과목. 빅데이터 탐색]

문21. 주성분 분석표가 주어졌을 때, 제3주성분은 전체 분산의 몇 %까지 설명하는가?

Component	PC1	PC2	PC3	PC4
Standard Deviation	1.8159	1.2207	0.67716	0.61622
Proportion of Variance	0.5496	0.2483	0.07642	0.06329

☞ 7.642% (PC3의 Proportion of Variance)

문22. 서열척도 변수들 간의 상관관계 측정 시 사용하는 값은?

☞ 스피어만 상관계수

문23. 점추정에 대한 설명은?

☞ 모집단의 모수를 추정하는 과정으로, 불편추정량은 추정량의 기댓값이 실제 모수와 같을 때를 의미함

문24. 오른쪽으로 꼬리가 긴 분포인 경우는?

☞ 최빈값 < 중앙값 < 평균값

문25. 표본 수가 많을수록 정규분포에 가까워지는 것은?

☞ 중심극한정리

문26. 파생변수에 대한 설명은?

☞ 시간 수집 시점에 따른 파생변수를 만들 수 있음

☞ 좋은 파생변수는 모델의 예측력을 크게 향상시킬 수 있음

☞ 연속형 변수는 구간을 추려서 특정 조건의 파생변수를 만들 수 있음

(오답: 독립변수와 종속변수의 교호작용을 이용하여 생성할 수 있음 → 독립변수 간에 교호작용)

문27. 주성분 분석(PCA)에 대한 설명은?

☞ 분산이 큰 변수의 방향을 확인함

문28. A국가는 100명 중 71명이 투표했다고 응답하였고, B국가는 200명 중 134명이 투표했다고 응답했다. A, B국가의 투표할 확률을 각각 Pa, Pb라고 할 때, Pa - Pb의 추정값은?

☞ 0.04 (=0.71 - 0.67)

문29. 특정 학생 점수가 각각 60, 70, 80점일 때 표본분산은?

☞ 100 (= ((60-70)² + (70-70)² + (80-70)²) / (3-1) )

문30. 기술통계량은?

☞ 평균

☞ 분산

☞ 최빈값

(오답: 이상값)

문31. 데이터가 얼마나 편중되어 있는지 확인할 수 있는 척도는?

☞ 왜도

문32. (A), (B), (C)에 맞는 단어는?

		실제 상황
		H0 참	H0 거짓
통계적 결정	H0 채택	(A)	(B)
통계적 결정	H0 기각	(C)	옳은 결정

☞ (A) 옳은 결정, (B) 제2종 오류, (C) 제1종 오류

문33. 제2종 오류의 확률이란?

☞ 대립가설이 참일 때, 귀무가설을 기각하지 못하는 확률

문34. 정규분포로 변환하기 위한 통계적 기법으로 음수데이터에는 불가능하여 양수데이터만 가능한 방법은?

☞ Box-Cox

문35. 표본에 대한 설명은?

☞ 표본 수가 커지면 신뢰구간의 추정 정확도가 높아짐

☞ 표본 수가 커지면 표본 오차가 줄고, 신뢰성이 높아짐

☞ 표본 통계량의 기대값이 모집단 모수와 같으면 불편추정량이라고 함

(오답: n 개수와 상관없이 표본의 평균은 모집단의 평균과 같음)

문36. 모델의 편향과 분산 관계에 대한 설명은?

☞ 모델이 복잡하면 편향이 작아지고, 분산이 커짐

☞ 모델이 단순하면 편향이 커지고, 분산이 작아짐

☞ 편향이 낮고 분산도 낮으면 좋은 모델임

☞ 편향과 분산은 상충관계임

문37. 차원축소로 할 수 있는 것은?

☞ 특징 추출

☞ 설명력 증가

☞ 노이즈 제거

(오답: 데이터 정제)

문38. 암 발생률과 소득의 상관관계를 다른 변수들을 제외하고 분석하고 싶을 때 사용하는 기법은?

☞ 편상관계수

문39. 다변량분산분석(ANOVA)에 대한 설명은?

☞ 독립변수 1개 이상, 종속변수 여러 개임

문40. 결측값 대치에 대한 설명은?

☞ 평균으로 대치하는 경우, 통계량의 표준오차가 과소추정 될 수 있음

☞ 단순확률대치법은 확률추출에 의해 전체 데이터 중 무작위 대치하는 방법임

☞ 최근접대치법은 결측치를 해당 데이터와 가장 유사한 값으로 대체하는 방법임

(오답: 자기회귀로 결측치를 대치하면 상관성이 ~~낮아지고~~ 분산이 커짐)

[3과목. 빅데이터 모델링]

문41. 다중공선성과 VIF에 대한 설명은?

☞ 다중회귀에서 독립변수 간에 선형회귀가 있으면 다중공선성이 있다고 할 수 있음

문42. 샘플링에 사용하는 기법은?

☞ Perfect Sampling

☞ Rejection Sampling

☞ Metropolis-Hastings Algorithm

(오답: EM Algorithm)

문43. 시퀀스투시퀀스에서 인코더를 통해 (A)가 만들어지고, 디코더가 (A)를 받아 출력시퀀스가 된다.

☞ (A) 커넥스트벡터

문44. 경사하강법에 대한 설명은?

☞ 모멘텀은 관성을 이용해 지역최소를 극복하고 전역최소를 찾아가는 방법임

문45. 매개변수와 초매개변수에 대한 설명은?

☞ 매개변수는 학습하며 갱신됨

☞ 은닉층의 수와 학습률은 초매개변수임

☞ 매개변수는 경사하강법으로 추정할 수 있음

(오답: 초매개변수는 학습이 진행되어도 바뀌지 않음)

문46. 서포트벡터머신(SVM)에 대한 설명은?

☞ 학습속도가 느림

☞ 과적합되는 경우가 적음

☞ 초매개변수의 최적화가 필요함

☞ 커널함수 여러 개가 존재할 수 있음

문47. '두 점 간 차를 제곱하여 합한 값의 양의 제곱근'은 어떤 거리인가?

☞ 유클리드 거리

문48. 부스팅에 대한 설명은?

☞ GBM은 가중치 업데이트에 경사하강법을 이용함

☞ 여러 개의 약한 학습기를 순차적으로 학습시키고 예측함

☞ LightGBM은 기존 트리 방식과 다르게 leaf 중심으로 분기함

(오답: XGBoost는 GMB을 개선한 방식이지만 GBM보다 속도가 느림)

문49. 의사결정나무에 대한 설명은?

☞ 설명력이 명확함

☞ 동질성이 커지는 방향으로 분기함

☞ 교호작용 효과 해석이 쉬움

문50. 인공신경망에서 마지막 은닉노드가 2개, 출력노드가 1개, 편향이 0.2일 때 출력값은? (은닉노드 값은 각각 0.2, 0.1, 가중치는 각각 0.4, 0.5임)

☞ 0.33 (= (0.2X0.4) + (0.1X0.5) + 0.2)

문51. 앙상블 모델에 대한 설명은?

☞ 여러 모델들을 결합하여, 과적합을 방지할 수 있음

☞ 대표적인 앙상블 기법들은 배깅, 부스팅, 스태킹이 있음

☞ 앙상블 모델은 여러 개의 모델을 조합하여 하나의 최종 결과를 도출함

(오답: 앙상블 모델이 단일 모델보다 항상 좋음)

문52. 앙상블 기법과 관련된 설명은?

☞ Voting - 투표를 통해 값을 결정함

☞ Bagging - 샘플을 여러번 뽑아 각 모델을 학습시켜 결과물을 집계함

☞ Stacking - 동일한 샘플로 다양한 유형의 모델을 학습함

(오답: Batch - 샘플 집합으로 주로 배깅에 활용됨)

문53. 신기술 적용 공정과 기존 공정간의 상대 위험도(RR)과 승산비(OR)은?

구분	불량 여부		합계
구분	불량	정상	합계
신기술 적용 공정	10	490	500
기존 공정	40	460	500
합계	50	950	1,000

☞ 상대 위험도: 0.25, 승산비: (0.02X0.92) / (0.08X0.98)

문54. 나이브 베이즈에 대한 설명은?

☞ 독립인 것을 가정함

☞ 별도의 학습과정을 거치지 않음

☞ 베이즈 룰을 사용해서 종속변수의 확률을 계산함

(오답: 나이브 베이즈는 사전/~~사후확률~~을 토대로 우도를 계산함)

문55. 결정계수에 대한 설명은?

☞ 결정계수=1은 종속변수의 변동이 모두 독립변수에 의해 설명된다는 것을 의미함

☞ 결정계수=0은 종속변수의 변동이 독립변수에 의해 설명되지 않는다는 것을 의미함

☞ 결정계수는 0~1 사이의 값임

문56. 비모수검정에 대한 설명은?

☞ 직관적으로 이해하기 쉬움

☞ 정규성 가정이 필요하지 않음

☞ 이상치에 대한 민감도가 모수검정보다 덜함

(오답: 모수검정보다 검정력이 높음)

문57. 과적합 방지 규제항 적용 시, 가중치 제곱합을 최소화하는 제약을 주는 기법은?

☞ Ridge

문58. 과적합 방지 방안은?

☞ 드롭아웃

☞ 배치 정규화

☞ 가중치 규제

(오답: 매개변수 증가 → 과적합 증가)

문59. 선형 회귀와 로지스틱 회귀에 대한 설명은?

☞ 종속변수가 범주형인 경우, 로지스틱 회귀를 사용함

☞ 선형/로지스틱 회귀 모두 MLE로 계수추정이 가능함

☞ 선형 회귀 계수를 최소제곱량(LSE)으로 추정하면, 불편추정량의 특성을 가짐

(오답: 선형/로지스틱 회귀 모두 잔차 정규성을 가정함)

문60. 모델의 배치에 대한 설명은?

☞ 배치 크기가 작으면, 훈련속도가 빨라짐

☞ 배치 크기가 크면, 메모리 문제가 발생함

☞ 배치 크기가 작으면, 노이즈가 생기며 모델의 학습에 악영향을 줌

(오답: 배치 크기는 훈련속도에 영향을 주지만 성능에는 영향이 없음)

[4과목. 빅데이터 결과 해석]

문61. 척도와 예시가 맞는 것은?

☞ 비율 척도 - 나이

☞ 명목 척도 - 성별

☞ 등간 척도 - 온도

(오답: 서열 척도 - 매출액)

문62. 불균형 데이터에 대한 설명은?

☞ 최적화된 모델의 학습이 어려울 수 있음

☞ 학습 시 클래스의 개수보다 클래스 간의 샘플 수 차이에 영향을 받음

☞ 불균형 데이터 집합에서는 정확도보다는 정밀도를 평가지표로 설정해야 함

(오답: 소수의 클래스는 ~~언더샘플링~~을 적용해 해결함 → 오버샘플링)

문63. 결측값을 대치하는 방법 중 회귀대치법에 대한 설명은?

☞ 대체할 결측값을 예측하기 위해 회귀분석을 사용함

☞ 데이터의 구조와 패턴을 반영하여 결측값을 대체할 수 있음

☞ 결측값이 없는 다른 변수를 이용하여 결측값이 있는 변수를 예측함

(오답: 독립변수와 종속변수 간의 관계가 약할 경우에도 ~~적용 가능함~~ → 예측값의 신뢰성이 저하됨)

문64. ROC 곡선에 대한 설명은?

☞ FPR 값에 따른 TPR 값의 그래프임

☞ FPR 값이 작아도 TPR 값이 클 수 있음

☞ 무작위인 경우, FPR과 TPR은 같은 곳으로 수렴함

(오답: AUC 값이 ~~작을수록~~ 좋은 모델임)

문65. 실제 Positive인 대상 중, Positive로 정확히 예측할 확률을 뜻하는 것은?

☞ 재현율(Recall)

문66. 혼동행렬을 활용하여 평가지표를 계산한 결과는?

구분		예측 값
구분		Positive	Negative
실제 값	Positive	48	12
실제 값	Negative	2	38

☞ 정확도 0.86 (= (TP+TN) / (TP+TN+FP+FN) = (48+38) / (48+38+2+12))

문67. 시계열 자료에서 예측 정확도를 측정하는 지표에 대한 설명은?

☞ MAE는 실제값과 예측값 차이를 절대값을 평균한 것

☞ MSE는 실제값과 예측값 차이를 제곱합을 평균한 것

☞ MPE는 상대적 예측 오차를 계산하는데 사용함

☞ MAPE는 실제값과 예측값의 차이를 실제값으로 나눈 값

문68. (A), (B), (C), (D)의 값은?

요인	제곱합	자유도	평균제곱	F값
회귀	18.667	2	(C)	(D)
잔차	2.78	(B)	0.31
합계	(A)	11

☞ (A) 21.447 / (B) 9 / (C) 9.334 / (D) 30.11

문69. 바이너리 변수에 대한 설명은?

☞ 두 가지 값만 가질 수 있는 변수임

☞ 성별, 출석상태 등이 바이너리 변수임

☞ 로지스틱 회귀와 같은 분류 모델에서 사용됨

(오답: 원-핫 인코딩은 ~~연속형~~ 데이터를 이진 형식으로 변환함 → 범주형)

문70. k-fold 교차검증에 대한 설명은?

☞ 학습과 검증을 k번 반복해서 수행함

☞ k개로 나누어진 데이터 셋은 각각 한 번씩만 검증용으로 사용함

☞ k-1개 데이터 셋은 학습용, 1개 데이터 셋은 검증용으로 사용함

(오답: 폴드의 크기가 작을수록 모델 성능이 ~~떨어짐~~)

문71. 교차검증에 대한 설명은?

☞ 교차검증은 모델의 훈련시간이 증가함

☞ k-폴드 교차검증은 k번의 학습과 검증을 진행함

☞ 학습 데이터에서의 평균제곱오차 값은 대개 검증 데이터에서의 평균제곱오차 값보다 작음

(오답: 시계열 데이터에서 학습/검증데이터는 같은 시간대에 있어야 함 → 학습 데이터가 먼저여야 함)

문72. (A)는 지역별 코로나 발생률, (B)는 월별 코로나 발생률이며, (A)와 (B)에 적합한 인포그래픽은?

☞ (A) 지도 인포그래픽, (B) 타임라인 인포그래픽

문73. 기초통계량과 그래프로 확인하는 것은?

☞ 결측치

☞ 이상치

☞ 데이터 분포

(오답: 통계적 유의성)

문74. 분석 결과 활용 계획에 대한 설명은?

☞ 내/외부 교육 훈련 방안도 포함함

☞ 분석 결과에 대한 지속적인 모니터링이 필요함

☞ 분석 결과 활용 효과 측정을 위한 성과지표도 마련되어야 함

(오답: 분석 결과 활용 계획은 분석 모형 리모델링 후 수립함)

문75. 데이터 시각화의 순서는?

☞ 데이터 획득 → 데이터 구조화 → 데이터 마이닝 → 시각화모델 선택 → 시각화 표현

문76. 지역별 매출과 수익을 시각화하기에 적절한 방법은?

☞ 매출: 코로플레스맵, 수익: 버블차트

문77. 국회의원 선거에서 지역 면적이 아니라, 지역구 당선 국회의원 수에 따라 시각화 할 때 적합한 시각화 도구는?

☞ 카토그램

문78. 모자이크 플롯에 대한 설명은?

☞ 변수에 속한 값의 분포를 시각적으로 표현함

☞ 두 개 이상의 범주형 데이터의 상관관계를 나타냄

☞ 열의 너비는 가로 축에 표시된 관측치 수에 비례함

문79. 박스 플롯에 대한 설명은?

☞ IQR은 3사분위수 - 1사분위수로 계산함

☞ 박스의 중앙에 가로선은 중앙값을 의미함

☞ 박스의 맨 위 가로선은 최대값, 맨 아래 가로선은 최소값을 의미함

문80. F1-score 계산식은?

☞ F1-score = 2 X (Precision X Recall) / (Precision + Recall)

[빅데이터분석기사/실기] 실기 개요 및 시험 환경 체험

✨️데이터분석가✨️ — Tue, 26 Nov 2024 16:14:44 +0900

빅데이터분석기사 실기 개요

시험일정	- 연 2회 (보통 6월, 11월)
시험시간	- 180분 (3시간)
시험환경	- CBT, 크롬
언어선택	- 파이썬 or R
제약사항	- 코드 라인별 실행, 그래프(시각화) 기능, 단축키, 자동완성 기능 미제공 - 코드 실행 시간 1분 내로 제한 (초과 시, 강제 실행 취소) - 패키지 추가 설치 불가 (제공된 패키지만 이용가능)
합격기준	60점 이상 (과락 없음)
시험과목	제1유형 : 30점 (3문항), 데이터 전처리 결과 제출 제2유형 : 40점 (1문항), csv 파일로 코드 제출 제3유형 : 30점 (2문항), 답안 제출
자격조건	필기시험 면제기간은 필기합격자 발표일로부터 2년

실기시험 응시 환경 체험

체험환경	https://dataq.goorm.io/exam/3/체험하기/quiz/1
시험화면
메모장 기능
문제 이동 기능

[빅데이터분석기사/필기기출] 4회 기출문제(22년 4월)

✨️데이터분석가✨️ — Sun, 24 Nov 2024 23:45:30 +0900

[1과목. 빅데이터 분석기획]

문1. HDFS에 대한 설명은?

☞ GFS 기반으로 만듬

문2. 인공지능학습에 대한 설명은?

☞ 지도학습은 데이터의 정답지가 주어진 상태로 학습하는 것

☞ 강화학습은 특정 조건에서 최적의 행동을 선택하도록 하는 학습방법임

☞ 강인공지능은 인간의 지성을 컴퓨터 정보처리능력으로 구현한 시스템

(오답: 훌륭한 알고리즘을 보유했다면 ~~학습을 생략해도 됨~~)

문3. 분산 파일 시스템에 대한 설명은?

☞ 여러 컴퓨터를 하나의 서버 환경처럼 연결하여 데이터를 저장, 처리하는 시스템

문4. 분석 로드맵을 수립할 때 고려해야 할 항목은?

☞ 비지니스 성과 및 ROI

☞ 시급성 및 중요도

☞ 실현 가능성

(오답: 분석모델 활용 방안)

문5. DIKW 피라미드 요소 중 지혜에 해당하는 것은?

☞ 초밥도 A마트가 B마트보다 저렴할 것임

문6. 빅데이터 분석 기획 절차는?

☞ 비즈니스 이해 및 범위 설정 → 프로젝트 정의 → 프로젝트 수행 계획 수립 → 프로젝트 위험관리 계획 수립

문7. 개인정보 비식별화에 대한 설명은?

☞ 개인을 알아볼 수 없도록 하는 조치임

☞ 비식별 조치 후에도 모니터링과 기술적 보호 조치를 수행해야 함

☞ 비식별 정보는 사전에 개인정보 해당 여부에 대하여 검토하고, 개인정보가 아닌 것은 활용 가능하도록 함

(오답: 제3자 제공이 가능하며, ~~불특정 다수에 대한 공개가 가능함~~)

문8. 개인정보 비식별화 기술에 대한 설명은?

☞ 범주화는 데이터의 값을 범주의 값으로 변환하여 값을 변경하는 기술

☞ 가명처리는 개인 식별에 중요한 데이터를 식별할 수 없는 다른 값으로 변경하는 기술

☞ 총계처리는 데이터의 총합 값으로 처리하여 개별 데이터의 값을 보이지 않도록 하는 기술

(오답: 데이터 마스킹은 ~~개인 식별에 중요한 데이터 값을 삭제하는 것~~ → * 등 기호를 이용하여 값을 가리는 것)

문9. 빅데이터 처리 플랫폼 특징 중 3V에 해당하는 것은?

☞ 규모

☞ 속도

☞ 다양성

(오답: 가치 → 5V에 해당)

문10. 분석과제 난이도를 하향 조정하여 우선순위를 조정할 때, 고려사항은?

☞ 업무 내재화 범위

☞ 분석과제 수행 범위

☞ 분석 데이터의 적용 수준

(오답: 투자비용)

문11. 인메모리 기반의 데이터 처리 오픈소스 플랫폼은?

☞ 아파치 스파크

문12. 빅데이터 분석 모델링 과정에서 수행하는 업무는?

☞ 데이터 셋 분할

☞ 데이터 모델링

☞ 분석 모델 적용 및 운영 방안 수립

(오답: 프로젝트 성과 관리 및 평가 보고 → 평가 및 활용 단계)

문13. 정형 데이터와 비정형 데이터에 대한 설명은?

☞ 동영상, 오디오 데이터는 비정형 데이터임

☞ 형태소는 비정형 데이터를 분석하기 위한 단어임

☞ 반정형 데이터는 정형과 반정형 성질을 모두 갖고 있음

(오답: JSON과 XML은 ~~비정형 데이터~~임 → 반정형 데이터)

문14. 고품질 데이터의 특성은?

☞ 정확성

☞ 완전성

☞ 적시성

☞ 일관성

문15. 시스템의 전방에 위치하여 클라이언트로부터 다양한 서비스를 처리하고, 내부 시스템으로 전달하는 미들웨어는?

☞ API 게이트웨이

문16. 데이터 3법은?

☞ 개인정보보호법

☞ 신용정보의 이용 및 보호에 관한 법률

☞ 정보통신망 이용 촉진 및 정보보호 등에 관한 법률

(오답: 정보통신산업 보호법)

문17. 공공데이터 포털에서 제공하는 파일 형식은?

☞ CSV

☞ XML

☞ JSON

(오답: SQL)

문18. 원시 데이터셋 형태로 저장하는 단일한 데이터 저장소는?

☞ 데이터레이크

문19. 데이터에 노이즈를 추가하여 개인정보보호와 데이터분석을 모두 진행할 수 있는 개인정보보호기법은?

☞ 개인정보 차등보호

문20. 빅데이터 저장기술은?

☞ NoSQL

[2과목. 빅데이터 탐색]

문21. 축구 선수의 경우, 일반적인 선수와 탑플레이어 선수의 연봉의 차이가 매우 크다. 축구 선수의 연봉 데이터를 활용하여 팀별 연봉 대푯값을 산출한다고 할 때 의미 있는 통계량은?

☞ 중앙값

(오답: 평균, 범위, 분산)

문22. 가설검정에서 제1종 오류를 범할 확률은?

☞ 유의수준

문23. 시공간 데이터는?

☞ 지도 데이터

☞ 격자 데이터

☞ 패턴 데이터

(오답: 패널 데이터)

문24. 이상값을 찾는 방법에 대한 설명은?

☞ 박스플롯과 산점도 등에서 멀리 떨어진 값을 찾음

☞ 표준정규분포에서 표준편차가 3 이상인 값을 찾음

☞ 도메인 지식에서 이론적이나 물리적으로 맞지 않는 값을 찾음

(오답: 가설 검정의 노이즈 값을 찾음)

문25. 상관관계에 대한 설명은?

☞ 상관계수가 0이면, 상관성이 낮음

☞ 상관계수는 -1 ~ 1 범위에 해당함

☞ 산점도로 상관관계를 알 수 있음

(오답: 결정계수의 제곱임 → )

문26. 평균이 150, 분산이 16인 분포 X에 대해 Y = (X-150) / 4 로 변환하면, Y는 어떤 분포를 따르는가?

☞ N(0, 1), 표준정규분포

문27. 박스플롯에서 3Q보다 항상 작은 값을 갖는 것은?

☞ 중앙값

문28. 주성분 분석에 대한 설명은?

☞ 기존 변수들을 선형 결합하여 새로운 변수를 만듬

☞ 주성분들이 설명하는 분산이 최대한 커지도록 함

☞ 데이터가 이산형, 연속형인 경우에 사용함

(오답: 주성분 분석의 결과와 해석을 ~~직관적으로 이해할 수 있음~~)

문29. A에서 주어진 점들까지 맨해튼 거리를 구할 때 두번째로 먼 곳까지의 거리는? A(1,1) B(1,2) C(2,2) D(4,1)

☞ 2, C

문30. 제품A, B, C의 생산률은 각각 50%, 30%, 20%이며, 불량률은 1%, 2%, 3%이다. 품질검사에서 불량이 나온 경우, 해당 제품이 A제품일 확률은?

☞ 29.41% (= (50%X1%) / (50%X1% + 30%X2% + 20%X3%) )

문31. 비정형 텍스트 데이터 전처리 기법은?

☞ Stemming

☞ Tokenizing

☞ Pos tagging

(오답: Streaming → 실시간 스트리밍 데이터 수집 기법)

문32. 항목 집합의 지지도를 산출하여 발생 빈도와 최소지지도를 기반으로 거래의 연관성을 밝히는 알고즘은?

☞ Apriori, 연관규칙분석

문33. 오른쪽으로 긴꼬리인 경우, 통계량의 관계는?

☞ 왜도 > 0, 최빈값 < 중위수 < 평균

문34. 포아송분포에 대한 설명은?

☞ 기댓값과 분산이 동일한 확률분포임

☞ 단위시간 안에 사건이 몇 번 발생하는 것을 표현하는 이산확률분포임

☞ 특정 시간대에 은행창구에 도착한 고객수, 책 한페이지당 오탈자수 등이 포아송의 예임

(오답: 이항분포가 n이 커지고, 성공확률 ~~p가 1에 가까우면~~ 포아송분포가 됨 → p가 0에 가까우면)

문35. 평균 x 바, 표준편차 σ인 확률변수에 대하여, X₁ + X₂의 표준편차는?

☞ √2σ

문36. 머신러닝 수행 시 학습 데이터가 불균형한 경우, 해결할 수 있는 방법에 대한 설명은?

☞ 불균형 상태 그대로 머신러닝 모델로 예측하면 과적합 문제가 발생할 수 있음

☞ 과소표집기법은 유의미한 데이터만 남길 수 있다는 장점이 있지만, 정보가 유실된다는 단점이 있음

☞ 과대표집기법은 정보의 손실을 막을 수 있지만, 새로운 테스트 데이터가 추가되면 모델의 결과가 나빠짐

(오답: 가중치가 높은 클래스를 더 예측하려고 하여 정확도는 ~~낮아지고~~ 분포가 작은 클래스의 재현율은 ~~높아짐~~)

문37. 표준화와 자료분포에 대한 설명은?

☞ 표준화는 단위가 다른 자료를 평균=0, 분산과 표준편차=1이 되도록 변환하는 과정

문38. 변동계수에 대한 설명은?

☞ 상대표준편차라고도 함

☞ 단위가 다른 두 데이터 비교 시, 단위에 영향을 받지 않는 변동성 척도임

☞ 평균과 표준편차를 나누어서 서로 다른 단위의 산포도를 비교할 수 있음

(오답: 표준편차와 분산을 사용하여 두 가지 자료의 산포도를 측정할 수 있음)

문39. 초기하 분포에 대한 설명은?

☞ 이산형 확률분포를 따름

☞ 복원 추출하는 경우, 이항분포를 사용해야 함

☞ 비복원 추출로 인해 각 시행의 성공확률은 일정하지 않음

(오답: 각 시행의 성공확률은 ~~상호 독립적임~~ → 비복원 추출이라 다음 시행의 성공 여부에 영향을 줌)

문40. Boxplot으로 확인할 수 있는 통계량은?

☞ 중앙값

☞ 이상값

☞ 사분위수범위

(오답: 분산)

[3과목. 빅데이터 모델링]

문41. 텍스트 마이닝에서 문장 2개 이상의 단어로 분리하는 방법은?

☞ N-gram

문42. 선형회귀 모형의 가정에 대한 특성은?

☞ 선형성

☞ 독립성

☞ 정규성

☞ 등분산성

문43. 비지도학습이란 타겟 변수의 (A)이 안 된 모형을 의미하며, 대표적인 모형 예시는 (B)가 있다.

☞ (A) 라벨링, (B) 인공신경망모형

문44. 앙상블 모형에 대한 설명은?

☞ 배깅은 여러 개의 부트스트랩 자료를 생성하고 각 부트스트랩 자료에 예측모형을 만든 후 결합하여 최종 모형을 만드는 방법임

☞ 부스팅은 예측력이 약한 모형을 순차적으로 결합하여 점점 예측력이 강한 모형으로 변화시키는 앙상블 방법임

☞ 랜덤포레스트는 의사결정나무를 여러 개 결합하여 분석하는 모형으로 배깅에 속함

☞ 앙상블 모형은 훈련을 한 뒤 예측에 사용하므로 지도학습에 해당함

문45. 군집분석의 척도로 2차원 공간에서의 피타고라스 정리로 측정하며, L2 거리로 불리는 것은?

☞ 유클리드 거리

문46. 단층 인공신경망에서 수행할 수 있는 논리 문제는?

☞ OR

☞ AND

☞ NOR

(오답: XOR)

문47. 오토인코더 모형에 대한 설명은?

☞ 신경망을 활용한 비지도 학습 기법임

☞ 입력 특성 간 상관관계를 학습하여 출력을 재구성함

☞ 인코드 입력수와 디코드 출력수는 동일함

(오답: 입력층의 뉴런 수는 은닉층의 뉴런 수보다 항상 작음)

문48. 의사결정나무에 대한 설명은?

☞ 두 범주 간의 차이가 없으면 분리를 멈춤

☞ 과적합 방지를 위해 가지치기 작업을 수행함

☞ 지니 지수, 엔트로피 지수 등으로 분리규칙을 설정함

(오답: 이산형 목표변수에만 적용 가능함 → 연속형도 가능)

문49. ROC Carve에 대한 설명은?

☞ 분류분석 결과의 성과분석을 위한 그림임

☞ AUC는 ROC 곡선 아래 면적을 의미함

☞ AUC가 클수록 좋은 분류모형의 결과를 보임

(오답: ROC 곡선의 ~~y축은 1-특이도~~, ~~x축은 재현율~~임 → y축 재현율, x축 1-특이도)

문50. 시계열 자료의 성분이 아닌 것은?

☞ 계절 성분

☞ 추세 성분

☞ 불규칙 성분

(오답: 주기 성분)

문51. 혼동행렬로부터 계산 가능한 평가지표는?

☞ 정확도

☞ 재현율

☞ 정밀도 ☞ F1 점수

문52. 불균형 데이터를 평가하기 위한 분류모형의 지표는?

☞ 민감도

☞ 특이도

☞ ROC곡선

(오답: 정확도)

문53. 비모수통계 검정법은?

☞ 부호검정

☞ 크루스칼-왈리스 검정

☞ 윌콕슨 부호순위 검정

(오답: 맥니마 검정)

문54. 로지스틱 회귀분석에서 임의의 사건 A가 발생하지 않을 확률 대비 일어날 확률의 비율을 뜻하는 것은?

☞ 승산(odds)

문55. 계층적 군집분석에 대한 설명은?

☞ 덴드로그램으로 표현할 수 있음

☞ 군집 수를 사전에 설정하지 않아도 됨

☞ N개의 군집으로 시작하여 군집 간 거리를 기준으로 가장 가까운 군집끼리 병합함

(오답: K 평균 군집 분석 → 비계층적 군집분석)

문56. 데이터를 학습/검증/시험 세트 세 가지로 분할하는 방법은?

☞ Holdout

문57. k-fold 교차검증을 수행하는 절차에 알맞은 말은?

① 학습 데이터를 k개의 fold로 나눈다.

② k-1개 fold는 (A), 나머지 한 개는 (B)에 사용하여 모형 성능을 계산한다.

③ 교차 검증 결과 (C)개의 성능 평균값을 얻는다.

☞ (A) 학습, (B) 검증, (C) k

문58. 과대적합을 방지하기 위한 기법은?

☞ 드롭아웃

☞ L2 규제

☞ 배치 정규화

(오답: 활성화함수 적용)

문59. (A)는 모집단에 대한 사전정보가 없는 경우 주어진 관측값 사이의 유사성을 이용하여 전체를 몇 개의 집단으로 그룹화하여 각 집단의 성격을 파악하는 (B) 기반의 분석법이다. 이 분석방법은 군집 내 응집도와 군집 간 분리도를 최대화하도록 군집을 형성해야 한다. 군집분석의 대표적인 방법 중 하나인 (C)는 가장 유사한 개체를 묶어 나가는 과정을 반복하여 원하는 개수의 군집을 형성하는 방법으로 분할적/병합적 방법이 있다. 이 때 군집의 결과는 (D)을 통해서 시각화하여 보여줄 수 있다.

☞ 군집분석, 비지도학습, 계층적군집분석, 덴드로그램

문60. 인공신경망 모형에 대한 설명은?

☞ 두뇌 신경세포인 뉴런을 기본으로 한 학습 기법임

☞ 딥러닝의 기본구조로 DNN은 은닉층을 2개 이상 가짐

☞ 다층 퍼셉트론의 문제점들을 해결하기 위해 등장한 딥러닝임

(오답: 낮은 복잡성으로 모델 해석이 용이함)

[4과목. 빅데이터 결과 해석]

문61. 시공간 시각화 기법은?

☞ 카토그램

문62. 초매개변수의 최적화 기법은?

☞ 랜덤 탐색

☞ 그리드 탐색

☞ 베이지안 최적화

(오답: 경사하강법, 모멘텀, AdaGard, RMSProp, Adam → 매개변수 최적화 기법)

문63. 히트맵에 대한 설명은?

☞ 칸의 색상을 이용해 값의 크기를 나타냄

☞ 행은 관측치, 열은 변수를 나타냄

(오답: 색이 진할수록 값이 작고, 연할수록 값이 큼)

문64. 분류모형 평가지표에 대한 설명은?

☞ 특이도는 실제 거짓인 데이터 중 모형이 거짓으로 예측한 데이터의 비율임

☞ F1 스코어는 정밀도와 재현율의 조화평균으로 데이터가 불균형일 경우 사용하는 지표임

☞ 참긍정률은 실제 참인 데이터 중 모형이 참으로 예측한 데이터의 비율이며 민감도와 같음

(오답: 거짓긍정률은 실제 거짓인 데이터 중 모형이 참으로 예측한 데이터의 비율이며, ~~1-민감도~~와 같음 → 1-특이도)

문65. 시각화 기법 중 용도가 다른 것은?

☞ 등치지역도

☞ 도트 플롯 맵

☞ 버블 플롯 맵

(오답: 히트맵 → 비교 시각화 기법)

문66. K-Fold 교차검증에 대한 설명은?

☞ 과대적합 방지를 위해 사용함

☞ 전체 데이터를 k개의 서브셋으로 분리함

☞ k번 반복한 후, 평균을 내어 모델의 성능을 평가함

(오답: 하나의 데이터는 훈련데이터로 k번 사용됨 → k-1번)

문67. 분석모형 진단에 대한 설명은?

☞ 선형회귀 모형은 선형성, 독립성, 등분산성, 정규성 가정하에서 분석함

☞ 등분산성은 잔차의 분산이 일정해야 함을 말하며, Q-Q Plot으로 시각적으로 판단할 수 있음

☞ 분석모형 진단은 분석에 사용된 데이터가 분석모형의 가정을 제대로 만족하고 있는지 확인하는 절차임

(오답: 독립성은 독립변수들 간에 독립성이 ~~없어야 함을~~ 말하며, 잔차 산점도를 통해서 시각적으로 판단할 수 있음)

문68. 혼동행렬 표에 대한 설명은?

구분		예측 값
구분		불량	정상
실제 값	불량	10	5
실제 값	정상	10	75

☞ 정확도는 0.85, 특이도는 0.88, 참긍정률은 0.67임

문69. 회귀모형 평가 지표에 대한 설명은?

☞ RMSE의 값은 0에 가까울수록 좋음

☞ 회귀모형의 실제값과 예측값의 차이를 잔차라고 함

☞ 결정계수가 1에 가까울수록 회귀식이 실제값을 정확히 표현함을 의미함

(오답: 설명변수의 개수가 많아질수록 결정계수는 ~~작아짐~~)

문70. 과대적합과 과소적합에 대한 설명은?

☞ 과대적합일 경우, 일반화 성능이 좋지 않음

☞ 과대적합일 경우, 모형의 복잡도는 상대적으로 높음

☞ 과소적합일 경우, 학습데이터에서는 성능이 낮게 나타남

(오답: 과소적합일 경우, 검증데이터에서는 성능이 높게 나타남 )

문71. 매개변수 최적화에 대한 설명은?

☞ 분석 모형의 결괏값과 실제값의 차이를 손실함수로 표현함

☞ 분석 모형 학습은 학습 데이터로부터 손실함수의 값을 가장 작게 만드는 매개변수의 최적 값을 찾아가는 과정임

☞ 매개변수 최적화 기법은 경사하강법, 모멘텀, AdaGard, RMSProp 등의 방식이 있음

(오답: 매개변수 최적화를 통해 하이퍼파리미터가 튜닝됨)

문72. 가중치 매개변수에 대한 손실함수의 기울기를 통해 최적값을 구하는 방법이다. 이 때 최적값은 학습 데이터 전체를 대상으로 이루어진다. 전체 데이터에 대해서 업데이트가 이루어지므로 연산횟수가 적고 부드럽게 수렴하는 특성이 있지만, 학습 시간이 오래 걸리고 로컬 최적화에 빠질 위험이 있는 것은?

☞ 배치 경사하강법

문73. ROC 그래프에 대한 설명은?

☞ 민감도가 1, 특이도가 0인 점을 지남

☞ 민감도가 0, 특이도가 1인 점을 지남

☞ 가장 이상적인 그래프는 민감도가 1, 특이도가 1인 점을 지남

(오답: 특이도가 증가하는 그래프임)

문74. 상관성 분석에 대한 설명은?

☞ 수치적 데이터의 상관성 분석 방법으로는 피어슨 상관계수가 있음

☞ 순서적 데이터의 상관성 분석 방법으로는 스피어만 순위상관계수가 있음

☞ 세 개 이상의 변수 사이의 상관성 분석은 다변량 상관분석임

(오답: 명목적 데이터의 상관성 분석은 ~~T-검정~~을 이용함 → 카이제곱검정)

문75. 분류모형 평가에서 복원추출 방식을 사용하여 훈련용 데이터 선정을 충분히 한다고 가정할 때, 전체 관측치 대비 훈련용 데이터셋의 비율로 적절한 것은?

☞ 60.0%

문76. 히스토그램에 대한 설명은?

☞ 도수분포표로 변환할 수 있음

☞ 왼쪽으로 치우쳐 있으면 데이터 값이 낮은 구간에 몰려있다는 의미임

☞ 누적히스토그램의 마지막 막대 데이터는 전체 데이터의 총 수를 의미함

(오답: 정규분포를 이루는 데이터의 누적히스토그램 ~~기울기는 1임~~ → 기울기 1은 모든 구간 값이 동일해야 함)

문77. 군집분석 모델을 시각화하는 방법은?

☞ 산점도

문78. 분석 결과 활용 시나리오에 대한 설명은?

☞ 필요에 따라 적절한 차트와 시각화 도구를 선택하여 사용할 수 있음

☞ 이해관계자들에게 분석결과를 효과적으로 제공할 수 있는 의사소통수단으로 활용할 수 있음

☞ 활용시나리오를 통해 분석결과로부터 인사이트를 발굴하여 의사결정에 반영하는 방법을 선택할 수 있음

(오답: 분석의 목적을 명확히 하는 것에 주안점을 두고 개발함 → 과제 정의서 작성/기획)

문79. 인포그래픽의 조건은?

☞ 적절한 스토리

☞ 차트/다이어그램을 사용함

☞ 데이터를 통해 메시지를 전달함

(오답: ~~최대한 많은 정보~~를 담음 → 중요 정보)

문80. 분석모형 리모델링에 대한 설명은?

☞ 분석모형의 성능이 크게 떨어졌을 경우 수행함

☞ 새로운 데이터셋을 추가하거나 새로운 알고리즘을 반영할 수 있음

☞ 최종 분석모형을 선정할 때는 기존 분석 모형과 비교하는 과정이 필요함

(오답: 최신 데이터를 활용하여 ~~주기적으로 수행~~해주어야 함)

[빅데이터분석기사/필기기출] 5회 기출문제(22년 10월)

✨️데이터분석가✨️ — Thu, 3 Oct 2024 22:09:44 +0900

[1과목. 빅데이터 분석기획]

문1. 빅데이터 분석 기획 과정의 WBS를 작성하는 단계는?

☞ 프로젝트 계획 수립

문2. CRISP-DM 방법론의 프로세스는?

☞ 비즈니스 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개

문3. 인공지능, 머신러닝, 딥러닝의 상호관계는?

☞ 인공지능 > 머신러닝 > 딥러닝

문4. 관계형 데이터베이스 기반 구조를 하둡 기반으로 전환하고, 이를 모니터링하는 직무는?

☞ 데이터 엔지니어

문5. 개인정보 비식별화 조치에 대한 설명은?

☞ 총계 처리는 개별 데이터의 값을 데이터의 총합으로 대체하는 것을 의미

☞ 가명 처리는 개인정보 중 주요 식별정보를 다른 값으로 대체하는 것을 의미

☞ 데이터 마스킹은 개인정보 중 주요 식별정보의 전체 또는 부분적으로 대체하는 것을 의미

(오답: 데이터 범주화는 ~~개인정보 중 주요 식별정보를 삭제하는 것~~을 의미 → 해당 그룹의 대표 값 or 구간 값으로 대체하는 것을 의미)

문6. 데이터 품질진단 절차에서 데이터를 측정하고 분석하여 수치를 산출하는 단계는?

☞ 데이터 품질측정

문7. 개인정보보호법 관련 설명은?

☞ 데이터 처리 사실 및 목적 등 공개를 통해 투명성을 확보해야 함

☞ 데이터 3법은 개인정보보호법, 정보통신망법, 신용정보법의 개정안임

☞ 개인정보가 재식별될 경우 즉시 파기하거나 비식별화 조치를 추가로 해야 함

(오답: 데이터 3법 개정으로 가명처리 후 활용 시 ~~정보주체의 동의가 필요함~~ → 가명처리 후 정보주체 동의 없이 활용 가능함)

문8. 관계형 데이터처럼 테이블 형태로 구조화되어 있지 않지만, 메타데이터의 특성을 갖고 있는 데이터는?

☞ 반정형 데이터

문9. 총계 처리 기법의 단점은?

☞ 집계 처리되어 정밀한 분석이 어려움

☞ 재배열 방법의 경우 개인의 특성을 파악하기 어려움

☞ 데이터 양이 적을 경우 데이터 결합 과정에서 개인정보 예측이 가능함

(오답: 총계 처리는 ~~비식별화가 불가능함~~ → 개인정보 비식별화 기법임)

문10. 자료 수집 방법에 대한 설명은?

☞ FGI는 전문가 설문조사 후, 온/오프라인 면담을 수행함

☞ 브레인스토밍은 참여자들이 자유롭게 생각을 나열하고 아이디어를 제시하는 방식

☞ 스캠퍼는 창의적 문결 해결 기법으로, 기존 아이디어를 다양한 방법으로 발전시키는 것

문11. 데이터 수집 기술에 대한 설명은?

☞ 스쿱 : 관계형 데이터베이스 시스템(DBMS)에서 하둡 파일 시스템(HDFS)으로 커넥터를 이용하여 데이터를 수집할 수 있는 기술

☞ 크롤링 : 웹 사이트에서 SNS, 뉴스 등 웹 문서 및 콘텐츠를 수집할 수 있는 기술

☞ API : 시스템 간 연동을 통해 실시간으로 데이터를 수집할 수 있는 기술

(FTP : 여러 서버로부터 로그 파일 등을 실시간으로 수집할 수 있는 기술 → 시스템 간에 파일을 공유하기 위한 기술)

문12. 특정 분야에서 학습된 신경망을 다른 분야의 신경망 학습에 활용하는 방법은?

☞ 전이학습(Transfer Learning)

문13. 데이터 분석 방법론 프로세스에서 데이터를 이해하고 수집하는 단계는?

☞ 데이터 준비

문14. 데이터 및 자원 할당 관리, 빅데이터 어플리케이션 실행을 위한 서비스를 제공하는 빅데이터 플랫폼 계층 구조는?

☞ 플랫폼 계층

문15. 병렬 DBMS의 특성은?

☞ 다수의 마이크로프로세서를 동시에 사용함

☞ 데이터 처리가 빠름

☞ 시스템 용량 확장이 쉬움

(오답: 데이터 ~~중복값이 증가함~~ → 데이터를 중복하여 저장하지 않음)

문16. 빅데이터 분석에 대한 설명은?

☞ 개인 프라이버시 침해 위험이 있음

☞ 신제품의 판매량을 예측할 수 있음

☞ 공공부문에서 비용을 절감할 수 있음

(오답: 항상 경제적으로 이익을 얻을 수 있음)

문17. 여러 시스템에서 필요한 원천 데이터를 추출하고 변환하여 적재하는 기술은?

☞ FTP

문18. 예측을 위한 분석 방법은?

☞ 예측 분석

문19. 분석기획에서 비즈니스 계획 수립 절차는?

☞ 비즈니스 이해 및 범위 설정

☞ 프로젝트 정의 및 계획 수립

☞ 프로젝트 위험 계획 수립

(오답: 모델 발전 계획 수립 → 평가 및 전개 단계)

문20. 데이터 저장 기술은?

☞ RDB

☞ DFS

☞ NoSQL

(오답: 텍스트 마이닝)

[2과목. 빅데이터 탐색]

문21. 단위 시간 안에 발생한 특정 사건의 수를 표현하는 이산확률 분포는?

☞ 포아송 분포

문22. 모평균의 95% 신뢰구간을 구하는 식에서 Z값은?

☞ 1.96

문23. 임의로 추출된 20명에게 다이어트 약을 투여한 후, 약의 전후 효과를 비교하려고 한다. 약 투여 후, 체중이 줄었는지 검정하기 위한 분포는?

☞ 대응표본, 단측검정

문24. 공분산에 대한 설명은?

☞ X, Y가 독립이면, Cov(X,Y)=0임

☞ Cov(X,Y)=0이 아니면, 변수 간의 상관관계를 가짐

☞ Cov(X,Y)>0 이면, X값이 상승할 때 Y값도 상승하는 경향을 보임

(오답: Cov(X,Y)=0이면 X, Y는 항상 상호 독립임 → 선형관계가 없음을 의미함)

25. 클래스 불균형 데이터를 처리하기 위한 방안은?

☞ 가중치 균형방법

☞ 언더샘플링

☞ 오버샘플링

(오답: 정규화)

문26. 모집단의 표준편차를 알지 못하는 경우, 평균 차이에 대한 검정을 수행하는 분포는?

☞ 자유도 N-1, t분포

문27. 우하향하는 산점도의 피어슨 상관계수는?

☞ -0.9

문28. 분포가 한쪽으로 기울어진 변수를 분석하기 쉽게 변환하고자 할 때, 적절한 변수 변환 방법은?

☞ 로그 변환

문30. 데이터 양의 차이가 클 경우에 대한 전처리 기법은?

☞ 클래스 불균형 처리

문31. 표본분포에 대한 설명은?

☞ 표본 크기가 커질수록 표본 평균의 분산은 0에 가까워짐

☞ 중심극한정리는 모집단 분포와 상관없이 적용됨

☞ 모분산을 모르는 경우 정규분포 대신 t-분포를 사용함

(오답: 표본 크기와 관계없이 ~~표본평균의 기댓값은 항상 모평균과 동일함~~ → 표본 크기가 커질수록 표본평균은 모평균에 수렴함)

문32. 인코딩 기법에 대한 설명은?

☞ 레이블 인코딩은 각 범주를 숫자에 대치시킴

☞ 원 핫 인코딩을 적용하면 sparse한 데이터가 됨

☞ 원 핫 인코딩을 적용할 때보다 바이너리 인코딩을 적용할 때 모델 학습속도가 더 빠름

(오답: 타깃 인코딩은 종속변수 값들의 ~~표준편차를 활용함~~ → 범주형 특성을 인코딩하기에 표준편차에는 사용하지 않음)

문33. 데이터 변환 기술에 대한 설명은?

☞ 집계 : 데이터를 요약하거나 그룹화하여 통계적 정보를 얻음

☞ 일반화 : 데이터의 일반적인 특성/패턴을 추출하는 기술

☞ 정규화 : 데이터를 일정 범위로 조정하여 상대적인 크기 차이를 제거하고 데이터를 표준화하는 기술

(오답: 평활화 : ~~분산과 표준편차 등을 이용하여 데이터 특성을 파악함~~ → 데이터의 노이즈를 제거하여 데이터의 추세/패턴을 부드럽게 만드는 기술)

문34. 데이터 탐색에 대한 설명은?

☞ 히스토그램은 도수분포표를 이용하여 표본의 자료분표를 시각화 함

☞ 파이차트의 원의 면적은 상대도수를 이용함

☞ 산점도로 이상치를 확인할 수 있음

(오답: 박스플롯 제1사분위는 ~~75백분율~~ 데이터를 의미함 → 25백분율)

문35. 정규분포를 다루는 확률분포에서 모집단으로부터 표본의 크기가 4개인 확률변수를 추출한다. X₁, X₂, X₃, X₄는?

☞ 표본은 정규분포를 따름

☞ 표본표준편차는 모집단의 표준편차를 2로 나눈 값임

☞ 표본크기를 늘리면 표본평균은 모집단 평균에 가까워짐

(오답: ~~X₂, X₃는 서로 종속임~~ → 알 수 없음)

문36. 데이터 변수 척도에 대한 설명은?

☞ 회귀분석을 위해 명목형 척도를 더미변수화 함

☞ 크기(소/중/대) 구분은 순서형 척도임

☞ 데이터 값이 정수인 경우 수치형 척도에 해당함

(오답: 연속형 척도와 ~~범주형 척도~~는 평균/표준편차와 같은 기술 통계량을 구할 수 있음)

문37. 점으로 값을 표현한 시각화 기법은?

☞ 산점도

문38. 일부 응답 값이 누락되어 대치하는 경우, 대푯값으로 적절한 것은?

☞ 중앙값

문39. 확률분포에 대한 설명은?

☞ 이산확률분포에는 이항분포, 포아송분포가 있음

☞ 확률질량함수는 이산확률변수의 확률분포를 나타내는 함수임

☞ 확률밀도함수의 면적이 그 구간에 해당하는 확률값임

(오답: 연속확률분포에는 ~~초기하분포~~, 지수분포가 있음)

문40. 상자 수염 그림과 이상치에 대한 설명은?

☞ 상자 범위는 Q1~Q3임

☞ IQR의 1.5배 이내 데이터는 이상치가 아님

☞ 상자 수염 그림에서 중앙값을 확인할 수 있음

(오답: 수염보다 바깥쪽에 존재하는 모든 데이터들은 이상치임 → 모두는 아님)

[3과목. 빅데이터 모델링]

문41. 분석 모형 선정에 대한 설명은?

☞ 데이터 특성에 따라 적용 가능한 분석모형이 다름

☞ 비지도 학습을 통해 데이터 패턴 도출이 가능함

☞ 소셜 네트워크 분석으로 사회적 관계를 시각화할 수 있음

(오답: 비용민감함수는 ~~주요인자 분석에 사용함~~ → 불균형 데이터에 사용함)

문42. 시간에 따른 일별 기온 변화를 표현할 수 있는 기법은?

☞ 시계열 분석

문43. 드롭아웃 효과와 동일한 효과를 가지는 기법은?

☞ 데이터 증강

문44. k-fold 교차 검증에 대한 설명은?

☞ 데이터를 k개로 나눔

☞ 데이터 양이 충분하지 않을 때 사용되는 편임

☞ 평가 데이터를 제외한 나머지 데이터는 검증에 최소 한 번 사용됨

(오답: 훈련, 검증, 평가 데이터 셋을 2:3:5 비율로 구성함 → 홀드아웃 교차 검증)

문45. 인공신경망 모형에서 과적합을 방지할 수 있는 방법은?

☞ 정규화

☞ 드롭아웃

☞ 조기 종료

(오답: 가지치기)

문46. 덴드로그램 그래프에서 h=4 기준으로 군집 분리 시, 묶이는 군집의 개수는?

☞ 2개

문47. 텍스트 마이닝 기법으로 단어를 벡터화하는 변환 기법은?

☞ TF-IDF

☞ One-hot encoding

☞ Word Embedding

(오답: Pos-tagging)

문48. 회귀 분석 모형에서 변수를 선택하는 방법은?

☞ 전진 선택법

☞ 후진 제거법

☞ 단계적 선택법

(오답: 차수 선택법)

문49. 모형 선정에 대한 설명은?

☞ 나이브 베이즈 모델은 범주형 독립변수 및 종속변수를 사용함

☞ 일반적으로 설명력이 좋은 모형은 예측력이 떨어짐

☞ SOM은 비지도 학습에 속함

(오답: 단순한 모형보다 복잡한 모형이 ~~무조건 좋음~~)

문50. 로지스틱 회귀에 관한 설명은?

☞ y값이 0~1 사이 값을 가지고 이진 분류함

문51. 시계열 모형 기법인 ARIMA 모형에 대한 설명은?

☞ 정상성을 보이는 시계열은 추세나 계절성이 없음

☞ AR모델은 변수의 과거 값을 이용함

☞ MA모델은 과거 예측 오차를 이용함

(오답: 백색 잡음은 ~~서로 독립적이지 않음~~ → 정상 시계열로 서로 독립적이고 동일한 분포를 따름)

문52. 주성분 분석에 대한 설명은?

☞ 주성분끼리는 서로 직교함

☞ 주성분 분석은 고차원 데이터를 저차원으로 변환함

☞ 주성분은 기존 변수들의 선형결합으로 이루어져 있음

(오답: 주성분 분석을 하기 위해서는 ~~변수의 수가 표본의 수보다 항상 커야 함~~)

문53. 비모수 검정에 대한 설명은?

☞ 윌콕슨 순위합 검정은 중위수의 차이를 검정함

☞ 크루스칼-왈리스 검정은 분산분석에서 정규성 가정이 만족되지 않을 때 사용함

☞ 일반적으로 모수 검정보다 검정력이 떨어짐

(오답: 만-휘트니 검정은 ~~양측 모수 검정임~~ → 두 집단의 중위수 차이를 검정하는 비모수 검정임)

문54. 암 환자에 신약 효과 조사 결과에 대해 옳은 설명은?

	초기		말기		합계
	생존	사망	생존	사망	생존	사망
A약	16	4	4	16	20	20
B약	7	3	9	21	16	24

☞ A약 환자 생존률은 50%, B약 환자 생존률은 40%임

문55. 연관규칙 측도 중 하나로, A항목이 포함된 거래 중 A항목과 B항목이 동시에 포함된 거래의 비율을 나타내는 지표는?

☞ 신뢰도

문56. 요인 분석에 대한 설명은?

☞ 고차원의 데이터를 저차원으로 축소함

☞ 변수들의 상관관계를 기반으로 공통의 요인을 찾음

☞ 요인 분석 결과로 만들어진 새로운 변수들은 서로 대등함

(오답: 요인 회전 방법으로 VariMax, ~~ScreeMax~~ 등이 있음)

문57. 독립변수와 종속변수 척도에 따른 통계분석 방법에 대한 설명은?

☞ t-검정은 수치형 종속변수와 2개 범주의 독립변수를 사용하여 분석하는 방법임

☞ 로짓모형은 범주형 종속변수와 범주형 및 수치형 독립변수를 사용하여 분석하는 방법임

☞ 카이제곱검정은 범주형 종속변수와 범주형 독립변수를 사용하여 분석하는 방법임

(오답: 공분산 분석은 ~~종속변수가 범주형~~, ~~독립변수가 연속형~~인 분석 방법임 → 종속변수가 연속형, 독립변수가 범주형)

문59. 의사결정나무 분석 결과에서 뿌리노드만 남는 이유는?

☞ 변별력 있는 변수가 없어 분리를 정지함

문60. 데이터 분석 결과 산출물은?

☞ 분석 모델

☞ 변수 정의서

☞ EDA 보고서

(오답: 알고리즘 보완 계획서)

[4과목. 빅데이터 결과 해석]

문61. ROC 곡선의 축을 구성하는 지표는?

☞ 민감도, 특이도

문62. 분석 결과 스토리텔링을 준비하는 과정에서 수행해야 하는 일은?

☞ 사용자 데이터 정의

☞ 사용자 시나리오 작성

☞ 스토리보드 기획

(오답: 스토리보드 도구 검증)

문63. 다음(그림)의 시각화 기법은?

☞ 히트맵

문64. 최종 모델을 평가하는 기준은?

☞ 평가 지표

☞ 예측의 정확성

☞ 분류의 정확성

(오답: 표본의 충분성)

문65. 분류모형 평가에 대한 설명은?

☞ 세로축은 재현율을 나타냄

☞ F1-score는 정밀도와 재현률의 조화평균 값

☞ AUC 값이 1에 가까울수록 분류 모델의 성능이 좋음

(오답: ~~ROC 곡선으로 혼동행렬을 구할 수 있음~~ → 혼동행렬은 예측 값과 실제 값의 조합을 교차표로 나타낸 것)

문66. 분석모형 평가지표에 대한 공식으로 옳은 것은?

☞ MAE, MAPE, MSE, RMSE 공식

문67. 정규성 검정 기법은?

☞ Q-Q plot

☞ 샤피로-윌크 검정

☞ 콜모고로프-스미르노프 검정

(오답: 카이제곱 검정)

문68. 일반화 선형 모형(GLM)에 대한 설명은?

☞ 종속변수가 이항분포이면 연결함수로 logit함수를 사용함

☞ 종속변수의 정규성이 성립하지 않아도 사용할 수 있음

☞ 로지스틱 회귀가 대표적인 일반화 선형 모형임

문69. 비교시각화 기법은?

☞ 히트맵

☞ 스타차트

☞ 체르노프 페이스

(오답: 버블차트)

문70. 관계시각화 기법은?

☞ 산점도

☞ 히트맵

☞ 버블차트

(오답: 누적막대그래프)

문71. 민감도가 0.6, 정밀도가 0.4인 경우, F1-score 값은?

☞ 0.48

문72. 앙상블 모형에 대한 설명은?

☞ 랜덤포레스트가 대표적인 앙상블 모형임

☞ 배깅은 부트스트랩 샘플을 사용함

(오답: 부스팅은 ~~정답에 더 높은 가중치를 부여~~하여 모델 성능을 올리는 방법임 → 오답에 높은 가중치를 부여함)

문73. 신경망 모형에서 발생하는 Gradient Vanishing 문제에 대한 설명은?

☞ 오차 역전파 과정에서 기울기가 감소하여 가중치가 업데이트되지 않는 현상임

문74. 앙상블 모형의 베이스 모형들을 독립적으로 최적화시키는 방법은?

☞ 학습 데이터셋을 다양화 함

☞ 하이퍼파라미터 최적화 기법을 사용함

☞ 학습 시간을 늘림

(오답: ~~평가 데이터셋을 다양화 함~~ → 성능 측정이며, 최적화 방법은 아님)

문75. 재현율 공식은?

☞ TP / (TP+FN)

문76. 분석 모형 해석에 대한 설명은?

☞ 예측 분석은 현재 분석결과를 통해 미래를 예측함

문77. 과적합을 해결하기 위한 방법은?

☞ 벌점화 회귀를 사용하여 모형에 제약조건을 추가함

문78. 과적합에 대한 설명은?

☞ 모형의 분산이 큼

☞ 일반화 성능이 낮은 상태임

☞ 모형이 과도하게 복잡한 상태임

(오답: 과적합은 비선형모형보다 ~~선형모형에서 더 쉽게 발생함~~)

문79. 인포그래픽에 대한 설명은?

☞ 중요한 정보를 효과적으로 나타낼 수 있음

☞ 그래픽과 텍스트를 사용하여 이해하기 쉽게 만듬

☞ 디자인적 요소를 고려하여 만듬

(오답: 데이터의 패턴을 발견할 수 있음)

문80. 빅데이터 시각화 절차에 해당하는 요소는?

☞ 분석

☞ 표현

☞ 지시

(오답: 정제)

[혼공R이] 12기 마무리하며♡

✨️데이터분석가✨️ — Sun, 18 Aug 2024 22:31:46 +0900

12기 활동 회고

벌써 3번째 혼공학습단이 마무리되었다.
이번은 시간이 엄청 빠르게 지나간 느낌이었다.

이번 [혼자 공부하는 R 데이터 분석]은 이전보다 실무에 대한 내용이 많이 담겨있어서 좋았다.

특히, 일정으로 인해 혼공학습단 커리큘럼에 없었던 7강 프로젝트 실습이 실전을 경험해보는 내용 같았고, 7강도 공부해서 블로그 업로드까지 완료하여 뿌듯했다. 혼공학습단이 아니여도 스스로 공부하는 나, 어떤데? 3번째 혼공학습단 참여자 다운 성실함!

이제 혼공학습단에 참여할 수 있는 책들이 많이 남지 않아가고 있는 것 같아, 벌써 아쉽다.

다음은 한 번도 공부해 본 적 없지만 실무에서 활용해 볼 수 있을 것 같은 SQL에 도전해 볼 예정이고, 이어서 자격증까지 취득하는 것을 목표로 할 생각이다.
얼른 겨울이 와서 혼공학습단 13기에 참여했으면 좋겠다.

그 전까지 열심히 재충전 해야겠다! 야호~

(ps. 이번 12기에서 여러 크고 작은 일들이 많았는데, 혼공족장님 이번도 고생많으셨습니다!)

[혼공R이] #1. 빅데이터와 R

1. 빅데이터와 R 1) 빅데이터와 R 언어 2) 개발 환경 설치 3) R 스튜디오 인터페이스와 환경 설정 1) 빅데이터와 R 언어(1) 빅데이터 시대- 빅데이터는 기존에 처리하던 데이터보다 더 많

dataslog.tistory.com

[혼공R이] #2. 데이터 분석을 위한 기본 다지기

2. 데이터 분석을 위한 기본 다지기 1) 데이터 분석 과정 2) 데이터의 생김새 1) 데이터 분석 과정1단계2단계3단계4단계5단계데이터 분석 설계데이터 준비데이터 가공데이터 분석결론 도출

dataslog.tistory.com

[혼공R이] #3. R 프로그래밍 익히기

3. R 프로그래밍 익히기 1) 변수와 함수 2) 패키지 3) 조건문과 반복문 1) 변수와 함수(1) 변수 만들기- 변수(Variable) : '변하는 값'을 의미함- 변수 생성은 [변수명 ] 형태이며, 값을 변수에

dataslog.tistory.com

[혼공R이] #4. 데이터 다루기

4. 데이터 다루기 1) 데이터 수집하기 2) 데이터 관측하기 3) 데이터 탐색하기 1) 데이터 수집하기(1) TXT 파일 가져오기- read.table("원시 데이터", header=TRUE, skip=0, nrows=-1, sep=",", ...) * 원

dataslog.tistory.com

[혼공R이] #5. 데이터 가공하기

5. 데이터 가공하기 1) dplyr 패키지 2) 데이터 가공하기 3) 데이터 구조 변형하기 4) 데이터 정제하기 1) dplyr 패키지(1) dplyr 패키지 설치 및 로드- dplyr 패키지는 데이터 가공에 유용한

dataslog.tistory.com

[혼공R이] #6. 데이터 시각화

6. 데이터 시각화 1) 그래프 그리기 2) 그래프에 객체 추가하기 3) 지도 시각화: ggmap 패키지 1) 그래프 그리기(1) ggplot( ) 함수: 그래프 기본 틀 만들기- 그래프를 표현하는 좌표를 그리기

dataslog.tistory.com

[혼공R이] #7. 프로젝트로 실력 다지기

7. 프로젝트로 실력 다지기 1) 지역별 국내 휴양림 분포 비교하기 2) 해외 입국자 추이 확인하기 3) 지도에서 코로나19 선별진료소 위치 확인하기 4) 서울시 지역별 미세먼지 농도 차

dataslog.tistory.com

[혼공R이] #7. 프로젝트로 실력 다지기

✨️데이터분석가✨️ — Wed, 14 Aug 2024 10:00:34 +0900

7. 프로젝트로 실력 다지기
1) 지역별 국내 휴양림 분포 비교하기
2) 해외 입국자 추이 확인하기
3) 지도에서 코로나19 선별진료소 위치 확인하기
4) 서울시 지역별 미세먼지 농도 차이 비교하기

1) 지역별 국내 휴양림 분포 비교하기

> library(readxl)
> forest_example_data <- read_excel("forest_example_data.xls")
> colnames(forest_example_data) <- c("name", "city", "gubun", "area", "number", "stay", "city_new", "code", "codename")
> str(forest_example_data) # 데이터 속성 확인

휴양림 분포_데이터 속성 확인

> head(forest_example_data) # 데이터 일부 확인

휴양림 분포_데이터 일부 확인

> library(descr)
> freq(forest_example_data$city, plot=T, main='city') # 시도별 휴양림 빈도분석

휴양림 분포_시도별 휴양림 빈도분석

> library(dplyr)
> count(forest_example_data, city) %>% arrange(desc(n)) # 내림차순 정렬

휴양림 분포_내림차순 정렬

2) 해외 입국자 추이 확인하기

(1) 데이터 가공

- gsub("찾을 문자열", "대체할 문자열", 데이터) 함수: 찾기 바꾸기 기능
> entrance_data$country <- gsub(" ", "", entrance_data$country) # 띄어쓰기 제거

- nrow( ) 함수: 행 개수 확인

> entrance_data |> nrow() # 행 개수 확인

[1] 67

- order( ) 함수: 오름차순 정렬

- order( decreasing=T) ) 함수: 내림차순 정렬 (= 변수 앞 - 기호)

- |> 기호: 네이티브 파이프 연산자 (%>%와 같은 의미)

> entrance_data[order(-entrance_data$JAN),] |> head(n=5) # 상위 5개국 추출

입국자 추이_상위 5개국 추출

> library(reshape2)
> top5_melt <- melt(top5_country, id.vars='country', variable.name='mon')
> head(top5_melt)

입국자 추이_열을 행으로 변환

(2) 데이터 시각화

- ggtitle( ) 함수: 그래프 제목

- scale_y_continuous( ) 함수: y축 범위 조정

- seq(시작값, 끝값, 간격) 함수: 축 범위 값 지정

> library(ggplot2)
> ggplot(top5_melt, aes(x=mon, y=value, group=country)) + geom_line(aes(color=country)) + ggtitle("2020년 국적별 입국 수 변화 추이") + scale_y_continuous(breaks=seq(0, 500000, 50000))

입국자 추이_선 그래프

- fill 옵션: 막대 안 색상 / color 옵션: 막대 테두리 색상

- stat 옵션: y축 데이터를 그릴 경우 / position 옵션: 막대 유형(dodge는 개별 막대)

> ggplot(top5_melt, aes(x=mon, y=value, fill=country)) + geom_bar(stat="identity", position="stack")

입국자 추이_누적 막대 그래프

3) 지도에서 코로나19 선별진료소 위치 확인하기

> jeju_data <- data_raw[data_raw$state=="제주",] # 제주 데이터 추출

- mutate_geocode(data=데이터 프레임명, location=주소 열 이름, source='google) 함수: 주소별 경도와 위도 데이터를 가져옴

> jeju_data_loc <- mutate_geocode(data=jeju_data, location=addr, source='google')
> jeju_map <- get_googlemap('제주', maptype='roadmap')
> ggmap(jeju_map) + geom_point(data=jeju_data_loc, aes(x=lon, y=lat, color=factor(name)), size=3)

선별진료소 위치_제주 선별진료소 시각화

- marker 옵션: 지도 위에 마커 형태로 표시

- geon_text( ) 함수: 지도 위에 레이블 표기

> jeju_data_marker <- data.frame(jeju_data_loc$lon, jeju_data_loc$lat)
> jeju_marker_map <- get_googlemap('제주', maptype='roadmap', markers=jeju_data_marker)
> ggmap(jeju_marker_map) + geom_text(data=jeju_data_loc, aes(x=lon, y=lat), size=3, label=jeju_data_loc$name)

선별진료소 위치_제주 선별진료소 마커 표기

4) 서울시 지역별 미세먼지 농도 차이 비교하기

> library(dplyr)
> dustdata_data <- dustdata[, c("날짜", "강남구", "성동구")] # 특정 데이터 추출
> sum(is.na(dustdata_data)) # 결측치 개수 확인

[1] 0

- describe( ) 함수: 기술통계량 분석

> library(psych)
> describe(dustdata_data$강남구)

vars n mean sd median trimmed mad min max range skew kurtosis se
X1 1 31 33.03 16.94 31 30.84 13.34 8 85 77 1.19 1.37 3.04

> boxplot(dustdata_data$강남구, dustdata_data$성동구, main="finedust_compare", xlab="AREA", ylab="FINEDUST_PM", names=c("강남구", "성동구"), col=c("green", "orange"))

미세먼지 농도 비교_상자그림 비교

f-검정 (두 집단 간의 분산에 차이가 있는지 확인)	T-검정 (두 집단 간의 평균 차이가 있는지 확인)
var.test(데이터1, 데이터2)	t.test(data=테이블명, 변수2~변수1, var.equal=T)
> var.test(dustdata_data$강남구, dustdata_data$성동구) F test to compare two variances data: dustdata_data$강남구 and dustdata_data$성동구 F = 0.9496, num df = 30, denom df = 30, p-value = 0.8883 → p-value 값이 0.05보다 크므로 귀무 가설을 기각할 수 없음 → 즉, 두 집단 간 분산 차이는 없음	> t.test(dustdata_data$강남구, dustdata_data$성동구, var.equal=T) Two Sample t-test data: dustdata_data$강남구 and dustdata_data$성동구 t = -0.28118, df = 60, p-value = 0.7795 → p-value 값이 0.05보다 크므로 통계적으로 유의하지 않음 →즉, 두 집간 간 평균 차이가 없음

[혼공R이] #6. 데이터 시각화

✨️데이터분석가✨️ — Mon, 12 Aug 2024 10:00:07 +0900

6. 데이터 시각화
1) 그래프 그리기
2) 그래프에 객체 추가하기
3) 지도 시각화: ggmap 패키지

1) 그래프 그리기

(1) ggplot( ) 함수: 그래프 기본 틀 만들기

- 그래프를 표현하는 좌표를 그리기 위한 함수로

* geom_로 시작하는 함수를 통해 각종 그래프를 추가하는 형태

- install.packages("ggplot2") 패키지 설치 필요

- library(ggplot2)

- ggplot(데이터 세트, aes(데이터 속성))

산점도 그리기	선 그래프 그리기
geom_point( ) 함수	geom_line( ) 함수
> ggplot(airquality, aes(x=Day, y=Temp)) + geom_point(size=2, color="blue")	> ggplot(airquality, aes(x=Day, y=Temp)) + geom_line() + geom_point()

막대 그래프 그리기	누적 막대 그래프 그리기
geom_bar( ) 함수	geom_bar( aes() ) 함수
> ggplot(mtcars, aes(x=cyl)) + geom_bar(width=0.5)	> ggplot(mtcars, aes(x=factor(cyl))) + geom_bar(aes(fill=factor(gear))) → factor 함수로 빈 범주를 제외함 → fill 함수로 gear 변수의 빈도가 색상으로 채워짐

선버스트 차트	도넛 모양의 선버스트 차트
coord_polar( ) 함수	coord_polar(theta="y") 함수
> ggplot(mtcars, aes(x=factor(cyl))) + geom_bar(aes(fill=factor(gear))) + coord_polar()	> ggplot(mtcars, aes(x=factor(cyl))) + geom_bar(aes(fill=factor(gear))) + coord_polar(theta="y")

상자 그림 그리기	히스토그램 그리기
geom_boxplot( ) 함수	geom_histogram( ) 함수
> ggplot(airquality, aes(x=Day, y=Temp, group=Day)) + geom_boxplot()	> ggplot(airquality, aes(Temp)) + geom_histogram(binwidth=1)

2) 그래프에 객체 추가하기

(1) 추세선 그리기

사선 그리기	평행선 그리기	수직선 그리기
geom_abline(intercept=절편, slope=기울기)	geom_hline(yintercept=y절편)	geom_vline(xintercept=x절편)
> ggplot(economics, aes(x=date, y=psavert)) + geom_line() + geom_abline(intercept=12.18671, slope=-0.0005444)	> ggplot(economics, aes(x=date, y=psavert)) + geom_line() + geom_hline(yintercept=mean(economics$psavert))	> ggplot(economics, aes(x=date, y=psavert)) + geom_line() + geom_vline(xintercept=as.Date("2005-07-01"))

레이블 입력하기

geom_text(aes(label=레이블, vjust=세로위치, hjust=가로위치)

> ggplot(airquality, aes(x=Day, y=Temp)) + geom_point() + geom_text(aes(label=Temp, vjust=0, hjust=0))

도형 그리기	화살표 그리기	텍스트 입력
annotate("모양", xmin=x축시작, xmax=x축끝, ymin=y축시작, ymax=y축끝)	annotate("segment", x=x축시작, xend=x축끝, y=y축시작, yend=y축끝, arrow=arrow())	annotate("text", x=x축위치, y=y축위치, label="텍스트내용")
> ggplot(mtcars, aes(x=wt, y=mpg)) + geom_point() + annotate("rect", xmin=3, xmax=4, ymin=12, ymax=21, alpha=0.5, fill="skyblue")	> ggplot(mtcars, aes(x=wt, y=mpg)) + geom_point() + annotate("segment", x=2.5, xend=3.7, y=10, yend=17, color="red", arrow=arrow())	> ggplot(mtcars, aes(x=wt, y=mpg)) + geom_point() + annotate("text", x=2.5, y=10, label="point")

3) 지도 시각화: ggmap 패키지

(1) 구글 지도 API 키 발급

- 구글 지도 플랫폼 홈페이지(https://mapsplatform.google.com/) 접속

- 구글 클라우드 플랫폼 약관 동의, 결제 정보 입력, 사용 설정 설문조사 제출하면 API 키가 발급 완료됨

(2) ggmap 패키지

- 구글 지도 API 서비스를 활용하여 지도 시각화를 할 수 있는 패키지

- install.packages("ggmap") 패키지 설치 필요

- library(ggmap)

- register_google(key = "API 키"): 발급받은 구글 지도 API키 등록

- get_googlemap("지역명", maptype = "roadmap"): 설정한 위치를 지도로 가져오는 함수

- get_googlemap(c(lon=경도, lat=위도), maptype = "roadmap")

지도로 시각화	특정 위치의 경도 및 위도값
ggmap( ) 함수	geocode( ) 함수
> gg_seoul <- get_googlemap("seoul", maptype="roadmap") > ggmap(gg_seoul)	> geo_code <- enc2utf8("뉴욕") %>% geocode() > geo_data <- as.numeric(geo_code) > get_googlemap(center=geo_data, maptype="roadmap", zoom=13) %>% ggmap() + geom_point(data=geo_code, aes(x=geo_code$lon, y= geo_code$lat), color="red")

* enc2utf8( ) 함수로 한글을 인코딩 함

6주차. 기본 미션

p288의 <좀 더 알아보기> 실습하고 결과 화면 캡처하기

> ggplot(airquality, aes(x=Day, y=Temp)) + geom_line() + geom_point()

6주차. 기본 미션

6주차. 선택 미션

구글 API와 ggmap 패키지를 활용해서 원하는 장소의 지도를 불러온 후 결과 화면 인증하기

6주차. 선택 미션

[혼공R이] #5. 데이터 가공하기

✨️데이터분석가✨️ — Mon, 5 Aug 2024 10:00:37 +0900

5. 데이터 가공하기
1) dplyr 패키지
2) 데이터 가공하기
3) 데이터 구조 변형하기
4) 데이터 정제하기

1) dplyr 패키지

(1) dplyr 패키지 설치 및 로드

- dplyr 패키지는 데이터 가공에 유용한 함수가 많은 데이터 처리 필수 패키지임

- install.packages("dplyr") 패키지 설치 필요

- library(dplyr)

(2) 데이터 추출

행(관측치) 추출	열(변수) 추출
filter(데이터, 조건문)	select(데이터, 변수명1, 변수명2, ...)
> filter(mtcars, cyl == 4 & mpg > 20) → cyl 4이면서 mpg 20이상인 데이터만 추출	> head(select(mtcars, am, gear)) → am과 gear 데이터만 추출
> mtcars %>% filter(cyl == 4 & mpg > 20) → cyl 4이면서 mpg 20이상인 데이터만 추출	> mtcars %>% select(am, gear) → am과 gear 데이터만 추출 > mtcars %>% select(-am) → am만 제외하고 추출

(3) 데이터 정렬

오름차순 정렬	내림차순 정렬
arrange(데이터, 변수명1, 변수명2, ...)	arrange(데이터, 변수명1, ..., desc(변수명))
> head(arrange(mtcars, wt)) → wt 기준으로 오름차순 정렬	> head(arrange(mtcars, mpg, desc(wt))) → mpg 기준으로 오름차순 정렬 후, wt 기준으로 내림차순 정렬
> mtcars %>% arrange(wt)	> mtcars %>% arrange(mpg, desc(wt))

(4) 데이터 추가 및 중복 데이터 제거

열 추가	중복값 제거
mutate(데이터, 추가할 변수명 = 조건1, ...)	distinct(데이터, 변수명)
> head(mutate(mtcars, years="1974")) → 맨 뒤에 years 열이 생성됨	> distinct(mtcars, cyl) → cyl 열에서 중복된 값을 제거함

(5) 데이터 요약

전체 요약	그룹별 요약
summarise(데이터, 요약할 변수명 = 기술통계함수)	group_by(데이터, 변수명)
> summarise(mtcars, cyl_mean = mean(cyl), ...) cyl_mean 1 6.1875 > summarise(mtcars, mean(cyl), ...) mean(cyl) 1 6.1875	> gr_cyl <- group_by(mtcars, cyl) > summarise(gr_cyl, n()) # A tibble: 3 X 2 cyl 'n( )' <dbl> <int> 1 4 11 2 6 7 3 8 13 > summarise(gr_cyl, n_distinct(gear))
> mtcars %>% summarise(cyl_mean = mean(cyl))	> mtcars %>% group_by(cyl) %>% summarise(cyl_mean = mean(cyl))

(6) 데이터 추출

개수 기준 샘플 추출	비율 기준 샘플 추출
sample_n(데이터, 추출할 샘플 개수)	sample_frac(데이터, 추출할 샘플 비율)
> sample_n(mtcars, 10) → 무작위 10개를 샘플로 추출	> sample_frac(mtcars, 0.2) → 전체의 20%를 샘플로 추출

(7) 파이프 연산자

- 새로운 변수에 저장하는 과정을 거치지 않고 데이터와 함수를 연결함

- 데이터 세트 %>% 조건 또는 계산 %>% 데이터 세트

> mutate(mtcars, mpg_rank = rank(mpg)) %>% arrange(mpg_rank)

→ mpg 기준으로 순위 계산/생성 후 정렬

2) 데이터 가공하기

(1) 데이터 결합

세로 결합	가로 결합 (by="변수명" 기준으로 결합)
bind_rows(테이블1, 테이블2)	left_join(테이블1, 테이블2, by="변수명") A∩Bⁿ inner_join(테이블1, 테이블2, by="변수명") A∩B full_join(테이블1, 테이블2, by="변수명") A∪B
> data_bindjoin <- bind_rows(data1, data2) > View(data_bindjoin) → 변수명 기준으로 결합함	> bind_col <- left_join(data1, data2, by="ID") → data1 기준으로 data2의 나머지 변수들을 결합 > bind_col_inner <- inner_join(data1, data2, by="ID") → 기준 변수값이 data1과 data2에서 동일한 것만 결합 > bind_col_full <- full_join (data1, data2, by="ID") → data1과 data2의 모든 변수들을 결합

3) 데이터 구조 변형하기

(1) melt( ) 함수: 열을 행으로 바꿈

- 넓은 모양의 데이터를 긴 모양으로 변형

- install.packages("reshape2") 패키지 설치 필요

- melt(데이터, id.vars="기준 열", measure.vars="변환 열")

> melt_data <- melt(airquality, id.vars=c("month", "wind"), measure.vars="ozone")

→ month, wind 변수를 식별자로 지정하고 ozone 값을 반환

(2) cast( ) 함수: 행을 열로 바꿈

- 긴 모양의 데이터를 넓은 모양으로 변형

데이터 프레임 형태로 반환	벡터, 행렬, 배열 형태로 반환
dcast(데이터, 기준 열 ~ 변환 열)	acast(데이터, 기준 열 ~ 변환 열 ~ 분리 기준 열)
> dcast_data <- dcast(melt_data, month + day ~ variable) → month와 day를 식별자로 지정하고 variable 값 순서대로 변환	> acast(dcast_data, day ~ month ~ variable) → day와 month별로 항목이 분리되어 값 출력
> dcast(melt_data, month ~ variable, sum) → 월별 변수들의 합계가 도출	> acast(melt_data, month ~ variable, mean) → 월별로 변수들의 평균 출력

4) 데이터 정제하기

(1) 결측치 확인

결측치 확인	결측치 빈도 확인
is.na(변수명)	table(is.na(변수명))
> x <- c(1, 2 NA, 4) > is.na(x) [1] FALSE FALSE TRUE FLASE	> x <- c(1, 2 NA, 4) > table(is.na(x)) FLASE TRUE 3 1

결측치 총 개수 확인	컬럼별 결측치 개수 확인
sum(is.na(변수명))	colSums(is.na(변수명))
> data(airquality) > sum(is.na(airquality)) [1] 44	> data(airquality) > colSums(is.na(airquality)) Ozone Wind Month Day 37 2 0 0

(2) 결측치 제거

결측치 제외하고 계산	결측치 있는 행 전체 제거
na.rm = T 옵션	na.omit(변수명)
> sum(x, na.rm = T) [1] 7	> na.omit(airquality) Ozone Wind Month Day 1 41 7.4 5 1 3 12 8.6 5 3

(3) 결측치 대체

결측치를 다른 값으로 대체

변수명[is.na(변수명)] <- 대체할 값

> airquality[is.na(airquality)] <- 0
→ 결측치를 0으로 대체

(4) 이상치 처리

- boxplot( ) 함수로 이상치를 확인함 (최고 경계값을 벗어난 값)

- ifelse(조건문, 조건이 참일 때 실행, 조건이 거짓일 때 실행)

> mtcars$wt <- ifelse(mtcars$wt > 5.25, NA, mtcars$wt)

→ 5.25 초과 값이면 NA로 변환

5주차. 기본 미션

p244의 확인 문제 2번 풀고 인증하기

문2. 225쪽에서 가져온 exdata1 테이블에서 AGE가 30세 이하이면서 Y20_CNT가 10건 이상인 데이터를 exdata2 테이블로 생성하는 코드를 작성하여 실행 결과처럼 출력해 보세요. (파이프 연산자를 사용해 보세요.)

5주차. 기본 미션

5주차. 선택 미션

p261의 확인 문제 4번 풀고 인증하기

문4. 1학년 1반, 2반, 3반 학생 5명씩의 중간고사와 기말고사 성적이 기록된 엑셀 파일을 가져온 후 다음 실행 결과와 같이 반별 수학 점수와 영어 점수를 각각 출력해 보세요.

5주차. 선택 미션

[혼공R이] #4. 데이터 다루기

✨️데이터분석가✨️ — Mon, 22 Jul 2024 10:00:27 +0900

4. 데이터 다루기
1) 데이터 수집하기
2) 데이터 관측하기
3) 데이터 탐색하기

1) 데이터 수집하기

(1) TXT 파일 가져오기

- read.table("원시 데이터", header=TRUE, skip=0, nrows=-1, sep=",", ...)

* 원시 데이터: 저장된 파일 경로를 작성하며, 슬래시(/)를 사용함

* header: 첫 번째 행이 변수명인지 아닌지 판단함

(변수명이 없다면, col.names를 사용하여 변수명을 지정)

* skip: 특정 행 이후부터의 데이터를 가져옴

* nrows: 특정 행까지의 데이터를 가져옴

* sep: 구분자를 지정함

(2) CSV 파일 가져오기

- read.csv("원시 데이터")

* 옵션을 설정하지 않아도 자동으로 1행을 변수명으로 가져옴

(3) 엑셀 파일 가져오기

- install.packages("readxl") 패키지 설치 후, 엑셀 파일을 가져올 수 있음

- read.excel("원시 데이터")

- 다른 탭 시트 데이터를 가져오려면, sheet = 3을 옵션으로 지정해야 함

* 옵션을 설정하지 않아도 자동으로 1행을 변수명으로 가져옴

(4) XML 파일 가져오기

- 사용자가 <> 괄호로 직접 정의한 태그에 데이터 내용이 들어있는 파일

- install.packages("XML") 패키지 설치 필요

- xmlToDataFrame("원시 데이터")

(5) JSON 파일 가져오기

- 데이터 속성과 값이 쌍으로 이루어진 중첩 데이터 구조의 파일, 가장 많이 사용

- install.packages("jsonlite") 패키지 설치 필요

- fromJSON("원시 데이터")

- 데이터 프레임으로 가져오는 함수가 아니라서, 실행 결과는 str( ) 함수로 확인

2) 데이터 관측하기

(1) 데이터 전체 확인하기

- data( ) 함수로 내장된 데이터 세트 목록을 전부 확인할 수 있음

(2) 데이터 구조 확인하기

- str( ) 함수로 데이터 구조를 확인할 수 있음

데이터 구조 확인

* 150개의 관측치 및 5가지 컬럼으로 구성됨

* $는 컬럼명, num은 숫자형 데이터, Factor 자료형에 3가지 범주로 구성됨을 의미함

열 개수 확인	행 개수 확인	행 및 열 개수 확인
ncol( ) 함수	nrow( ) 함수	dim( ) 함수
ncol(iris) [1] 5	nrow(iris) [1] 150	dim(iris) [1] 150 5

컬럼명 확인	앞부분 데이터 확인	뒷부분 데이터 확인
ls( ) 함수	head( ) 함수	tail( ) 함수
ls(iris) [1] "Length" "Width"	head(iris) Length Width 1 5.1 3.5 2 4.9 3.0 ... 6 5.4 3.9	tail(iris, n = 3) Length Width 148 6.5 3.0 149 6.3 3.4 150 5.9 3.0

(3) 기술통계량 확인하기

평균	중앙값
mean( ) 함수	median( ) 함수
mean(iris$Length) [1] 5.843333	median(iris$Length) [1] 5.8

최솟값	최댓값	범위
min( ) 함수	max( ) 함수	range( ) 함수
min(iris$Length) [1] 4.3	max(iris$Length) [1] 7.9	range(iris$Length) [1] 4.3 7.9

사분위수	분산	표준편차
quantile( ) 함수	var( ) 함수	sd( ) 함수
quantile(iris$Length) 0% 25% 50% 75% 100% 4.3 5.1 5.8 6.4 7.9 quantile(iris$Length, probs=0.8) 80% 6.52	var(iris$Length) [1] 0.685935	sd(iris$Length) [1] 0.8280661

첨도 (뾰족한 정도)	왜도 (대칭 정도)
kurtosi( ) 함수	skew( ) 함수
install.packages("psych") library(psych) kurtosi(iris$Length) [1] -0.6058125 # 완만한 분포	install.packages("psych") library(psych) skew(iris$Length) [1] 0.3086407 # 오른쪽 긴 꼬리 분포

(4) 빈도분석하기

- install.packages("descr") 패키지 설치 필요

- freq(변수명) 함수

* plot = F는 막대 그래프 출력이 제외되는 옵션

빈도분석하기

3) 데이터 탐색하기

(1) 막대 그래프

- 빈도 분포를 확인할 때 사용하는 그래프

- table(변수명)

- barplot(변수명, ylim=c(y축 범위), main="제목", xlab="x축 제목", ylab="y축 제목", names=c("변수명", ...), col=c("색상", ...), ...)

* ylim: 출력할 y축 범위 지정

* main: 그래프 제목을 지정

* col: 그래프 색상을 지정

table( ) 함수	barplot( ) 함수
> dist_sex <- table(data1$SEX) > dist_sex > barplot(dist_sex)	> barplot(dist_sex, ylim=c(0, 14), main="BARPLOT", xlab="SEX", ylab="FREQUENCY", names=c("Female", "Male"), col=c("pink", "blue"))
F M 12 8

(2) 상자 그림

- 데이터 분포 or 이상치 판단 시에 사용하는 그래프

- boxplot(변수명)

> boxplot(data1$Y20_CNT, data1$Y21_CNT, ylim=c(0, 60), main="boxplot", names=c("20년건수", "21년건수"), col=c("green", "yellow"))

상자 그림, boxplot

(3) 히스토그램

- 일정 구간별 관측치의 분포를 확인할 때 사용하는 그래프

- hist(변수명)

막대 그래프, barplot( )	히스토그램, hist( )
이산형	연속형
성별, 지역 등	키, 나이, 금액 등
막대 그래프가 분리되어 있음	막대 그래프가 붙어 있음

> hist(data1$AGE, xlim=c(0, 60), ylim=c(0, 7), main="AGE분포")

히스토그램, hist

(4) 파이차트

- 데이터 빈도 비율을 활인할 때 사용하는 그래프

- pie(변수명)

> data(mtcars)

> pie(table(mtcars$gear))

파이차트, pie

(5) 줄기 잎 그림

- 변수 값을 자릿수로 분류하여 시각화 (큰 자릿수는 줄기, 작은 자릿수는 잎)

- stem(변수명, scale = 1)

* scale은 줄기의 수, 데이터를 나누는 구간을 의미

x <- c(1, 2, 3, 4, 7, 8, 8, 5, 9, 6, 9)
> stem(x)	> stem(x, scale = 2)	> stem(x, scale = 0.5)

(6) 산점도

- 두 변수 간의 관계를 점으로 나타낸 그래프, 우상향 형태는 상관관계가 있음을 의미함

- plot(x, y)

> data(iris)
> plot(x=iris$Sepal.Length, y=iris$Petal.Width)

산점도, plot

- 산점도 행렬: 산점도를 행렬로 표현한 그래프, pairs(변수명), paris.panel( ) 함수

> data(iris) > pairs(iris)	> install.packages("psych") > library(psych) > data(iris) > pairs.panels(iris)

※ 데이터 유형에 따른 그래프 추천: From data to Viz 홈페이지(https://www.data-to-viz.com)

4주차. 기본 미션

p169의 iris 내장 데이터 세트의 데이터 구조 출력하고 인증하기

4주차. 기본 미션

4주차. 선택 미션

p191 상자 그림 그래프의 각 요약 값 정리하기

4주차. 선택 미션

[혼공R이] #3. R 프로그래밍 익히기

✨️데이터분석가✨️ — Sat, 20 Jul 2024 10:00:07 +0900

3. R 프로그래밍 익히기
1) 변수와 함수
2) 패키지
3) 조건문과 반복문

1) 변수와 함수

(1) 변수 만들기

- 변수(Variable) : '변하는 값'을 의미함

- 변수 생성은 [변수명 <- 값] 형태이며, 값을 변수에 할당한다는 의미임

- R프로그램은 대소문자를 구분하기에 소문자로 변수명 생성하는 것을 추천함

변수명 가능	변수명 불가능
exam .exam ex1am e_xam ExAm	1exam _exam #exam ex am

(2) 함수 활용하기

- 함수(Function) : 특정 기능을 수행하기 위해 사전에 만들어진 프로그래밍 구문

- 함수는 [함수명(인자)] 형태로 생성함

내장 함수	사용자 정의 함수
별도의 패키지 설치 없이 사용하는 함수	원하는 연산을 위해 사용자가 임의로 만든 함수
> print("Hello World") [1] "Hello World" > a <- sum(1:100) [1] 5050 > Sys.Date() [1] "2024-07-17"	함수명 <- function(매개변수1, 매개변수2, ...) { 함수가 구현할 내용 ... return(결괏값) } multi_three_return <- function(x, y, z) { res <- xyz return(res)} multi_three_return(3, 5, 6) [1] 90

2) 패키지

(1) 패키지 설치하기

- Script 영역에서 install.packages("패키지명") 함수를 이용하여 설치함

- File 영역의 Packages 탭에서 Install 클릭 → Packages 입력칸에 "패키지명" 입력 → Install 클릭

(2) 패키지 로드하기

- 설치한 패키지 사용을 위해서는 library("패키지명") 함수를 사용하여 불러옴

* R 시작할 때마다 다시 실행해야 하는 일회성임

(3) 패키지 삭제하기

- 패키지 삭제는 remove.packages("패키지명") 함수를 사용함

3) 조건문과 반복문

(1) 연산자

- 프로그램에서 데이터를 처리하는 연산 기호

할당 연산자	산술 연산자	관계 연산자	논리 연산자
변수에 값을 저장	숫자를 계산	비교하여 관계를 진리값으로 반환	진리값을 다시 연산
<-	+ - * / > 20 %/% 7 [1] 2 (몫) >20 %% 7 [1] 6 (나머지) > 6 ^ 2 [1] 36 (제곱) > 6 ** 2 [1] 36 (제곱)	> < >= <= > 5 == 5 (같다) [1] TRUE > 5 != 5 (같지 않다) [1] FALSE > !5 (아니다) [1] FALSE	& 그리고(and) \| 또는(or) > x <- 1:3 > y <- 3:1 > (x>0) & (y>1) > (x>0) \| (y>1) [1] TRUE TRUE FALSE [1] TRUE TRUE TRUE → (1,3) (2,2) (3,1)

(2) 조건문

- 첫 번째 조건이 TRUE이면 if문이 실행, FALSE이면 else문이 실행되는 것

if-else 문	else if 문
if(조건) { 조건이 TRUE(참)일 때 실행되는 구문1 } else { 조건이 FALSE(거짓)일 때 실행되는 구문2 }	if(조건1) { 조건1이 TRUE일 때 실행 } else if(조건2) { 조건1은 FALSE, 조건2는 TRUE일 때 실행 } else { 조건1, 2 모두 FALSE일 때 실행 }
a <- 10 if(a %% 2 == 0) { print("짝수입니다") } else { print("홀수입니다") } [1] 짝수입니다	b <- 80 if (b >= 90) { print("A학점입니다") } else if (b >= 80) { print("B학점입니다") } else { print("C학점입니다") } [1] B학점입니다

(3) 반복문

- 정해진 조건만큼 반복 실행하는 구문

- 대부분 for( ) 함수, while( ) 함수가 대표적이지만, R은 apply( ) 함수가 주로 사용됨

for( ) 함수	apply( ) 함수
for(변수 in 반복 횟수) { 반복 조건만큼 실행되는 구문 }	apply(x, margin, 함수) # 행렬 연산에 사용 * margin이 1이면 행, 2이면 열 lapply(x, 함수) # 리스트로 반환 supply(x, 함수) # 벡터로 반환
예) 구구단 2~9단 출력 for(i in 2:9) { for(j in 1:9) { print(paste(i, " * ", j, " = ", ij)) } } [1] "2 1 = 2" [1] "2 * 2 = 4" [1] "2 * 3 = 6" ... [1] "9 * 9 = 81"	> View(iris) # 데이터 프레임 뷰어 함수 > apply(iris[, 1:2], 2, mean) > apply(iris[, 1:2], 2, max) Length Width 5.8433 3.0573 Length Width 7.9 4.4 > lapply(iris[, 1:2], mean) $Length [1] 5.8433 $Width [1] 3.0573 > supply(iris[, 1:2], max) Length Width 7.9 4.4

3주차. 기본 미션

p113의 확인 문제 6번을 풀고 인증하기

문6. 숫자 3개를 더하는 코드를 작성하여 실행 결과처럼 출력해 보세요.

3주차. 기본 미션

3주차. 선택 미션

p143의 확인 문제 2번을 풀고 인증하기

문2. 다음 조건문이 정상적으로 작동되도록 빈칸을 채워 보세요.

3주차. 선택 미션

[혼공R이] #2. 데이터 분석을 위한 기본 다지기

✨️데이터분석가✨️ — Sat, 13 Jul 2024 12:00:54 +0900

2. 데이터 분석을 위한 기본 다지기
1) 데이터 분석 과정
2) 데이터의 생김새

1) 데이터 분석 과정

1단계	2단계	3단계	4단계	5단계
데이터 분석 설계	데이터 준비	데이터 가공	데이터 분석	결론 도출
주제 선정 가설 설정 분석항목 선정	데이터 확보 데이터 파악	추출 및 정제 파생변수 생성 데이터 병합	통계 분석 시각화	가설 검정 결과 정리

2) 데이터의 생김새

(1) 데이터 구조

- 데이터 세트(= 테이블) : n X m 형태의 행(관측치)과 열(변수)로 구성된 형태

(2) 데이터 유형

숫자형	문자형	논리형
숫자로만 구성	문자로만 구성	TRUE / FALSE

구분	1차원	2차원	n차원
단일형(한 가지 유형)	벡터	행렬	배열
다중형(여러 유형)	리스트	데이터 프레임	-

(3) 데이터 종류

① 벡터 : 한 가지 유형으로 구성된 1차원 구조의 데이터

[벡터] 변수명 <- c(값)
숫자형	정수형	문자형	논리형
실수(정수, 유리수, 무리수 등)	정수만으로 구성 실수형에 포함됨	문자로 구성	TRUE, FALSE로 구성
num <- c(-1, 0, 3.14)	int <- c(-1, 0, 1)	chr <- c("Hello", "35")	logi <- c(TRUE, FALSE)
> mode(num) [1] "numeric" > str(num) num [1:3] -1, 0, 3.14	> mode(int) [1] "numeric" > str(int) int [1:3] -1, 0, 1	> mode(chr) [1] "character" > str(chr) chr [1:2] "Hello" "35"	> mode(logi) [1] "logical" > str(logi) logi [1:2] TRUE FALSE

- mode() 함수 : 데이터 유형 확인 (ex, "numeric")

- str() 함수 : 데이터 유형 및 값 확인 (ex, num [1:3] -1, 0, 3.14)

- length() 함수 : 데이터 길이 확인 (ex, 3)

- factor() 함수 : factor(범주화할 자료, labels = c("범주1", "범주2"))

> factor( c(3, 1, 2), labels = c("A", "B", "C") )

[1] C A B

② 행렬 : 한 가지 유형으로 구성된 2차원 구조의 데이터

[행렬] matrix(벡터, nrow=행 개수, ncol=열 개수)
x <- c(1, 2, 3, 4, 5, 6) matrix(x, nrow=2, ncol=3)	x <- c(1, 2, 3, 4, 5, 6) matrix(x, nrow=2, ncol=3, byrow=T)
[ ,1] [ ,2] [ ,3] [1, ] 1 3 5 [2, ] 2 4 6	[ ,1] [ ,2] [ ,3] [1, ] 1 2 3 [2, ] 4 5 6

* byrow = T : 데이터가 위에서 아래(행 기준) 순으로 배치됨

③ 배열 : 행렬을 n차원으로 확대한 구조의 데이터

[배열] array(변수명, dim=c(행 개수, 열 개수, 차원 수))
y <- c(1, 2, 3, 4, 5, 6) array(y, dim=c(2, 2, 2))	y <- c(1, 2, 3, 4, 5, 6) array(y, dim=c(1, 4, 2))
, , 1 [ ,1] [ ,2] [1, ] 1 3 [2, ] 2 4 , , 2 [ ,1] [ ,2] [1, ] 5 1 [2, ] 6 2	, , 1 [ ,1] [ ,2] [ ,3] [ ,4] [1, ] 1 2 3 4 , , 2 [ ,1] [ ,2] [ ,3] [ ,4] [1, ] 5 6 1 2

④ 리스트 : 여러 데이터 유형이 포함된 1차원 구조의 데이터

[리스트] list( )
z <- list(c(1, 2, 3), "Hello")	str(z)
[[1]] [1] 1, 2, 3 [[2]] [1] "Hello"	List of 2 #두 가지 변수로 구성된 리스트 $ : num [1:3] 1 2 3 $ : chr "Hello"

⑤ 데이터 프레임 : 리스트를 2차원으로 확대한 구조의 데이터

[데이터 프레임] data.frame(변수명1, 변수명2, ... 변수명n)
ID <- c(1, 2, 3, 4, 5) SEX <- c("F", "M", "F", "M", "M") AGE <- c(50, 30, 25, 43, 15) xyz <- data.frame(ID, SEX, AGE) xyz	str(xyz)
1 1 F 50 2 2 M 30 3 3 F 25 4 4 M 43 5 5 M 15	'data.frame': 10 obs. of 4 variables: $ ID : num 1 2 3 4 5 $ SEX : chr "F" "M" "F" "M" "M" $ AGE : num 50 30 25 43 15

2주차. 기본 미션

p99의 확인문제 3, 4번 풀고 인증하기

문3. 문자형으로 이루어진 데이터 1, 2, 3, 4, 5는 ID 변수로, 숫자형으로 이루어진 데이터 10, 25, 100, 75, 30은 MID_EXAM 변수로, 문자형으로 이루어진 데이터 1반, 2반, 3반, 1반, 2반은 CLASS 변수로 구성해 보세요.

문4. data.frame() 함수와 3번 문항에서 구성한 ID, MID_EXAM, CLASS 변수를 사용하여 example_test 데이터 세트를 저장해 보세요.

2주차. 기본 미션

2주차. 선택 미션

데이터 분석 과정을 정리하기

1단계	2단계	3단계	4단계	5단계
데이터 분석 설계	데이터 준비	데이터 가공	데이터 분석	결론 도출
주제 선정 가설 설정 분석항목 선정	데이터 확보 데이터 파악	추출 및 정제 파생변수 생성 데이터 병합	통계 분석 시각화	가설 검정 결과 정리

[혼공R이] #1. 빅데이터와 R

✨️데이터분석가✨️ — Sun, 7 Jul 2024 22:48:41 +0900

1. 빅데이터와 R
1) 빅데이터와 R 언어
2) 개발 환경 설치
3) R 스튜디오 인터페이스와 환경 설정

1) 빅데이터와 R 언어

(1) 빅데이터 시대

- 빅데이터는 기존에 처리하던 데이터보다 더 많은 양의 대규모 데이터를 의미함

- 빅데이터의 특징은 4V로 규모(Volume), 속도(Velocity), 다양성(Variety), 정확성(Veracity)임

(2) R 언어

장점	단점
통계분석에 특화 (패키지 多)	처리속도 느림
다양한 정보 공유	스스로 문제해결 해야함
무료 (오픈 소스)	쉬워도 프로그래밍 언어
다양한 운영체제에서 동작	-

2) 개발 환경 설치

(1) R 설치 파일 다운로드하기

- R 공식 홈페이지(https://www.r-project.org/) → Download(CRAN) → Korea 항목 中 택 1

(2) R 스튜디오 설치 파일 다운로드하기

- R 스튜디오 홈페이지(http://www.rstudio.com) → RStudio Desktop DOWNLOAD

(3) R 스튜디오 클라우드 설치 파일 다운로드하기

- R 스튜디오 설치하지 않고 인터넷에서 사용할 수 있는 클라우드 버전의 R 스튜디오

- R 스튜디오 클라우드 홈페이지(http://rstudio.cloud)

3) R 스튜디오 인터페이스와 환경 설정

(1) R 스튜디오 인터페이스

R 스튜디오 인터페이스

- Script 탭: 실행할 코드를 작성하는 영역

- Console 탭: 실행한 코드 결과가 표시되는 영역으로 바로 코드 실행도 가능

- Environment 탭: 데이터 세트를 확인할 수 있는 영역

- Files 탭: 윈도우의 파일 탐색기와 비슷

(2) 환경 설정하기

- 시작 폴더 설정하기: Tools - Global Options - General - Default working directory에 폴더 경로 지정

- 인코딩 설정: Tools - Global Options - Code - Default text encoding에 'UTF-8'로 설정

- 폰트 및 테마 설정: Tools - Global Options - Apperance

* 혼공R이 자료: https://github.com/newstars/hongongR/

1주차. 기본 미션

p64의 01번 "Hello World!"를 R 스튜디오에서 출력하고 인증하기

문1. 새로운 스크립트 파일을 생성하여 다음과 같이 입력한 후 Ctrl + Enter 키를 눌러 실행합니다.

★ 코드 실행은 Ctrl + Enter ★

1주차. 기본 미션

1주차. 선택 미션

p65의 03번 코드 실행하고 인증하기

문3. 실행할 코드가 여러 줄이라면 실행 방법이 약간 다릅니다. Script 탭에 각 코드 줄마다 Enter 키를 누르면서 여러 줄을 입력합니다.

★ 여러 줄 입력은 Enter ★

1주차. 선택 미션

[혼공분석] 11기 마무리하며♡

✨️데이터분석가✨️ — Mon, 12 Feb 2024 21:28:23 +0900

2번째 참여한 혼공학습단도 무사히 완주했다.

요즘 이런저런 일들로 번아웃이 왔었다. 초반에는 공부하기 위해 마음잡고 집중하기가 쉽지 않았다. 매주 미션 제출을 위해 억지로 공부하다 보니, 주차를 거듭할수록 슬럼프에 점차 벗어나는 듯했다.

혼공으로 벗어나지 못할 것만 같았던 슬럼프를 벗어난 점이 이번의 가장 큰 소득이었다. 역시 혼공학습단은 동기부여가 짱인 것 같다.

이번 [혼자 공부하는 데이터 분석 with 파이썬]은 공부하기 한결 수월했던 것 같다. 지난번 [혼자 공부하는 파이썬]을 학습해서 내공이 쌓여서 그런건지, 통계학과라서 그런 건지, 이유는 모르겠으나, 지난번에 비해 이해 안 되는 부분이 많지 않았다.

아무쪼록 11기 혼공학습단도 대만족! 번아웃도 극복하고, 블로그도 키울 수 있고, 데이터 분석 지식도 쌓고, 시간을 알차게 보낼 수 있는 혼공학습단 다같이 참여해요~

혼공학습단의 매력에 헤어 나오지 못할 것 같은데, 다음 기수는 무슨 책으로 해야 할지 고민이다~

혼.공.학.습.단. 뽀.레.버☆

[혼공분석] #1. 데이터 분석을 시작하며

1. 데이터 분석을 시작하며 1) 데이터 분석이란 2) 구글 코랩과 주피터 노트북 3) 이 도서가 얼마나 인기가 좋을까요? 1) 데이터 분석이란 (1) '데이터 분석' 및 '데이터 과학' 데이터 분석 데이터 과

dataslog.tistory.com

[혼공분석] #2-1. API로 데이터 수집하기

2. 데이터 수집하기 1) API 사용하기 (1) API란 (2) JSON 다루기 (3) XML 데이터 다루기 (4) API 호출하기 1) API 사용하기 (1) API란 - API: 프로그램 간 데이터를 전달하기 위해 정한 규칙, 데이터베이스 접근

dataslog.tistory.com

[혼공분석] #2-2. 웹 스크래핑으로 데이터 수집하기

2. 데이터 수집하기 2) 웹 스크래핑 사용하기 (1) 웹 크롤링 (2) 검색 결과 페이지 가져오기 (3) HTML 찾기 (4) 뷰티플수프 (5) 여러 도서 쪽수 정보 찾기 2) 웹 스크래핑 사용하기 (1) 웹 크롤링 (= 웹 스

dataslog.tistory.com

[혼공분석] #3-1. 불필요한 데이터 삭제하기

3. 데이터 정제하기 1) 불필요한 데이터 삭제하기 1-1) 열 삭제하기 (1) 불리언 배열 (2) drop() 메서드 (3) dropna() 메서드 1-2) 행 삭제하기 (1) 불리언 배열 (2) drop() 메서드 (3) 중복된 행 찾기, duplicated()

dataslog.tistory.com

[혼공분석] #3-2. 잘못된 데이터 수정하기

3. 데이터 정제하기 2) 잘못된 데이터 수정하기 (1) 데이터프레임 정보 요약 확인하기 (2) 누락된 값 처리하기 (3) 정규 표현식 (4) 잘못된 값 바꾸기 (5) 누락된 정보 채우기 2) 잘못된 데이터 수정하

dataslog.tistory.com

[혼공분석] #4. 데이터 요약하기

4. 데이터 요약하기 1) 통계로 요약하기 (1) 기술통계 구하기 (2) 평균 구하기 (3) 중앙값 구하기 (4) 최솟값/최댓값 구하기 (5) 분위수 구하기 (6) 분산/표준편차 구하기 (7) 최빈값 구하기 2) 분포로 요

dataslog.tistory.com

[혼공분석] #5. 데이터 시각화하기

5. 데이터 시각화하기 1) 맷플롯립 기본 요소 알아보기 (1) Figure 객체 (2) rcParams 객체 (3) 여러 개의 서브플롯 출력하기 2) 선 그래프와 막대 그래프 그리기 (1) 발행년도별 도서 개수 구하기 (2) 주제

dataslog.tistory.com

[혼공분석] #6. 복잡한 데이터 표현하기

6. 복잡한 데이터 표현하기 1) 객체지향 API로 그래프 꾸미기 (1) pyplot 및 객체지향 API 방식으로 그래프 그리기 (2) 출판사별 발행 도서 개수 산점도 그리기 2) 맷플롯립의 고급 기능 배우기 (1) 여러

dataslog.tistory.com

[혼공분석] #7. 검증하고 예측하기

7. 검증하고 예측하기 1) 통계적으로 추론하기 (1) 모수검정 (2) 표준점수 (3) 표준정규분포 (4) 중심극한정리 (5) 신뢰구간 (6) 가설검정 (7) 순열검정 2) 머신러닝으로 예측하기 (1) 머신러닝 용어 (2)

dataslog.tistory.com

[혼공분석] #7. 검증하고 예측하기

✨️데이터분석가✨️ — Mon, 12 Feb 2024 20:41:36 +0900

7. 검증하고 예측하기
1) 통계적으로 추론하기
(1) 모수검정
(2) 표준점수
(3) 표준정규분포
(4) 중심극한정리
(5) 신뢰구간
(6) 가설검정
(7) 순열검정
2) 머신러닝으로 예측하기
(1) 머신러닝 용어
(2) 선형 회귀 모델 훈련
(3) 결정계수
(4) 선형 회귀
(5) 로지스틱 회귀

1) 통계적으로 추론하기

(1) 모수검정

- 모집단에서 추출한 샘플(표본)로부터 모집단의 파라미터(평균/분산)를 추정하는 방법

- 모수검정은 모집단이 어떤 가정이다를 전제로 수행되는 경우가 많음 (예, 정규분포를 따름)

(2) 표준점수 (= z 점수)

- 정규분포 상에서 각 값이 평균에서 얼마나 떨어져 있는지를 표준편차를 사용해 변환한 점수 [z=(x-평균)/표준편차]

- z 점수 구하는 2가지 방법이며, ①넘파이 / ②사이파이의 stats 모듈의 [zscore() 함수]

import numpy as np

x = [0, 3, 5, 7, 10]

s = np.std(x)

m = np.mean(x)

z = (7 - m) / s

print(z)

from scipy import stats

stats.zscore(x)

0.5872202202195147035

array([-1.46805055, -0.58722022, 0. , 0.58722022, 1.46805055])

(3) 표준정규분포

- 평균 0, 표준편차가 1인 좌우 대칭인 정규분포

- z 점수가 2 이내에 위치한 샘플은 전체의 약 95% 해당 (z 점수 1 이내의 비율은 약 68%)

- [norm.cdf() 메서드]로 특정 값 까지의 누적분포를 구할 수 있음

- [norm.ppf() 메서드]로 특정 비율 까지의 누적분포를 구할 수 있음

stats.norm.cdf(2.0) - stats.norm.cdf(-2.0)

stats.norm.ppf(0.975)

0.9544997361036416

1.959963984540054

(4) 중심극한정리

- 무작위로 샘플을 뽑아 표본의 평균을 구하는 작업을 여러 번 반복하면 정규분포에 가까워진다는 이론 (n은 30이상)

- [sample() 메서드]로 무작위로 30개씩 샘플링하여 [mean() 메서드]로 각 평균을 저장

- 1000번 반복하면 종 모양과 유사한 분포를 보임

np.random.seed(42)

sample_means = []

for _ in range(1000):

m = ns_book7['대출건수'].sample(30).mean()

sample_means.append(m)

plt.hist(sample_means, bins=30)

plt.show()

중심극한정리

- 표준오차는 표본 평균의 표준편차로(=모딥단 표준편차/샘플 개수), 표본으로 계산한 표준편차 값과 유사한 편임

np.std(ns_book7['대출건수']) / np.sqrt(30)

np.std(sample_means)

3.5199178205234167

3.444642892473277

(5) 신뢰구간

- 표본평균을 이용하여 모평균이 포함될 가능성이 있다고 추정하는 구간 (일반적으로 95% 신뢰구간 사용)

- 주제분류번호가 '00'이면서 도서명에 '파이썬'이 포함된 도서 대출건수의 신뢰구간 구하기

- 중심극한정리를 적용하여 표본의 표준편차로 표준오차 계산, 95% 이내 구간에서 모집단 평균을 계산함

→ 모집단의 평균이 13.2~16.3에 있을 확률이 95%다. (= 95% 신뢰구간에서 모집단 평균은 13.2~16.3에 있다.)

python_books_index = ns_book7['주제분류번호'].str.startswith('00') & ns_book7['도서명'].str.contains('파이썬')

python_books = ns_book7[python_books_index]

python_mean = np.mean(python_books['대출건수'])

python_std = np.std(python_books['대출건수'])

python_se = python_std / np.sqrt(len(python_books))

print(python_mean-1.96*python_se, python_mean+1.96*python_se)

13.172848017867965 16.325158850259522

(6) 가설검정

- 표본 정보로 모집단에 대한 가설을 채택할지 기각할지 결정하는 방법

* 귀무가설(=영가설) Ho: 통계적으로 의미가 없다고 예상되는 가설

* 대립가설 H ₁ : 표본 사이에 통계적인 차이가 있다는 가설

① z 점수로 가설검정

- C++ 도서와 파이썬 도서의 평균 대출건수 차이가 있는지 검증하기

- 두 모집단의 평균에 대한 z 점수 공식 z = (모집단1 평균 - 모집단2 평균) / sqrt(모집단1 표준오차²+모집단2 표준오차²)

- 누적분포는 0.994, 정규분포 양쪽 끝 면적은 각 0.006, p-값은 0.01로 유의수준 0.05보다 작아 귀무가설이 기각됨

→ C++ 도서와 파이썬 도서의 평균 대출건수에 차이가 있다

(python_mean - cplus_mean) / np.sqrt(python_se**2 + cplus_se**2)

2.495408195140708

stats.norm.cdf(2.50)

0.9937903346742238

p_value = (1-0.994)*2

0.0120000000000001

② t-검정으로 가설검정

- [ttest_ind() 함수]는 t-분포인 두 표본을 비교하는 t-검정을 수행함

t, pvalue = stats.ttest_ind(python_books['대출건수'], cplus_books['대출건수'])

print(t, pvalue)

2.1390005694958574 0.03315179520224784

(7) 순열검정

- 모집단의 분포가 정규분포를 따르지 않거나, 분포를 알 수 없을 때 사용하는 검정 방법 (비모수검정)

- 두 표본의 데이터를 무작위로 섞어 나눈 다음 원래 통계량과의 차이를 비교하는 과정을 여러 번 반복함

- 두 배열을 [append() 함수]로 합친 후, [permutation() 함수]로 랜덤 추출하여 x_, y_ 두 그룹 사이의 평균 차이를 계산하는 과정을 1000번 반복

- 일반적으로 귀무가설 기각이 목적이므로 둘 중에 작은 값을 선택하고 2를 곱해 양쪽 꼬리에 해당하는 비율을 계산

→ p-값은 0.02로 유의수준 0.05보다 작으므로, 두 도서의 평균 대출건수에는 차이가 있다

def statistic(x, y): # 두 표본의 평균 차이를 계산

return np.mean(x) - np.mean(y)

def permutation_test(x, y):

obs_diff = statistic(x, y)

all = np.append(x, y) # 두 표본을 합침

diffs = []

np.random.seed(42)

for _ in range(1000): # 순열검정 1000번 반복

idx = np.random.permutation(len(all)) # 전체 인덱스를 섞음

x_ = all[idx[:len(x)]] # 랜덤하게 두 그룹으로 나눔

y_ = all[idx[len(x):]]

diffs.append(statistic(x_, y_)) # 평균 차이 계산

less_pvalue = np.sum(diffs < obs_diff)/1000 # 원본 표본보다 작거나 큰 경우의 p-값을 계산

greater_pvalue = np.sum(diffs > obs_diff)/1000

return obs_diff, np.minimum(less_pvalue, greater_pvalue) * 2 # 둘 중 작은 p-값에 2를 곱해 최종 p-값을 반환

permutation_test(python_books['대출건수'], cplus_books['대출건수'])

(3.1534983660862164, 0.022)

2) 머신러닝으로 예측하기

(1) 머신러닝 용어

- 모델: 머신러닝으로 훈련된 프로그램 객체

- 사이킷런: 파이썬의 대표적인 머신러닝 패키지 (scikit-learn)

- 지도학습: 데이터에 있는 각 샘플에 대한 정답(타깃)을 알고 있는 경우

입력과 타깃으로 모델을 훈련한 후, 타깃을 모르는 새로운 입력에 모델을 적용하여 타깃을 예측하는 것

- 비지도학습: 입력 데이터는 있지만 타깃이 없는 경우 (예, 군집 알고리즘)

- 훈련 세트: 모델을 훈련하기 위해 사용하는 데이터 (데이터량: 훈련 > 테스트)

- 테스트 세트: 훈련된 모델을 평가하기 위해 사용하는 데이터

(2) 선형 회귀 모델 훈련

- [train_test_split() 함수]로 훈련(75%) 및 테스트(25%) 세트로 데이터를 나눔

from sklearn.model_selection import train_test_split

train_set, test_set = train_test_split(ns_book7, random_state=42)

print(len(train_set), len(test_set))

282577 94193

- '도서권수' 열은 리스트로 감싸서 저장하여 2차원 배열로 만듬

- 사이킷런이 입력으로는 2차원 배열, 타깃은 1차원 배열을 기대하며, 2차원 배열은 대문자로 표시하는 관례가 있음

X_train = train_set[['도서권수']]

y_train = train_set['대출건수']

print(X_train.shape, y_train.shape)

(282577, 1) (282577,)

- [linear_model 모듈]의 [LinearRegression 클래스]로 선형 회귀 모델을 훈련

- LinearRegression 클래스의 객체 lr을 만들고, 이 객체의 [fit() 메서드]에 입력/타깃 데이터를 전달하여 훈련함

from sklearn.linear_model import LinearRegression

lr = LinearRegression()

lr.fit(X_train, y_train)

LinearRegression()

(3) 결정계수: 회귀 모델 평가

- [score() 메서드]로 산출된 값은 결정계수로, 훈련된 머신러닝 모델이 얼마나 유용한지 평가함

- 보통 0~1 값을 가지며, 예측이 타깃의 평균에 가까우면 0, 예측이 정확하면 1에 가까움

X_test = test_set[['도서권수']]

y_test = test_set['대출건수']

lr.score(X_test, y_test)

0.10025676249337112

(4) 선형 회귀: 연속적인 값 예측

- 선형 회귀 알고리즘은 y = ax+b 방정식임 (x는 입력, y는 타깃)

- [coef_속성]은 기울기, [intercept_속성]은 절편이 저장됨

→ 기울기는 1, 절편은 0에 가까운 매우 작은 음수

print(lr.coef_, lr.intercept_)

[1.] -3.907985046680551e-14

(5) 로지스틱 회귀: 카테고리 예측

- 분류 알고리즘, 두 개의 카테고리로 구분하면 이진 분류, 세 개 이상은 다중 분류라고 함

- 선형 함수의 결과값 z를 로지스틱 함수에 통과시키면 y = 0~1 값, y > 0.5이면 양성 클래스로 예측함 (y < 0.5는 음성)

- 평균 대출건수보다 높은 훈련/테스트 데이터를 양성 클래스(1)로 변환함

- [LogisticRegresstion 클래스]로 로지스틱 모델을 훈련, 훈련 세트는 [fit() 메서드], 테스트 세트는 [score() 메서드]로 호출함

→ 정확도(score() 메서드가 출력하는 점수)는 71%로 무난한 결과임 (입력 데이터 중 정답을 맞힌 비율)

borrow_mean = ns_book7['대출건수'].mean()

y_train_c = y_train > borrow_mean

y_test_c = y_test > borrow_mean

from sklearn.linear_model import LogisticRegression

logr = LogisticRegression()

logr.fit(X_train, y_train_c)

logr.score(X_test, y_test_c)

0.7106154385145393

- [DummyClassifier 모델]은 분류에서 가장 많은 클래스를 예측으로 출력함 (회귀는 DummyRegressor 모델)

→ 정확도는 69%로 이 값이 모델을 만들 때 기준점이 됨 (최소 이 값보다 낮다면, 유용한 모델이라고 할 수 없음)

from sklearn.dummy import DummyClassifier

dc = DummyClassifier()

dc.fit(X_train, y_train_c)

dc.score(X_test, y_test_c)

0.6936502712515792

[혼공분석] #6. 복잡한 데이터 표현하기

✨️데이터분석가✨️ — Sun, 11 Feb 2024 18:14:35 +0900

6. 복잡한 데이터 표현하기
1) 객체지향 API로 그래프 꾸미기
(1) pyplot 및 객체지향 API 방식으로 그래프 그리기
(2) 출판사별 발행 도서 개수 산점도 그리기
2) 맷플롯립의 고급 기능 배우기
(1) 여러 개의 선 그래프 그리기
(2) 스택 영역 그래프 그리기
(3) 여러 개의 막대 그래프 그리기
(4) 원 그래프 그리기
(5) 여러 종류 그래프가 있는 서브플롯 그리기

1) 객체지향 API로 그래프 꾸미기

(1) 그래프 그리기

① pyplot 방식

- matplotlib.pyplot에 있는 함수를 사용

- y축은 plot() 함수에 전달한 값, x축은 인덱스 값으로 함

import matplotlib.pyplot as plt

plt.plot([1, 4, 9, 16])

plt.title('simple line graph')

plt.show()

pyplot 방식 그래프

② 객체지향 API 방식

- 동일한 그래프를 피겨(fig) 객체와 Axes 객체를 사용하여 그리기

- 피겨 객체 설정을 바꾸거나, 서브플롯을 추가하는 경우에 사용함

fig, ax = plt.subplots()

ax.plot([1, 4, 9, 16])

ax.set_title('simple line graph')

fig.show()

(2) 출판사별 발행 도서 개수 산점도 그리기

① 고유한 출판사 목록 만들기

- [value_counts() 메서드]로 상위 30개 출판사 목록을 만들며, 해당 메서드는 내림차순 정렬함

import pandas as pd

ns_book7 = pd.read_csv('ns_book7.csv', low_memory=False)

top30_pubs = ns_book7['출판사'].value_counts()[:30]

top30_pubs

문학동네 4410
민음사 3349
...
북이십일 1026

- [isin() 메서드]로 상위 30개 출판사에 해당하면 True, 아니면 False로 반환함

- [sample() 메서드]로 무작위 1000개 행 선택하고, [random_state 매개변수]로 동일한 결과 출력

top30_pubs_idx = ns_book7['출판사'].isin(top30_pubs.index)

top30_pubs_idx

0 True
1 False
...
376769 False

ns_book8 = ns_book7[top30_pubs_idx].sample(1000, random_state=42)

② 산점도 그리기

- [subplots() 함수]로 피겨의 크기를 지정함

- [scattter() 함수]로 x축은 '발행년도', y축은 '출판사'를 지정하여 산점도 그리기

fig, ax = plt.subplots(figsize=(10, 8))

ax.scatter(ns_book8['발행년도'], ns_book8['출판사'])

ax.set_title('출판사별 발행도서')

fig.show()

산점도 그래프

③ 마커 꾸미기

- [s 매개변수]로 마커 크기를 다르게 나타내기 ('대출건수' X 2 값으로 마커 크기 지정)

- [linewidths 매개변수]로 마커 테두리 선의 두께 바꾸기 (기본값 1.5)

- [edgecolors 매개변수]로 마커 테두리 색 바꾸기 (기본값 face, 검정색 k)

- [alpha 매개변수]로 마커 투명도 조절하기 (진할수록 해당 값이 많음을 의미)

- [c 매개변수]로 마커 색 바꾸기 (작은 값은 짙은 녹색 → 큰 값은 밝은 노랑)

- [colorbar() 메서드]로 색깔이 어떤 값에 대응하는지 참조 정보를 제공하는 컬러 막대 표시하기

fig, ax = plt.subplots(figsize=(10, 8))

sc = ax.scatter(ns_book8['발행년도'], ns_book8['출판사'], s=ns_book8['대출건수']*2,

linewidths=0.5, edgecolors='k', alpha=0.3, c=ns_book8['대출건수'])

ax.set_title('출판사별 발행도서')

fig.colorbar(sc)

fig.show()

마커 꾸미기 (jet 컬러맵)

④ 컬러맵 (값에 따라 색상 표현)

- [cmap 매개변수]로 컬러맵을 지정함 (파랑→노랑→빨강 순인 jet 컬러맵을 자주 사용함)

2) 맷플롯립의 고급 기능 배우기

(1) 여러 개의 선 그래프 그리기

① 2개의 선 그래프 그리기

- 상위 30위 출판사에 해당하는 행만 선택해서 '출판사', '발행년도', '대출건수' 열을 추출함

- [groupby() 메서드]로 '출판사'&'발행년도' 기준으로 행을 묶은 후, [sum() 메서드]로 '대출건수' 합을 계산함

top30_pubs = ns_book7['출판사'].value_counts()[:30]

top30_pubs_idx = ns_book7['출판사'].isin(top30_pubs.index)

ns_book9 = ns_book7[top30_pubs_idx][['출판사', '발행년도', '대출건수']]

ns_book9 = ns_book9.groupby(by=['출판사', '발행년도']).sum()

- 2개 출판사에 대한 선 그래프를 그림

- [label 매개변수]로 레이블을 추가하고, [legend() 메서드]로 범례를 추가함

line1 = ns_book9[ns_book9['출판사'] == '황금가지']

line2 = ns_book9[ns_book9['출판사'] == '비룡소']

fig, ax = plt.subplots(figsize=(8, 6))

ax.plot(line1['발행년도'], line1['대출건수'], label='황금가지')

ax.plot(line2['발행년도'], line2['대출건수'], label='비룡소')

ax.set_title('년도별 대출건수')

ax.legend()

fig.show()

2개의 선 그래프

② 5개의 선 그래프 그리기

- 상위 5개 출판사에 대해 선 그래프 그리기

- [set_xlim() 메서드]로 x축의 좌표 범위를 설정함 (y축은 [set_ylim() 메서드])

fig, ax = plt.subplots(figsize=(8, 6))

for pub in top30_pubs.index[:5]:

line = ns_book9[ns_book9['출판사'] == pub] # 상위 5개 출판사 선정

ax.plot(line['발행년도'], line['대출건수'], label=pub) # 5개 선 그래프 그리기

ax.set_title('년도별 대출건수')

ax.legend()

ax.set_xlim(1985, 2025)

fig.show()

(2) 스택 영역 그래프 그리기

- [pivot_table() 메서드]로 열 이름을 '발행년도' 값으로 바꾸기 (열 값이 하나의 열이 되게)

- [get_level_values() 메서드]로 다단으로 구성된 열에서 선택한 항목만 가져올 수 있음

- [stackplot() 메서드]로 스택 영역 그래프 그리기

- [fillna() 메서드]로 누락된 값을 0으로 채움

- [loc 매개변수]로 범례 위치 지정 (기본값은 'best'로 최상단 위치)

ns_book10 = ns_book9.pivot_table(index='출판사', columns='발행년도')

top5_pubs = top30_pubs.index[:5]

year_cols = ns_book10.columns.get_level_values(1)

fig, ax = plt.subplots(figsize=(8, 6))

ax.stackplot(year_cols, ns_book10.loc[top5_pubs].fillna(0), labels=top5_pubs)

ax.set_title('년도별 대출건수')

ax.legend(loc='upper left')

ax.set_xlim(1985, 2025)

fig.show()

스택 영역 그래프

(3) 여러 개의 막대 그래프 그리기

① 묶은 세로 막대 그래프

- [bar() 메서드]로 막대 그래프 그리며, x값 위치를 이동시켜 옆으로 나란한 막대 그래프를 그림

- [width 매개변수]로 막대 두께 지정

fig, ax = plt.subplots(figsize=(8, 6))

ax.bar(line1['발행년도']-0.2, line1['대출건수'], width=0.4, label='황금가지')

ax.bar(line2['발행년도']+0.2, line2['대출건수'], width=0.4, label='비룡소')

ax.set_title('년도별 대출건수')

ax.legend()

fig.show()

묶은 세로 막대 그래프

② 누적 세로 막대 그래프

- [cumsum() 메서드]로 누적 값을 계산함

- 큰 막대(누적 값)를 먼저 그린 후, 작은 막대 순으로 그려서 막대를 쌓을 수 있음

- [range() 함수]로 행 개수만큼 인덱스 번호를 만들고, for 문에 [reversed() 함수]로 인덱스의 역순으로 반복하여 그림

ns_book12 = ns_book10.loc[top5_pubs].cumsum()

fig, ax = plt.subplots(figsize=(8, 6))

for i in reversed(range(len(ns_book12))):

bar = ns_book12.iloc[i] # 행 추출

label = ns_book12.index[i] # 출판사 이름 추출

ax.bar(year_cols, bar, label=label)

누적 세로 막대 그래프

(4) 원 그래프 그리기

- 상위 5개 출판사의 도서 개수 및 인덱스를 저장함

- [pie() 메서드]로 원 그래프 그리기

- [startangle 매개변수]를 90으로 지정하면 12시 방향부터 반시계 방향 순으로 그림 (기본값 3시 방향부터 반시계 방향 순)

- [autopct 매개변수]로 포맷팅 문자열 지정 ('%d'는 정수)

- [explode 매개변수]로 원하는 조각을 떨어뜨려 중요한 항목 강조

data = top30_pubs[:5]

labels = top30_pubs.index[:5]

fig, ax = plt.subplots(figsize=(8, 6))

ax.pie(data, labels=labels, startangle=90, autopct='%.1f%%', explode=[0.1]+[0]*4)

ax.set_title('출판사 도서비율')

fig.show()

원 그래프

(5) 여러 종류 그래프가 있는 서브플롯 그리기

fig, axes = plt.subplots(2, 2, figsize=(20, 16))

# 산점도

# 스택 영역 그래프

# 누적 막대 그래프

# 원 그래프

fig.savefig('all_in_one.png')

fig.show()

여러 종류 그래프가 있는 서브플롯

6주차 미션

6주차. 기본 미션

p344의 손코딩(맷플롯립의 컬러맵으로 산점도 그리기)을 코랩에서 그래프 출력하고 화면 캡처하기

기본미션. 맷플롯립의 컬러맵으로 산점도 그리기

6주차. 선택 미션

p356 ~ 359의 스택 영역 그래프를 그리는 과정을 정리하기

선택미션. 스택 영역 그래프 그리기

[혼공분석] #5. 데이터 시각화하기

✨️데이터분석가✨️ — Sun, 4 Feb 2024 18:02:56 +0900

5. 데이터 시각화하기
1) 맷플롯립 기본 요소 알아보기
(1) Figure 객체
(2) rcParams 객체
(3) 여러 개의 서브플롯 출력하기
2) 선 그래프와 막대 그래프 그리기
(1) 발행년도별 도서 개수 구하기
(2) 주제별 도서 개수 구하기
(3) 선 그래프 그리기
(4) 막대 그래프 그리기

1) 맷플롯립 기본 요소 알아보기

(1) Figure 객체

- 피겨는 맷플롯립의 그래프 요소를 모두 담고 있는 최상위 객체

- [Figure() 함수]의 [figsize 매개변수]로 그래프 크기를 지정할 수 있음

import matplotlib.pyplot as plt

print(plt.rcParams['figure.figsize']) #기본 그래프 크기 확인

[6.4, 4.8]

plt.figure(figsize=(9, 6))

- 예상보다 그래프가 작게 그려진 이유는 DPI 때문임

- 원하는 크기(픽셀)에 맥플롯립 DPI 기본값인 72로 나누고, [bbox_inches 옵션]을 None으로 지정하여 타이트 레이아웃(그래프 주변 공백 최소화)을 사용하지 않아야 정확한 크기의 그래프가 그려짐

%config InlineBackend.print_figure_kwargs = {'bbox_inches': None}

plt.figure(figsize=(900/72, 600/72))

- [dip 매개변수]로 그래프 크기를 바꾸면, 그래프 내 모든 구성 요소 크기도 바뀜 (마커, xy축 숫자 등)

plt.figure(dpi=144)

(2) rcParams 객체

- rcParams는 맷플롯립 그래프의 기본값을 관리하는 객체

- [figure.dpi]로 DPI 기본값을 바꿔 그래프 해상도를 높일 수 있음

plt.rcParams['figure.dpi'] = 100

- [scatter.marker]로 산점도 기본 마커 모양을 바꿀 수 있음

plt.rcParams['scatter.marker'] = '*'

- [marker 매개변수]로 기본값이 아닌 해당 그래프의 마커 모양을 바꿀 수 있음

plt.scatter(ns_book7['도서권수'], ns_book7['대출건수'], alpha=0.1, marker='+')

plt.show()

marker 매개변수

(3) 여러 개의 서브플롯 출력하기

- 서브플롯은 피겨 안에 포함된 그래프를 의미하며, Axes 객체를 의미함

(Axis 클래스는 축 객체를 다루며, 두 개 이상의 Axis 객체로 이루어지면 Axes를 의미함)

- [subplots() 함수]에 원하는 서브플롯 개수를 지정함

- Figure 클래스 객체인 fig에 Axis 클래스 객체인 axs[]을 서브플롯으로 추가하는 형태

fig, axs = plt.subplots(2, figsize=(6, 8))

axs[0].scatter(ns_book7['도서권수'], ns_book7['대출건수'], alpha=0.1) # 첫번째 그래프

axs[1].hist(ns_book7['대출건수'], bins=100) # 두번째 그래프

fig.show()

서브플롯 출력하기1

- subplots(행 개수, 열 개수)로 서브플롯 모양 지정

- [set_title()]로 제목 지정, [set_xlable()], [set_ylable()]로 축 이름 지정

fig, axs = plt.subplots(1, 2, figsize=(10, 4))

axs[0].scatter(ns_book7['도서권수'], ns_book7['대출건수'], alpha=0.1)

axs[1].hist(ns_book7['대출건수'], bins=100)

axs[1].set_title('histogram')

axs[1].set_yscale('log')

axs[1].set_xlabel('borrow count')

axs[1].set_ylabel('frequency')

fig.show()

서브플롯 출력하기2

2) 선 그래프와 막대 그래프 그리기

(1) 발행년도별 도서 개수 구하기

- [value_counts() 메서드]로 고유한 값이 등장한 횟수를 계산함

- 발행년도별 도서 개수를 출력 → 값 내림차순으로 출력됨

count_by_year = ns_book7['발행년도'].value_counts()

count_by_year

2012    18601
2014    17797
2009    17611
        ...
1947        1
Name: 발행년도, Length: 87, dtype: int64

- [sort_index() 메서드]로 인덱스 순으로 내림차순 출력

count_by_year = count_by_year.sort_index()

count_by_year

1947 1
1948 3
1949 1
...
2650 1

- 부등호 기호를 통해 발행년도가 2030년 이하만 출력

count_by_year = count_by_year[count_by_year.index <= 2030]

(2) 주제별 도서 개수 구하기

- 주제분류번호(no)가 1로 시작하면 철학, 2로 시작하면 종교 등 첫 번째 문자 기준으로 도서 개수 출력하기

- no가 NaN인 경우 -1로 반환, 그렇지 않으면 첫 번째 문자를 반환하여 kdc_1st_char() 함수를 선언한 후 [apply() 메서드]에 넣어 데이터프레임에 반복 적용

import numpy as np

def kdc_1st_char(no):

if no is np.nan:

return '-1'

else:

return no[0]

count_by_subject = ns_book7['주제분류번호'].apply(kdc_1st_char).value_counts()

count_by_subject

8 108643
3 80767

        ...
-1     16978
0      12376
Name: 주제분류번호, dtype: int64

(3) 선 그래프 그리기

- 그래프 해상도 향상을 위해 맷플롯립의 기본 DPI를 100으로 변환

- [plot(x축, y축) 함수]로 선 그래프 그리기

import matplotlib.pyplot as plt

plt.rcParams['figure.dpi'] = 100 # 해상도 향상

plt.plot(count_by_year.index, count_by_year.values)

plt.title('Books by year')

plt.xlabel('year')

plt.ylabel('number of books')

plt.show()

- [linestyle 매개변수]로 선 모양 지정 (실선 '-', 점선 ':', 쇄선 '-.', 파선'--')

- [color 매개변수]로 선 색상 지정 (blue, magenta, yellow, cyan 등)

plt.plot(count_by_year, marker='.', linestyle=':', color='red')

plt.plot(count_by_year, '.:r') # 위와 동일한 표현

선 그래프1

- [xticks() 함수]로 x축의 눈금을 지정할 수 있으며, [range() 함수]로 범위 지정

- [슬라이스 연산자(:)]로 표시할 값을 선택, [items() 메서드]로 인덱스의 값을 감싼 튜플을 얻을 수 있음

- [annotate(값, (x, y)) 함수]로 값을 출력하며, [xytext 매개변수]로 값 위치를 조정함

plt.plot(count_by_year, '*-g')

plt.xticks(range(1947, 2030, 10))

for idx, val in count_by_year[::5].items():

plt.annotate(val, (idx, val), xytext=(idx+1, val+10))

plt.show()

선 그래프2

- x,y축 단위 차이가 클 경우, [textcoords 매개변수]로 상대 위치를 나타내는 'offset points'로 지정

plt.annotate(val, (idx, val), xytext=(2, 2), textcoords='offset points')

(4) 막대 그래프 그리기

- [bar() 함수]로 막대 그래프 그리기

- [width 매개변수]로 막대 두께를 조절, [color 매개변수]로 막대 색깔을 지정함

- [annotate() 함수]의 [ha 매개변수]를 'center'로 지정하면 값 위치가 가운데 정렬되고, fontsize로 글자크기, color로 글자색을 지정함

plt.bar(count_by_subject.index, count_by_subject.values, width=0.7, color='blue')

for idx, val in count_by_subject.items():

plt.annotate(val, (idx, val), xytext=(0, 2), textcoords='offset points',

fontsize=10, ha='center', color='red')

plt.show()

막대 그래프1

- [barh() 함수]로 가로 막대 그래프 그리기

- [heiht 매개변수]로 막대 두께 조절하며, xy축 값이 바뀌어야 하고, [va 매개변수]로 값 위치 지정함

plt.barh(count_by_subject.index, count_by_subject.values, height=0.7, color='blue')

for idx, val in count_by_subject.items():

plt.annotate(val, (val, idx), va='center')

5주차 미션

5주차. 기본 미션

p314. 손코딩[맷플롯립에서 bar() 함수로 막대 그래프 그리기]을 코랩에서 그래프 출력하고 화면 캡처하기

기본 미션. 막대 그래프 그리기

5주차. 선택 미션

p316. 손코딩[텍스트 정렬, 막대 조절 및 색상 바꾸기]을 코랩에서 그래프 출력하고 화면 캡처하기

선택 미션. 막대 그래프 바꾸기

[혼공분석] #4. 데이터 요약하기

✨️데이터분석가✨️ — Sun, 28 Jan 2024 17:46:24 +0900

4. 데이터 요약하기
1) 통계로 요약하기
(1) 기술통계 구하기
(2) 평균 구하기
(3) 중앙값 구하기
(4) 최솟값/최댓값 구하기
(5) 분위수 구하기
(6) 분산/표준편차 구하기
(7) 최빈값 구하기
2) 분포로 요약하기
(1) 산점도 그리기
(2) 히스토그램 그리기
(3) 상자 수염 그림 그리기

1) 통계로 요약하기

(1) 기술통계 구하기

- [describe() 메서드]로 기술통계를 출력함

- count는 데이터 개수(누락된 값 제외), mean 평균, std 표준편차 등

ns_book6.describe()

기술통계

- [include 매개변수]로 데이터 타입 지정 가능함

- object 타입의 열에 대한 통계의 unique는 고유한 값의 개수, top 최빈값, freq 최빈값 개수(빈도 수) 등

ns_book7.describe(include='object')

object 타입의 통계

(2) 평균 구하기

① for 반복문

- [range() 함수]는 0부터 ()안에 입력된 숫자 직전까지 반복함

- 변수 i에 0,1,2를 대입하여 x[0]+x[1]+x[2]를 sum 값에 누적함

x = [10, 20, 30]

sum = 0

for i in range(3):

sum += x[i]

print("평균:", sum / len(x))

평균: 20

② mean() 메서드

ns_book7['대출건수'].mean()

11.593438968070707

(3) 중앙값 구하기

- 전체 데이터를 순서대로 늘어 놓았을 때, 중앙에 위치한 값 (describe() 메서드의 50% 값)

- 데이터 개수가 짝수인 경우는 중앙의 두 개의 값을 평균함

ns_book7['대출건수'].median()

6.0

- [drop_duplicates() 메서드]로 중복된 값을 제거한 후, 중앙값 구하기

ns_book7['대출건수'].drop_duplicates().median()

183.0

(4) 최솟값/최댓값 구하기

① 최솟값

ns_book7['대출건수'].min()

② 최댓값

ns_book7['대출건수'].max()

1765

(5) 분위수 구하기

① 사분위수

- [quantile() 메서드]로 분위수를 지정하여 활용함

ns_book7['대출건수'].quantile([0.25,0.50])

0.25 2.0

0.50 6.0

- [interpolation 매개변수]로 중앙 값 계산하는 방법을 결정함

- midpoint 두 값 사이의 중앙값, nearest 가까운 값, lower 작은 값, higher 큰 값 등

pd.Series([1,2,3,4,5]).quantile(0.9)

pd.Series([1,2,3,4,5]).quantile(0.9, interpolation='midpoint')

pd.Series([1,2,3,4,5]).quantile(0.9, interpolation='nearest')

4.6

4.5

5.0

② 백분위 구하기

- 특정 값이 위치한 백분위는 불리언 배열을 사용하여 비율 계산함

- 10이 위치한 백분위는 10보다 작은지 비교하여 불리언 배열을 만들면, True=1이므로 mean() 메서드를 사용하여 비율을 산출할 수 있음

borrow_10_flag = ns_book7['대출건수'] < 10

borrow_10_flag.mean()

0.6402712530190833

ns_book7['대출건수'].quantile(0.65)

(6) 분산/표준편차 구하기

① 분산

- 분산은 평균으로부터 데이터가 얼마나 퍼져있는지 나타내는 통계량 (분산이 크면 데이터가 넓게 퍼져있다는 의미)

- 분산은 데이터의 각 값에서 평균을 뺀 다음 제곱한 후, 데이터 개수로 나눔

ns_book7['대출건수'].var()

371.69563042906674

② 표준편차

- 표준편차는 분산에 제곱근한 것

- 평균(11)보다 표준편차(19)가 크다는 것은 평균보다 훨씬 큰 값이 있다는 것을 의미함

ns_book7['대출건수'].std()

19.279409493785508

import numpy as np

diff = ns_book7['대출건수'] - ns_book7['대출건수'].mean()

np.sqrt( np.sum(diff**2) / (len(ns_book7)-1) )

(7) 최빈값 구하기

- 최빈값은 가장 많이 나온 값을 의미함

ns_book7['도서명'].mode()

승정원일기

- 데이터프레임에서 호출하기

- 도서명의 최빈값은 '승정원일기', 출판사의 최빈값은 '문학동네' → 승정원일기 출판사가 문학동네라는 의미는 아님!

ns_book7.loc[:, '도서명':].mode()

데이터프레임에서 최빈값 호출

2) 분포로 요약하기

(1) 산점도 그리기, scatter() 함수

- [맷플롯립 패키지]를 이용하여 그래프를 그림

- 산점도는 데이터를 2차원 평면 or 3차원 공간에 점으로 표시하는 그래프임

- [scatter() 함수]에 x축 좌표, y축 좌표를 전달하여 [show() 함수]로 출력함

import matplotlib.pyplot as plt

plt.scatter([1,2,3,4], [1,2,3,4])

plt.show()

산점도, scatter() 함수

- [alpha 매개변수]로 투명도 지정할 수 있으며, 데이터가 많이 중첩된 부분은 짙음

(*0에 가까울수록 투명, 1에 가까울수록 불투명)

- '도서권수 당 대출건수'와 '대출건수'는 양의 상관관계를 보임

average_borrows = ns_book7['대출건수']/ns_book7['도서권수']

plt.scatter(average_borrows, ns_book7['대출건수'], alpha=0.1)

plt.show()

산점도, alpha 매개변수

(2) 히스토그램 그리기, hist() 함수

- 히스토그램은 데이터를 일정 구간으로 나누어 구간에 속한 데이터 개수(도수)를 막대로 표현한 그래프

- [hist() 함수]를 이용하며, [bins 매개변수]에 구간 개수를 지정함

- [histogram_bin_edges() 함수]로 구간의 경곗값을 확인

plt.hist([0,3,5,6,7,7,9,13], bins=5)

plt.show()

np.histogram_bin_edges([0,3,5,6,7,7,9,13], bins=5)

히스토그램, hist() 함수

- [randn() 함수]는 실수를 랜덤하게 생성하며, [seed() 함수]는 동일한 난수를 생성해 줌

- 표준정규분포는 평균이 0, 표준편차가 1에 가까움

np.random.seed(42)

random_samples = np.random.randn(1000)

plt.hist(random_samples)

plt.show()

- 그래프가 한 쪽에 편중되어 그려진다면, xy축에 로그 스케일을 적용하여 구간을 조정함

- [yscale() 함수]는 y축에 로그 함수를 적용해 줌

- 도서명 글자 수는 [apply() 메서드]에 [len() 함수]를 적용하여 만들고, [xscale() 함수]로 x축에 데이터를 골고루 그림

title_len = ns_book7['도서명'].apply(len)

plt.hist(title_len, bins=100)

plt.xscale('log')

plt.show()

히스토그램, xscale() 함수

(3) 상자 수염 그림 그리기, boxplot() 함수

[상자 수염 그림]

- 상자 수염 그림은 사분위수, 최솟값, 최댓값으로 여러 특성의 분포를 비교할 수 있는 그래프

- [boxplot() 함수]를 이용하며, 2번 상자 '도서권수'의 사분위수는 모두 1이라서 상자가 보이지 않음

plt.boxplot(ns_book7[['대출건수','도서권수']])

plt.yscale('log')

plt.show()

상자 수염 그림, boxplot() 함수

- [vert 매개변수]를 False로 지정하면 수평으로 그릴 수 있음

plt.boxplot(ns_book7[['대출건수','도서권수']], vert=False)

- [whis 매개변수]로 수염 길이를 조정할 수 있음 (기본은 IQR의 1.5배)

plt.boxplot(ns_book7[['대출건수','도서권수']], whis=10)

- [whis 매개변수]는 백분율 지정도 가능하며, (0, 100)으로 지정하면 0%, 100%에 해당하는 모든 데이터까지 수염을 그림

plt.boxplot(ns_book7[['대출건수','도서권수']], whis=(0,100))

상자 수염 그림, whis 매개변수

4주차 미션

4주차. 기본 미션

p279. 확인 문제 5번 풀고 인증하기

문5. ns_book7 남산도서관 대출 데이터에서 1980년~2022년 사이에 발행된 도서를 선택하여 다음과 같은 '발행년도' 열의 히스토그램을 그려 보세요.

selected_rows = (1980 <= ns_book7['발행년도']) & (ns_book7['발행년도'] <= 2022)

plt.hist(ns_book7.loc[selected_rows, '발행년도'])

plt.show()

문5. 발행년도 히스토그램

4주차. 선택 미션

Ch.04(04-1)에서 배운 8가지 기술통계량(평균, 중앙값, 최솟값, 최댓값, 분위수, 분산, 표준편차, 최빈값)의 개념을 정리하기

[기술통계량 예시]

평균	중앙값	최솟값	최댓값
데이터값을 모두 더한 후, 데이터 개수로 나눈 값	중앙에 위치한 값	가장 작은 값	가장 큰 값
mean()	median()	min()	max()

분위수	분산	표준편차	최빈값
일정한 간격으로 나누는 기준점	데이터의 분포 정도	분산의 제곱근	가장 많이 등장하는 값
quantile()	var()	std()	mode()

[혼공분석] #3-2. 잘못된 데이터 수정하기

✨️데이터분석가✨️ — Sun, 21 Jan 2024 20:57:01 +0900

3. 데이터 정제하기
2) 잘못된 데이터 수정하기
(1) 데이터프레임 정보 요약 확인하기
(2) 누락된 값 처리하기
(3) 정규 표현식
(4) 잘못된 값 바꾸기
(5) 누락된 정보 채우기

2) 잘못된 데이터 수정하기

(1) 데이터프레임 정보 요약 확인하기

- 도서명은 누락된 값이 403개임 (=384591-384188)

ns_book4.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 384591 entries, 0 to 384590 # 전체 행 개수
Data columns (total 13 columns): # 열 개수
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 번호 384591 non-null int64 # 누락된 값이 없는 행 개수
1 도서명 384188 non-null object
2 저자 384393 non-null object
...
dtypes: float64(1), int64(2), object(10) # 데이터 타입
memory usage: 38.1+ MB # 메모리 사용량

(2) 누락된 값 처리하기

① 누락된 값 개수 확인하기

- [isna() 메서드]는 누락된 값을 True로 반환해 주며, sum() 메서드와 같이 사용하여 누락된 값이 있는 행 개수를 확인함

ns_book4.isna().sum()

번호              0
도서명           403
저자            198
출판사          4641
발행년도           14
ISBN            0
세트 ISBN    328015
부가기호        74205
권          321213
주제분류번호      19864
도서권수            0
대출건수            0
등록일자            0
dtype: int64

- [notna() 메서드]는 누락되지 않은 값을 확인할 때 사용함

ns_book4.notna().sum()

② 누락된 값으로 표시하기

- '도서권수'(정수형) 열의 첫 번째 행 값을 임의로 None으로 변경함 → NaN으로 출력됨

ns_book4.loc[0, '도서권수'] = None

ns_book4.head(2)

누락된 값으로 표시하기_정수형

- '부가기호'(문자형) 열의 첫 번째 행 값을 임의로 None으로 변경함 → None로 출력됨

ns_book4.loc[0, '부가기호'] = None

ns_book4.head(2)

누락된 값으로 표시하기_문자형

- NaN으로 출력하기 위해서는 넘파이 패키지의 [np.nan]을 사용해야 함

import numpy as np

ns_book4.loc[0, '부가기호'] = np.nan

- [astype() 메서드]로 데이터 타입을 변경하며, 매개변수는 {열 이름: 데이터 타입}의 딕셔너리 형식임

ns_book4 = ns_book4.astype({'도서권수':'int32', '대출건수': 'int32'})

③ 누락된 값을 원하는 값으로 바꾸기

- [loc 메서드]로 누락된 값(NaN) → '없음'으로 변경

set_isbn_na_rows = ns_book4['부가기호'].isna()

ns_book4.loc[set_isbn_na_rows, '부가기호'] = '없음'

- [fillna() 메서드]에 원하는 값을 전달하면 NaN 값을 대체함

ns_book4.fillna('없음').isna()

ns_book4['부가기호'].fillna('없음').isna()

ns_book4.fillna({'부가기호':'없음'}).isna()

- [replace() 메서드]는 어떤 값도 바꿀 수 있으며, replace(원래 값, 원하는 값) 형태로 사용함

ns_book4.replace(np.nan, '없음').isna()

- [replace() 메서드]로 여러 개의 값을 바꿀 때는, replace([원래 값1, 원래 값 2], [원하는 값1, 원하는 값2]) 형태로 사용함

ns_book4.replace([np.nan, '2021'], ['없음', '21']).head(2)

replace() 메서드

- [replace() 메서드]로 열 마다 다른 값으로 바꿀 때는, replace({열 이름: {원래 값, 원하는 값}}) 형태로 사용함

ns_book4.replace({'부가기호': {np.nan: '없음'}, '발행년도': {'2021': '21'}})

(3) 정규 표현식 (= 정규식)

- 문자열에서 패턴을 찾고 대체하기 위한 규칙의 모음

① 숫자 찾기

- 정규 표현식에서 숫자는 \d이며, \d\d(\d\d)는 네 자리 숫자에 뒤에 두 자리를 하나의 그룹으로 묶음을 의미함

- replace() 메서드에 [regex 매개변수]를 True로 지정하여 정규 표현식을 사용함을 의미함

- [r문자]는 정규 표현식을 사용한다는 접두사를 의미함

- 2021 → 21로의 변환은 \d\d(\d\d) 패턴 안에 있는 첫 번째 그룹으로 변환해 준다는 형태로 사용함

ns_book4.replace({'발행년도': {r'\d\d(\d\d)': r'\1'}}, regex=True)[100:102]

ns_book4.replace({'발행년도': {r'\d{2}(\d{2})': r'\1'}}, regex=True)[100:102]

정규 표현식_숫자 찾기

② 문자 찾기

- [.]은 문자를 의미하며, 글자 수 동일하지 않을 경우 [*]을 사용하여 0개 이상 반복됨을 의미함

- 문자로 인식하려면 앞에 [\]를 붙여야 하고, 공백은 [\s]로 표시함

- 'AB CDE (지은이), 가나다 (옮긴이)' → 'AB CDE, 가나다' 형태로 변환하기 위한 정규 표현식은 아래와 같음

정규 표현식_문자 표현

ns_book4.replace({'저자': {r'(.*)\s$지은이$(.*)\s$옮긴이$': r'\1\2'}, regex=True)[100:102]

정규 표현식_문자 찾기

(4) 잘못된 값 바꾸기

① 잘못된 값 찾기 (문자가 포함된 값)

- 다른 모든 문자에 대응하는 표현은 \D임

- [contains() 메서드]는 주어진 문자열 포함된 모든 행을 찾음 (1988., 1988-02-05 등)

- [na 매개변수]를 True로 지정하여 값이 누락된 행을 True로 표시

- 발행년도에 문자가 포함된 행 및 공란인 행을 출력함

invalid_number = ns_book4['발행년도'].str.contains('\D', na=True)

print(invalid_number.sum())

ns_book4[invalid_number].head()

1777

문자가 포함된 행 출력

② 잘못된 값 바꾸기 (연도 외 정보 삭제)

- 정규 표현식으로 연도 앞/뒤 문자를 제외 (즉, 숫자 4자리만 남겨둠)

- 연도가 없는 행을 출력함 (즉, 여전히 문자가 포함된 행을 출력함)

ns_book5 = ns_book4.replace({'발행년도':r'.*(\d{4}).*'}, r'\1', regex=True)

unkown_year = ns_book5['발행년도'].str.contains('\D', na=True)

print(unkown_year.sum())

ns_book5[unkown_year].head()

연도 정보가 없는 행 출력

- 여전히 문자가 포함된 행을 '-1'로 변경함

ns_book5.loc[unkown_year, '발행년도'] = '-1'

③ 이상치 값 바꾸기

- '발행년도'가 4000 이상인 경우, 2333을 빼서 서기 연도로 바꿔줌

- 여전히 4000 이상인 행을 '-1'로 변경함

dangun_yy_rows = (ns_book5['발행년도'] > 4000)

ns_book5.loc[dangun_yy_rows, '발행년도'] = ns_book5.loc[dangun_yy_rows, '발행년도'] - 2333

dangun_year = (ns_book5['발행년도'] > 4000)

ns_book5.loc[dangun_year, '발행년도'] = -1

- '발행년도'가 0 ~ 1900년 사이인 행을 '-1'로 변경함

old_books = ns_book5['발행년도'].gt(0) & ns_book5['발행년도'].lt(1900)

ns_book5.loc[old_books, '발행년도'] = -1

- '발행년도' 값이 정상적이지 않은 행 개수 출력함

ns_book5['발행년도'].eq(-1).sum()

(5) 누락된 정보 채우기

- '도서명', '저자', '출판사' 열에 누락된 값을 외부 정보로 채우기

na_rows = ns_book5['도서명'].isna() | ns_book5['저자'].isna() | ns_book5['출판사'].eq(-1)

import requests

from bs4 import BeautifulSoup

def get_book_info(row):

title = row['도서명']

author = row['저자']

pub = row['출판사']

url = 'http://www.yes24.com/Product/Search?domain=BOOK&query={}'

r = requests.get(url.format(row['ISBN']))

soup = BeautifulSoup(r.text, 'html.parser') # HTML 파싱

try:

if pd.isna(title):

title = soup.find('a', attrs={'class':'gd_name'}).get_text()

except AttributeError:

pass

try:

if pd.isna(author):

authors = soup.find('span', attrs={'class':'info_auth'}).find_all('a')

author_list = [auth.get_text() for auth in authors]

author = ','.join(author_list)

except AttributeError:

pass

try:

if pd.isna(pub):

pub = soup.find('span', attrs={'class':'info_pub'}).find('a').get_text()

except AttributeError:

pass

return title, author, pub

updated_sample = ns_book5[na_rows].apply(get_book_info, axis=1, result_type ='expand')

updated_sample.columns = ['도서명','저자','출판사']

ns_book5.update(updated_sample)

3주차 미션

3주차. 기본 미션

p182. 확인 문제 2번 풀고 인증하기

문2. 1번 문제의 df 데이터프레임에서 'col1' 열의 합을 계산하는 명령으로 올바르지 않은 것은 무엇인가요?

	col1	col2	col3
0	1	a	NaN
1	2	NaN	NaN
2	3	c	100.0

① df['col1'].sum()

② df[['col1']].sum()

③ df.loc[:, df.columns == 'col1'].sum()

④ df.loc[:, [False,False,True]].sum()

→ 정답 ④ 'col3' 열의 합을 계산함

3주차. 선택 미션

p219. 확인 문제 5번 풀고 인증하기

문5. 다음과 df 데이터프레임에서 df.replace(r'ba.*', 'new', regex=True)의 결과는 무엇인가요?

<df>	A	B
0	~~bat~~ new	abc
1	foo	~~bar~~ new
2	~~bait~~ new	xyz

→ 정답 ① ba로 시작하는 단어가 모두 'new'로 변경됨

[혼공분석] #3-1. 불필요한 데이터 삭제하기

dataslog.tistory.com

[혼공분석] #3-1. 불필요한 데이터 삭제하기

✨️데이터분석가✨️ — Sat, 20 Jan 2024 20:20:40 +0900

3. 데이터 정제하기
1) 불필요한 데이터 삭제하기
1-1) 열 삭제하기
(1) 불리언 배열
(2) drop() 메서드
(3) dropna() 메서드
1-2) 행 삭제하기
(1) 불리언 배열
(2) drop() 메서드
(3) 중복된 행 찾기, duplicated() 메서드
(4) 그룹별로 모으기, groupby() 메서드
(5) 원본 데이터 업데이트하기
(6) 일괄 처리 함수 만들기

1-1) 열 삭제하기

(1) 불리언 배열

- 데이터프레임에 저장된 열 출력

- 열 속성은 [Index 클래스] 객체로 리스트처럼 숫자 인덱스로 참조할 수 있음

print(ns_df.columns)

print(ns_df.columns[0])

Index(['번호', '도서명', '저자', '출판사', '발행년도', 'ISBN', '세트 ISBN', '부가기호', '권', '주제분류번호', '도서권수', '대출건수', '등록일자', 'Unnamed: 13'], dtype='object')

번호

- 모든 원소를 하나씩 비교하여 True or False로 이루어진 불리언 배열로 반환함

ns_df.columns != 'Unnamed: 13'

array([ True, True, True, True, True, True, True, True, True, True, True, True, True, False])

- 'Unnamed: 13' 열이 아닌 것은 True가 되고, True인 열만 출력됨

selected_columns = ns_df.columns != 'Unnamed: 13'

ns_book = ns_df.loc[:, selected_columns]

ns_book.head()

열 삭제하기_ 불리언 배열

(2) drop() 메서드

- 첫 번째 매개변수에 삭제하려는 열 이름을 지정하고 axis 매개변수=1로 지정 (기본값은 0이며, 행을 의미)

- '부가기호'와 'Unnamed: 13' 열이 삭제됨

- [inplace 매개변수]를 True로 지정하면 새로운 변수 지정 없이 바로 적용 가능

ns_book = ns_df.drop(['부가기호', 'Unnamed: 13'], axis=1)

ns_book.head()

ns_book.drop(['부가기호', 'Unnamed: 13'], axis=1, inplace=True)

ns_book.head()

(3) dropna() 메서드

- 판다스는 비어있는 값을 NaN으로 표시함

- NaN이 하나 이상 포함된 행 or 열을 삭제함

ns_book = ns_df.dropna(axis=1)

ns_book.head()

ns_book.dropna(axis=1, inplace=True)

ns_book.head()

dropna() 메서드

- [how 매개변수]를 'all'로 지정하면, 모든 값이 NaN인 열을 삭제함

ns_book = ns_df.dropna(axis=1, how='all')

ns_book.head()

dropna() 메서드_how 매개변수

1-2) 행 삭제하기

(1) 불리언 배열

- 불리언 배열로 원하는 행을 True로 만들어 사용함

- 출판사가 '한빛미디어'인 행만 출력함

ns_book2 = ns_df[ns_df['출판사'] == '한빛미디어']

ns_book2.head()

행 삭제하기_불리언 배열

(2) drop() 메서드

- 인덱스 0~1까지 2개의 행을 삭제함

ns_book2 = ns_book.drop([0,1])

ns_book2.head()

행 삭제하기

(3) 중복된 행 찾기, duplicated() 메서드

- 중복된 행은 True로 표시됨 (즉, 두 번째 행)

- sum() 함수는 True를 1로 인식하기 때문에, 중복된 행의 개수를 셀 수 있음

- 모든 열 기준은 번호가 고유한 값을 갖기에 중복된 행이 나올 수 없고, [subset 매개변수]로 특정 열 기준의 중복 행을 확인함

sum(ns_book.duplicated())

sum(ns_book.duplicated(subset=['도서명', '저자', 'ISBN']))

22096

- [keep 매개변수]를 False로 지정하여 중복된 모든 행을 True로 표시하여 출력함

dup_rows = ns_book.duplicated(subset=['도서명', '저자', 'ISBN'], keep=False)

ns_book3 = ns_book[dup_rows]

ns_book3.head()

중복된 행 찾기

(4) 그룹별로 모으기, groupby() 메서드

- 그룹별로 합칠 때 groupby()를 사용하며, [by 매개변수]에는 행을 합칠 때 기준이 되는 열을 지정함

- '도서명', '저자', 'ISBN'이 동일한 행을 합치고, [dropna 매개변수]를 False로 지정하여 NaN이 있는 행도 포함하여 대출권수를 더해서 출력함

count_df = ns_book[['도서명', '저자', 'ISBN', '대출건수']]

loan_count = count_df.groupby(by=['도서명', '저자', 'ISBN'], dropna=False).sum()

loan_count.head()

그룹별로 모으기

(5) 원본 데이터 업데이트하기

① 중복 없는 고유한 행만 선택하기

- duplicated()로 중복 행 True 표시, 고유한 행 선택을 위해 [~ 연산자]로 배열을 반전시킨 후, [copy()]로 고유한 행 선택

dup_rows = ns_book.duplicated(subset=['도서명', '저자', 'ISBN']) # 중복된 행을 True로 표시

unique_rows = ~dup_rows # 고유한 행을 True로 반전시킴

ns_book3 = ns_book[unique_rows].copy() # 고유한 행만 선택함

sum(ns_book3.duplicated(subset=['도서명', '저자', 'ISBN'])) # 중복된 행 개수 확인

② 원본 데이터프레임 인덱스 설정하기

- [set_index()]로 지정한 열을 인덱스로 설정하며, [inplace 매개변수]를 True로 지정하여 기존에 수정

ns_book3.set_index(['도서명', '저자', 'ISBN'], inplace=True)

ns_book3.head()

원본 데이터프레임 인덱스 설정

③ 업데이트 하기, update() 메서드

- update()로 원본 데이터프레임 값 업데이트 (대출건수 합계)

- [reset_index()]로 인덱스 열 해제

- [] 연산자로 열 이름 순서를 지정

ns_book3.update(loan_count)

ns_book4 = ns_book3.reset_index()

ns_book4 = ns_book4[ns_book.columns]

(6) 일괄 처리 함수 만들기

def data_cleaning(filename):

ns_df = pd.read_csv(filename, low_memory=False)

ns_book = ns_df.dropna(axis=1, how='all')

count_df = ns_book[['도서명','저자','ISBN','대출건수']]

loan_count = count_df.groupby(by=['도서명','저자','ISBN'], dropna=False).sum()

dup_rows = ns_book.duplicated(subset=['도서명','저자','ISBN'])

unique_rows = ~dup_rows

ns_book3 = ns_book[unique_rows].copy()

ns_book3.set_index(['도서명','저자','ISBN'], inplace=True)

ns_book3.update(loan_count)

ns_book4 = ns_book3.reset_index()

ns_book4 = ns_book4[ns_book.columns]

return ns_book4

[혼공분석] #3-2. 잘못된 데이터 수정하기

dataslog.tistory.com

[혼공분석] #2-2. 웹 스크래핑으로 데이터 수집하기

✨️데이터분석가✨️ — Sun, 14 Jan 2024 00:02:21 +0900

2. 데이터 수집하기
2) 웹 스크래핑 사용하기
(1) 웹 크롤링
(2) 검색 결과 페이지 가져오기
(3) HTML 찾기
(4) 뷰티플수프
(5) 여러 도서 쪽수 정보 찾기

2) 웹 스크래핑 사용하기

(1) 웹 크롤링 (= 웹 스크래핑)

- 웹사이트의 페이지를 옮겨 가며 데이터를 추출하는 작업

- requests 패키지로 웹사이트 HTML에서 데이터를 추출

- 예) YES24에서 도서 쪽수 웹 크롤링 과정

웹 크롤링 과정

※ 웹 크롤링 주의사항

- 웹사이트에서 스크래핑을 허락했는지 확인 (robots.txt 확인)

- HTML 태그를 특정할 수 있는지 확인

- 디자인이 자주 변경되는지 확인

(2) 검색 결과 페이지 가져오기

① 특정 열 선택

- 원하는 열 이름을 리스트로 만들어 데이터프레임의 인덱스처럼 사용

books = books_df[['no', 'ranking', 'bookname', 'authors', 'publication_year']]

books.head()

특정 열 선택

② loc 메서드

- 대괄호를 사용하여 행과 열의 목록 지정

* loc 메서드의 슬라이싱은 파이썬과 달리 마지막 항목도 포함함

books_df.loc[[0,1], ['bookname','authors']] # 1, 2번째 행의 bookname과 authors만 추출

books_df.loc[:, 'ranking':'authors'] # 전체 행의 ranking ~ authors만 추출

books_df.loc[::2, 'ranking':'authors'].head() # 짝수 행 5개의 ranking ~ authors만 추출

(3) HTML 찾기

① 개발자 도구로 HTML 태그 찾기

- 웹사이트 마우스 오른쪽 클릭 → 검사 클릭

- F12 키

② requests.get() 함수

- HTML 코드 출력

import requests

isbn = 9791190090018

url = 'http://www.yes24.com/Product/Search?domain=BOOK&query={}'

r = requests.get(url.format(isbn))

print(r.text)

(4) 뷰티플수프

- HTML에서 원하는 태그/텍스트/데이터를 추출하는 기능

① find() 메서드

- 도서 상세 페이지의 URL 찾기

from bs4 import BeautifulSoup

soup = BeautifulSoup(r.text, 'html.parser')

prd_detail = soup.find('a', attrs={'class':'gd_name'})

print(prd_detail)

<a class="gd_name" href="/Product/Goods/74261416"

print(prd_detail['href'])

/Product/Goods/74261416

② find_all() 메서드

- 도서 상세 페이지의 HTML 코드 출력

- 특정 HTML 태그를 모두 찾아서 리스트로 출력 (tr 태그)

url = 'http://www.yes24.com'+prd_detail['href']

r = requests.get(url)

print(r.text)

soup = BeautifulSoup(r.text, 'html.parser')

prd_detail = soup.find('div', attrs={'id':'infoset_specific'})

prd_tr_list = prd_detail.find_all('tr')

print(prd_tr_list)

③ get_text() 메서드

- th 태그 안에 '쪽수, 무게, 크기'에 해당하는 텍스트 찾기

for tr in prd_tr_list:

if tr.find('th').get_text() == '쪽수, 무게, 크기':

page_td = tr.find('td').get_text()

break

print(page_td)

330쪽 | 496g | 130*198*30mm

print(page_td.split()[0])

330쪽

(5) 여러 도서 쪽수 정보 찾기

① apply() 메서드

- 데이터프레임의 각 행 또는 열에 지정한 함수를 반복 적용함

- 각 행에 함수를 적용해야 하므로 axis 매개변수를 1로 지정함 (기본값은 0이며, 각 열에 대해 함수 적용)

topbooks = pd.read_json('20s_best_book.json')

top5_books = topbooks.head(5)

def get_page_cnt2(row):

isbn = row['isbn13']

return get_page_cnt(isbn)

page_count = top5_books.apply(get_page_cnt2, axis=1)

print(page_count)

0 330쪽
1 300쪽
2 228쪽
3 340쪽
4 264쪽
dtype: object

# 같은 결과 (lambda 함수 활용)

page_out = top5_books.apply(lambda row: get_page_cnt(row['isbn13']), axis=1)

② merge() 함수

- 두 데이터프레임 or 데이터프레임&시리즈 객체를 합칠때 사용

- page_count 시리즈 객체에 name 속성을 활용하여 이름을 지정

- 두 객체의 인덱스를 기준으로 합칠 경우, left_index와 right_index 매개변수를 True로 지정함

page_count.name = 'page_count'

top5_with_page_count = pd.merge(top5_books, page_count,

left_index=True, right_index=True)

top5_with_page_count

merge() 함수

2주차 미션

2주차. 기본 미션

p150. 확인 문제 1번 풀고 인증하기

문1. 다음과 같은 데이터프레임 df가 있을 때 loc 메서드의 결과가 다른 하나는 무엇인가요?

	col1	col2
0	a	1
1	b	2
2	c	3

① df.loc[[0,1,2], ['col1', 'col2']]

② df.loc[0:2, 'col1';'col2']

③ df.loc[:2, [True, True ]]

④ df.loc[::2, 'col1':'col2']

→ 정답 ④

①~③번은 위 표와 동일하게 출력됨
④번은 첫번째, 세번째 행만 출력됨 (즉, col1:b / clo2:2는 출력되지 않음)

2주차. 선택 미션

p137~138. 손코딩 실습으로 원하는 도서의 페이지 수를 출력하고 화면 캡처하기

- '혼자 공부하는 데이터 분석 with 파이썬'의 페이지 수 출력

도서 쪽수 정보 찾기

[혼공분석] #2-1. API로 데이터 수집하기

dataslog.tistory.com

[혼공분석] #2-1. API로 데이터 수집하기

✨️데이터분석가✨️ — Sun, 14 Jan 2024 00:00:40 +0900

2. 데이터 수집하기
1) API 사용하기
(1) API란
(2) JSON 다루기
(3) XML 데이터 다루기
(4) API 호출하기

1) API 사용하기

(1) API란

- API: 프로그램 간 데이터를 전달하기 위해 정한 규칙, 데이터베이스 접근 권한이 복잡한 데이터 접근 시 API를 사용

- HTTP: 웹에서 데이터를 주고받기 위한 프로토콜

- 웹 기반 API에는 JSON, XML을 많이 사용함

웹 기반 API

(2) JSON 데이터 다루기

- JSON: 데이터 전달 포맷, 읽기 편하고 간단하게 파이썬 객체로 변환할 수 있는 것이 장점

① {"키": "값"}

- JSON 형식의 파이썬 딕셔너리 생성하기

d = {"name": "혼자 공부하는 데이터 분석"} # "키": "값"

print(d['name'])

혼자 공부하는 데이터 분석

② json.dumps() 함수

- 파이썬 객체를 JSON 형식의 문자열로 변환하기

- 한글이 포함되어 있으면, ensure_ascii 매개변수 활용

import json

d_str = json.dumps(d, ensure_ascii=False)

print(d_str)

{"name": "혼자 공부하는 데이터 분석"}

③ json.loads() 함수

- JSON 문자열을 파이썬 객체로 변환하기

d2 = json.loads(d_str)

print(d2['name'])

혼자 공부하는 데이터 분석

d3 = """

[

{"name": "혼자 공부하는 데이터 분석", "author": "박해선", "year": 2022},

{"name": "혼자 공부하는 머신러닝+딥러닝", "author": ["박해선","홍길동"], "year": 2019}

]

"""

d4 = json.loads(d3)

print(d4[0]['name'])

print(d4[1]['author'][1])

print(d4[1]['year'])

혼자 공부하는 데이터 분석

홍길동

2019

파이썬 객체 ↔ JSON 문자열

④ read_json() 함수

- JSON 문자열을 데이터프레임으로 변환하기

import pandas as pd

pd.read_json(d3) # =pd.DataFrame(d4)

read_json() 결과

(3) XML 데이터 다루기

- XML: 엘리먼트(시작 태그와 종료 태그로 감싼 형태)들이 계층 구조를 이룬 형태

① fromstring() 함수

- XML 문자열을 파이썬 객체로 변환하기

- 시작 태그와 종료 태그의 이름은 동일해야 함

- 아래 코드는 <book> 부모 엘리먼트(노드)의 자식 엘리먼트 <name>, <author>, <year>로 구성됨

x_str = """

<book>

</book>

"""

import xml.etree.ElementTree as et

book = et.fromstring(x_str)

print(type(book))

<class 'xml.etree.ElementTree.Element'>

② findtext() 메서드

- 자식 엘리먼트 확인하기

- findtext() 메서드가 자식 엘리먼트를 자동으로 탐색하여 해당 엘리먼트로 매칭함

book_childs = list(book)

print(book_childs)

[<Element 'name' at 0x79f529f98810>, <Element 'author' at 0x79f529f987c0>, <Element 'year' at 0x79f529f9b0b0>]

name = book.findtext('name')

author = book.findtext('author')

year = book.findtext('year')

print(name)

print(author)

print(year)

혼자 공부하는 데이터 분석

박해선

2022

③ findall() 메서드와 for문

- 여러 개의 자식 엘리먼트 확인하기

x2_str = """

<books>

<book>

</book>

<book>

</book>

</books>

"""

books = et.fromstring(x2_str)

for book in books.findall('book'):

name = book.findtext('name')

author = book.findtext('author')

year = book.findtext('year')

print(name)

print(author)

print(year)

print()

혼자 공부하는 데이터 분석

박해선

2022

혼자 공부하는 머신러닝+딥러닝

박해선, 홍길동

2019

import pandas as pd

pd.read_xml(x2_str)

read_xml() 결과

(4) API 호출하기

① API를 호출하는 URL 작성

HTTP GET 방식
= 문자	& 문자	? 문자
파라미터와 값	파라미터와 파라미터	호출 URL과 파라미터

호출 URL

② requests 패키지

- 파이썬으로 API 호출하기

import requests

url = "http://data4library.kr/api/loanItemSrch?format=json&startDt=2021-04-01&endDt=2021-04-30&age=20&authKey=인증키"

r = requests.get(url)

data = r.json()

print(data)

data

{'response': {'request': {'startDt': '2021-04-01', 'endDt': '2021-04-30', 'age': '20', 'pageNo': 1, 'pageSize': 200}, 'resultNum': 200, 'numFound': 5000, 'docs': [{'doc': {'no': 1, 'ranking': '1', 'bookname': '우리가 빛의 속도로 갈 수 없다면 :김초엽 소설 ',

{'response': {'request': {'startDt': '2021-04-01',
   'endDt': '2021-04-30',
   'age': '20',
   'pageNo': 1,
   'pageSize': 200},
  'resultNum': 200,
  'numFound': 5000,
  'docs': [{'doc': {'no': 1,

     'ranking': '1',
     'bookname': '우리가 빛의 속도로 갈 수 없다면 :김초엽 소설 ',
     'authors': '지은이: 김초엽',
     'publisher': '허블',
     'publication_year': '2019',
     'isbn13': '9791190090018',
     'addition_symbol': '03810',
     'vol': '',
     'class_no': '813.7',
     'class_nm': '문학 > 한국문학 > 소설',

'loan_count': '487',
'bookImageURL': 'https://image.aladin.co.kr/product/19359/16/cover/s972635417_1.jpg',

'bookDtlUrl': 'https://data4library.kr/bookV?seq=5430429'}},

   {'doc': {'no': 2,
     'ranking': '2',
     'bookname': '달러구트 꿈 백화점 :이미예 장편소설',

③ 데이프레임 출력

- 딕셔너리 구조를 변경하여 데이터프레임 형태로 출력하기

books = []

for d in data ['response']['docs']:

books.append(d['doc'])

# books = [d['doc] for d in data['response']['docs']]

books_df = pd.DataFrame(books)

books_df

API 호출 데이터프레임 결과

④ to_json() 메서드

- JSON 파일로 저장

books_df.to_json('20s_best_book.json')

[혼공분석] #2-2. 웹 스크래핑으로 데이터 수집하기

dataslog.tistory.com

[혼공분석] #1. 데이터 분석을 시작하며

✨️데이터분석가✨️ — Fri, 5 Jan 2024 08:00:22 +0900

1. 데이터 분석을 시작하며
1) 데이터 분석이란
2) 구글 코랩과 주피터 노트북
3) 이 도서가 얼마나 인기가 좋을까요?

1) 데이터 분석이란

(1) '데이터 분석' 및 '데이터 과학'

데이터 분석	데이터 과학
유용한 정보를 발견하고 결론을 유추하거나, 의사 결정을 돕기 위해 데이터를 조사, 정제, 변환, 모델링하는 과정	통계학, 데이터 분석, 머신러닝, 데이터 마이닝 등을 아우르는 큰 개념
의사결정을 돕기 위한 통찰을 제공	문제해결을 위한 솔루션을 제공

(2) 데이터 분석가

- 프로그래밍 기술, 수학/통계, 도메인 지식을 모두 갖춰야 함

- 도메인 지식은 갖추기 어려워 해당 분야의 전문가 도움을 받기도 함

- 작업 과정은 (좁은 의미) 기술통계, 탐색적 데이터 분석, 가설검정, (넓은 의미) 데이터 수집/처리/정제, 모델링을 포함함

(3) 데이터 분석 도구

- R: 통계 패키지 多

- 파이썬: 범용 프로그래밍 언어, 오픈소스

파이썬 패키지(라이브러리)
넘파이	판다스	맷플롯립	사이파이	사이킷런
다차원 배열	엑셀 시트	시각화	통계 분석	머신러닝

2) 구글 코랩과 주피터 노트북

구글 코랩	주피터 노트북
설치 불필요 (클라우드 기반)	설치 필요
온라인 웹 브라우저	오프라인 웹 브라우저
구글 드라이브에 저장	하드 디스크에 저장

(1) 구글 코랩

- 웹 브라우저에서 무료로 파이썬 프로그램을 이용할 수 있는 온라인 에디터

- 코랩의 프로그램 파일을 노트북이라고 함

- http://colab.research.google.com

Google Colaboratory

colab.research.google.com

① 셀

텍스트 셀	코드 셀
자유롭게 사용 가능 (HTML, 마크다운 혼용)	파이썬 코드 입력 및 실행
편집: Enter or 해당 셀 클릭 수정 완료: ESC or 다른 셀 클릭	실행: Ctrl + Enter 실행 후 다음 셀 이동: Shift + Enter 실행 후 다음 셀 추가: Alt + Enter

② 노트북

- 생성: 파일 - 새 노트

- 저장(구글 드라이브): 파일 - 저장, Ctrl + S

- 저장(하드 디스크): 파일 - 다운로드

- 열기: 파일 - 노트 열기

(참고) 이 책의 모든 코드는 깃허브에 저장됨 https://github.com/rickiepark/hg-da

3) 이 도서가 얼마나 인기가 좋을까요?

(1) 도서 판매량 데이터 찾기

- 공공데이터포털

- 네이버검색(도서관 대출 데이터) → 도서관 정보나루

- 데이터 과학 관련 온라인 포럼

(2) 데이터 확인하기 - open() 함수

① 코랩에 데이터 다운: gdown 패키지

- gdown 패키지: 웹에서 대용량 파일을 다운로드 할 수 있는 패키지

import gdown

gdown.download('https://bit.ly/3eecMKZ', '남산도서관 장서 대출목록 (2021년 04월).csv', quiet=False)

② csv 파일 출력하기: open() 함수

- with문으로 파일을 열고, open() 함수로 읽고, readline() 메서드로 한 줄 출력

- 인코딩 형식을 'EUC-KR' 한글로 지정

with open('남산도서관 장서 대출목록 (2021년 04월).csv', encoding='EUC_KR') as f:

print(f.readline())

번호,도서명,저자,출판사,발행년도,ISBN,세트 ISBN,부가기호,권,주제분류번호,도서권수,대출건수,등록일자,
"1","인공지능과 흙","김동훈 지음","민음사","2021","9788937444319","","","","","1","0","2021-03-19",

(3) 데이터 확인하기 - 판다스

- 판다스는 csv 파일을 읽어 데이터프레임(행X열) 형태로 저장함

① csv 파일 읽기: read_csv() 함수

- as 키워드로 패키기 이름을 pd로 줄임

- read_csv() 함수: 판다스에서 csv 파일을 읽을 때 사용함

- 동일 열 내 데이터 타입이 다를 경우, 오류가 발생함

→ low_memory=False로 지정하여 파일을 한 번에 읽음

- head() 메서드: 처음 다섯 개 행을 출력함

import pandas as pd

df = pd.read_csv('남산도서관 장서 대출목록 (2021년 04월).csv', encoding='EUC-KR', low_memory=False)

df.head()

② csv 파일로 저장: to_csv() 메서드

- to_csv() 메서드: csv 파일로 저장할 때 사용함

- UTF-8 형식으로 저장되어, 파일 읽을 때 인코딩 형식을 지정하지 않아도 됨

- 'ns_201404' 파일명으로 저장하고, 3줄 출력함

df.to_csv('ns_201404.csv')

with open('ns_201404.csv') as n:

for i in range(3):

print(n.readline(), end='')

,번호,도서명,저자,출판사,발행년도,ISBN,세트 ISBN,부가기호,권,주제분류번호,도서권수,대출건수,등록일자,Unnamed: 13 0,1,인공지능과 흙,김동훈 지음,민음사,2021,9788937444319,,,,,1,0,2021-03-19,
1,2,가짜 행복 권하는 사회,김태형 지음,갈매나무,2021,9791190123969,,,,,1,0,2021-03-19,

1주차 미션

1주차. 기본 미션

p81. 확인 문제 4번 풀고 인증하기

문4. 판다스 read_csv() 함수의 매개변수 설명이 옳은 것은 무엇인가요?

① header 매개변수의 기본값을 1로 CSV 파일의 첫 번째 행을 열 이름으로 사용합니다. → 기본값은 'infer'

② names 매개변수에 행 이름을 리스트로 지정할 수 있습니다. → 열

③ encoding 매개변수에 CSV 파일의 인코딩 방식을 지정할 수 있습니다.

④ dtype 매개변수를 사용하려면 ~~모든 열~~의 데이터 타입을 지정해야 합니다. → 필요한 열

→ 정답 ③

- header 매개변수: 열 이름으로 사용할 행 번호 지정
* 첫 행이 열 이름이 아닌 경우, header 매개변수를 None으로 지정하고 names 매개변수에 열 이름 리스트를 전달
- names 매개변수: 열 이름의 리스트를 지정 (열 이름 중복X)
- encoding 매개변수: 해당 파일의 인코딩 방식 지정
- dtype 매개변수: 필요한 열의 데이터 타입 지정

1주차. 선택 미션

p71~73. 남산 도서관 데이터를 코랩에서 데이터프레임으로 출력하고 화면 캡처하기

데이터프레임 출력

[혼공학습단 파이썬] 10기 마무리하며♡

✨️데이터분석가✨️ — Sun, 27 Aug 2023 23:41:24 +0900

혼공학습단 10기로 선정되고 7~8월은 파이썬 공부로 갓생을 보냈던 것 같다.

회사 다니면서 평일저녁과 주말에 [동영상 강의 수강 + 책 정독 및 실습 + 블로그 정리 + 미션 수행]까지 열심히 공부했더니 최우수 혼공족에 선정되는 유종의 미를 거뒀다!

(소리질러!! 예~~~)

혼공단의 마무리로 활동하면서 느꼈던 점과 향후 계획 등에 대해 남겨보려 합니다.

■ 활동하면서 느낀 점

이번 10기에는 총 500명의 혼공족이 선발되었는데, 그 중 319명이 1주차 미션을 제출하고, 최종 완주는 176명(35%)이라고 합니다. 역시 매주 꾸준히 하는 건 쉽지 않은 것 같아 보입니다.

한빛미디어 직원분들 열일하신다는 생각이 많이 들었습니다. 미션글에 개별 맞춤형 댓글 달아주시고, 어떻게든 공부시키려고 격려메시지와 선물 주시려는 등 소통이 많아 족장님과의 내적 친밀감이 엄청 들었습니다.

책만 잘 만드는 것이 아니라 서비스가 감동ㅠ [혼자 공부하는 시리즈]는 혼자가 아니라 한빛과 공부하는 시리즈인듯!!

싸좡님~ 우리 일 잘하는 한빛미디어 직원분들 성과급 많이 많이 주세요~~

■ 제공받은 간식/선물 (제보다 젯밥 편)

미션을 수행하고 우수혼공족으로 선정되면 간식을 줍니다.

기프티콘 유효기간이 한 달이라 부지런히 먹으러 다녔답니다.

(+ 저는 1번 빼고 모두 우수혼공단으로 선정되었습니다.)
1주차 - 이디야 햄치즈 샌드위치
2주차 - 메가커피 ICE바닐라아메리카노
3주차 - 메가커피 ICE아메리카노
4주차 - 메가커피 ICE꿀아메리카노
여름방학
5주차 - 못 받음 (사실 5주차 미션을 제일 잘 작성해서 이 정도면 혼공단 중에 제일 잘하지 않았을까 이번엔 어떤 말씀해 주시려나 기대했는데, 정~말 잘했다는 칭찬만 가득 받았다^^;; 이로 인해 우수혼공족에게만 간식이 지급된다는 걸 알게 되었다. 계속 받았으니까 욕심금물!ㅎ)
6주차 - 신세계상품권

■ 활동 회고 및 향후 계획

회사 생활하면서 공부의 필요성은 늘 느끼지만, 목표의식이 없으면 실천하기 어려운 게 현실이다. 혼공학습단은 정해진 커리큘럼이 있어 일정별로 해야만 하는 강제성을 부여했고, 동시에 동기부여를 마구 부여해 준 덕분에 파이썬에 발을 들여놓을 수 있었다.

접해본 적 없는 프로그램이었으나, 다행히 동영상 강의와 함께하고 교재 뒤에 답이 있어서 공부하는데 큰 어려움은 없었던 것 같다. 다만, 시간에 쫓겨 아직 풀지 못한 문제들이 남아있고, 직접 쿼리를 작성하기보단 답안지와 강의에 의존했었던 것 같다. 완벽히 내 것으로 만들기 위해 교재에 있는 모든 문제들을 내 힘으로 풀어볼 계획이다.

그리고 이번은 파이썬의 기초/입문 단계를 공부한 것 같고, 이제 실무에 활용할 수 있도록 배운 내용을 숙달하는 것과 응용학습을 해야겠다고 느껴졌다.

또한, 다음 기수 혼공학습단은 [데이터분석 with 파이썬]으로 참여해야겠다고 다짐했다!

고민하시는 분들 같이해요~! 혼공학습단 강추합니다!

[혼공학습단 파이썬] #1. 용어, Data Types(int, dict, boolean, str, list, tuple)

✨️데이터분석가✨️ — Sun, 20 Aug 2023 08:00:47 +0900

■ 파이썬 용어

파이썬 용어

- 표현식(expression): 어떤 값을 만들어내는 코드를 의미

- 식별자(identifier): 사용자가 정의한 단어, 키워드 단어X, 숫자 시작X, 공백X

- 키워드(keyword): 창시자가 정의한 단어

- 문장(statement): 실행할 수 있는 코드를 의미

- 주석(comment): 프로그램에 영향을 주지 않는 코드, #으로 시작, 초록색 글씨

예) # 문자열을 출력합니다.

- print( ) : 메시지를 출력하는 함수

■ 파이썬 Data Types

파이썬 Data Types

1. 숫자형 (Numeric)

(1) 정수 (Integer, Int)

- 소수점이 없는 숫자 (1, 10, 40297)

> a = 10

(2) 실수 (Floating Piont, Float)

- 소수점이 있는 숫자 (3.5, 10.0, 34.2835)

> a = 3.14

> b = 1.34e-3 # (= 0.00314)

(3) 숫자 연산자

[숫자 연산자]
사칙 연산자	정수 나누기 연산자(몫)	나머지 연산자	제곱 연산자
*+, -, , /**	//	%	**
> 5 + 7	> 3 // 2	> 3 % 2	> 3 ** 2
12	1	1	9

(4) 복합 대입 연산자

- 기존 연산자와 조합해서 사용할 수 있는 연산자

- +=, -=, *=, /=, %=, **=

> a = 100

> a += 1 # (→ a = a + 1 을 의미)

> a += 2

> a = 103

2. 딕셔너리 (Dictionary)

- 키를 기반으로 값을 저장

- dict = {
"키1": 값,
"키2": 값
}

dict = {

"과일": "망고",

100: [1, 2, 3],

True: False

}

[딕셔너리]
추출	요소 추가	요소 삭제
딕셔너리명[키]	딕셔너리명[키] = 값	del 딕셔너리명[키]
> dict["과일"]	> dict["국가"] = "미국"	> del dict[100]
망고	{ ..., '국가' : '미국'}	{'과일': '망고', True: False}

[딕셔너리 값 확인]
키 in 딕셔너리명	딕셔너리명.get(키)
> "과일" in dict	> dict.get("과일") > dict.get("동물")
Ture	망고 None

3. 불, 불린 (Boolean)

- 참(True)과 거짓(False)을 나타내는 값

[비교 연산자]
== 같다 != 다르다	> 크다 >= 크거나 같다	< 작다 <= 작거나 같다
10 == 100 10 != 100	10 > 100 10 >= 100	10 < 100 10 <= 100
Flase True	Flase Flase	True True

[논리 연산자]
not 아니다	and 그리고	or 또는
not True	True and False	True or False
False	False	True

4. 연속형 (Sequential Type)

4-1. 문자열 (String)

(1) 문자열 만들기

[따옴표 출력 방법]
큰/작은 따옴표 활용	역슬래쉬 + 따옴표
' "..." '	\"
> print(' "안녕"이라고 말했다. ')	> print(' \"안녕\"이라고 말했다. ')
"안녕"이라고 말했다.	"안녕"이라고 말했다.

[이스케이프 문자 사용]
줄바꿈	tab키	\ 출력
\n	\t	\\
> print("안녕\n안녕")	> print("안녕\t안녕")	> print("안녕\\안녕")
안녕 안녕	안녕 안녕	안녕\안녕

[문자열 여러 줄 작성]
줄바꿈 출력	줄바꿈 없이 출력
"""	"""\
> print(""" ... 안녕하세요 ... 안녕하세요 ... """)	> print("""\ ... 안녕하세요 ... 안녕하세요\ ... """)
→ 줄바꿈 안녕하세요 안녕하세요 → 줄바꿈	안녕하세요 안녕하세요

[문자열 연산자]
문자 연결	문자 반복	문자열 길이
"문자" + "문자"	*"문자" 숫자**	len( )
> "Hello" + "World"	> "Hello" * 3	> len("Hello World")
HelloWorld	HelloHelloHello	11 (공백 포함)

* "문자" + 숫자 → 오류 발생

(2) 문자열 함수

[대소문자 변환]
대문자로 변환	소문자로 변환
upper( )	lower( )
> a = "Hello" > a.upper()	> a = "Hello" > a.lower()
HELLO	hello

[공백 제거] (문자 사이 공백은 지워지지 않음)
문자열 양옆 공백 제거	문자열 왼쪽 공백 제거	문자열 오른쪽 공백 제거
strip( )	lstrip( )	rstrip( )
>" 안녕 하세요 ".strip()	>" 안녕 하세요 ".lstrip()	>" 안녕 하세요 ".rstrip()
안녕 하세요	안녕 하세요	안녕 하세요

[문자열 찾기/확인]
왼쪽으로부터의 위치	오른쪽으로부터의 위치	특정 문자열 확인
find( )	rfind( )	특정 문자 in 연산자
>"안녕안녕해".find("안녕")	>"안녕안녕해".rfind("안녕")	>"안녕" in "안녕하세요"
0	2	True

[문자열 추가 기능]
문자 나누기	문자 삽입	문자 변환
split( )	join( )	replace( )
> "가.나.다".split(".")	> ".".join("가나다")	> "가나다".replace("다", "하")
['가', '나', '다']	'가.나.다'	'가나하'

(3) 인덱싱 [ ]

- 문자열의 문자 하나를 선택하는 연산자 (0부터 시작!)

[인덱싱] - 문자열 선택 연산자
> print("가나다"[0])	> print("가나다"[1])	> print("가나다"[2])
가	나	다
> print("가나다"[-3])	> print("가나다"[-2])	> print("가나다"[-1])
가	나	다

(4) 슬라이싱 [:]

- 문자열의 특정 범위를 선택하는 연산자

[슬라이싱] - 문자열 범위 선택 연산자
> print("가나다"[0:2])	> print("가나다"[:2])
가나 (0 <= 문자 <2, 마지막 숫자 포함하지 않음)	가나 (앞의 값 생략시에는 첫 번째 글자부터 지정)

(5) 포맷 .format( )

- 문자열을 포맷에 맞춰 출력

[포맷] ★★★
> print("{}는 {}개 있다.".format("사과", 4))	> a = 사과 > b = 4 > print(f"{a}는 {b}개 있다.")
사과는 4개 있다.	사과는 4개 있다.

(6) 사용자 입력 .input( )

- 명령 프롬포트에서 사용자로부터 데이터를 입력받는 함수, 문자열(str) 자료형임

- 숫자로 입력받을 경우, int( ) 또는 float( )을 활용

[사용자 입력]
> input("단어 입력: ")	> a = input("숫자1 입력: ") > b = input("숫자2 입력: ") > print(a + b)	> a = int(input("숫자1 입력: ")) > b = int(input("숫자2 입력: ")) > print(a + b)
단어 입력: 안녕	숫자1 입력: 100 숫자2 입력: 200 100200 → 문자	숫자1 입력: 100 숫자2 입력: 200 300 → 숫자

4-2. 리스트 (List)

(1) 리스트 기본

- 대괄호 내부에 여러 종류의 자료(숫자, 문자열, 불 등)를 넣은 목록

[리스트]
> list = ['리스트', 973, True, [3, 5]]
추출	요소 내부 추출	요소 변경
> list[2:4]	> list[0][2]	> list[0] = '변경'
[True, [3, 5]]	트	['변경', 973, True, [3, 5]]

[리스트 연산]
연결	반복
[리스트] + [리스트]	*[리스트] [리스트]**
> [1, 2] + [3, 4]	> [1, 2] * 3
[1, 2, 3, 4]	[1, 2, 1, 2, 1, 2]

(2) 리스트 함수

[리스트 요소추가]
맨 뒤에 추가	특정 위치에 추가	맨 뒤에 여러 개 추가
리스트명.append(요소)	리스트명.insert(위치, 요소)	리스트명.extend([요소, 요소, ...])
> list = [1, 2, 3] > list.append(4)	> list = [1, 2, 3] > list.insert(2, 'a')	> list = [1, 2, 3] > list.extend([8, 9, 'a'])
[1, 2, 3, 4]	[1, 2, 'a', 3]	[1, 2, 3, 8, 9, 'a']

[리스트 요소제거]
특정 위치 제거	특정 위치 제거	특정 값 한 개 제거	모든 요소 제거
del 리스트명[인덱스]	리스트명.pop(인덱스)	리스트명.remove(값)	리스트명.clear()
> list = [1, 2, 3, 1, 2] > del list[3:]	> list = [1, 2, 3, 1, 2] > list.pop(3)	> list = [1, 2, 3, 1, 2] > list.remove(1)	> list = [1, 2, 3, 1, 2] > list.clear()
[1, 2, 3]	[1, 2, 3, 2]	[2, 3, 1, 2]	[]

[리스트 정렬]		[리스트 값 확인]
오름차순 정렬	내림차순 정렬	특정 값 확인
리스트명.sort( )	리스트명.sort(reverse = True)	값 in 리스트명
> list = [34, 235, 93, 2] > list.sort()	> list = [34, 235, 93, 2] > list.sort(reverse = True)	> 93 in [34, 235, 93, 2] > 5 not in [34, 235, 93, 2]
[2, 34, 93, 235]	[235, 93, 34, 2]	True Ture

4-3. 튜플 (Tuple)

(1) 튜플 기본

- 리스트와 비슷한 자료형으로 보통 함수와 함께 사용

- 선언한 값을 변경할 수 없고, 한 번에 여러 개를 처리(할당, 리턴 등) 가능

괄호 없는 튜플	스왑 (값 교환하는 튜플)	요소가 하나인 튜플
> a, b = 10, 20 > print(a, b)	> a, b = b, a > print(a, b)	> one = (10, ) > print(one)
10 20	20 10	(10, )

(2) 튜플 함수

[튜플 관련 함수]
몫과 나머지	반복문 순서값 출력
divmod( )	enumerate( )
> x, y = 97, 40 > divmod(x, y)	> for i, value in enumerate([1, 2, 3]): > print("{}번째는 {}입니다.".format(i, value))
(2, 17)	0번째는 1입니다. 1번째는 2입니다. 2번째는 3입니다.

[혼공학습단 파이썬] 10기, 6주차 미션

✨️데이터분석가✨️ — Fri, 18 Aug 2023 08:00:59 +0900

혼공학습단 10기!
드디어 [혼자 공부하는 파이썬(개정판)]의 6주차 마지막 미션입니다.

파이썬 주차별 미션

6주차 - 기본 미션

[p431, 직접 해보는 손코딩: BeautifulSoup 스크레핑 실행하기] 예제 실행 후 결과 화면 캡처하기

- 기상청 홈페이지의 날씨 정보 스크레핑

from flask import Flask

from urllib import request

from bs4 import BeautifulSoup

app = Flask(__name__)

@app.route("/")

def hello():

target = request.urlopen("http://www.kma.go.kr/weather/forecast/mid-term-rss3.jsp?stnId=108")

soup = BeautifulSoup(target, "html.parser")

output = ""

for location in soup.select("location"):

output += "<h3>{}</h3>".format(location.select_one("city").string)

output += "날씨: {}<br/>".format(location.select_one("wf").string)

output += "최저/최고 기온: {}/{}".format(location.select_one("tmn").string, location.select_one("tmx").string)

output += "<hr/>"

return output

스크레핑 결과 화면

6주차 - 선택 미션

[객체, object]

- 속성을 가질 수 있는 모든 것

- 객체 지향 프로그래밍: 객체 관련 코드를 효율적으로 작성하는 프로그래밍 (예, class)

[클래스, class]

- 객체를 더 효율적으로 생성하기 위한 구문, 틀

[인스턴스, instance]

- 클래스 기반으로 생성한 객체, 실체화 된 객체

[생성자, constructor]

- 클래스 이름과 같은 함수 (첫 문자는 대문자로 시작)

- class 클래스 이름

def __init__(self, 추가적인 매개변수...):

self.매개변수 = 매개변수

* self: 첫번째 매개변수, 자기자신을 나타내는 딕셔너리

[메소드, method]

- 클래스가 가진 함수

- class 클래스 이름

def 메소드 이름(self, 추가적인 매개변수...):

class Student:

def __init__(self, name, age): # → 생성자

print("객체가 생성되었습니다.")

self.name = name

self.age = age

def __del__(self): # → 소멸자

print("객체가 소멸되었습니다.")

def output(self): # → 메소드

print(self.name, self.age)

student = Student("홍길동", 20)

student.output()

# 실행결과
객체가 생성되었습니다.
홍길동 20
객체가 소멸되었습니다.

[혼공학습단 파이썬] #7-2. 외부 모듈(BeautifulSoup, Flask), 모듈 만들기, 디버깅

7. 모듈 2) 외부 모듈 (1) 모듈 설치하기 (2) BeautifulSoup 모듈 (3) Flask 모듈 (4) 라이브러리와 프레임워크 3) 모듈 만들기 4) 텍스트/바이너리 데이터 (1) 텍스트 데이터 (2) 바이너리 데이터 5) 디버깅 6)

dataslog.tistory.com

[혼공학습단 파이썬] #8-1. 클래스(인스턴스, 생성자, 메소드)

8. 클래스 1) 클래스 기본 (1) 객체 (2) 클래스 (3) 생성자 (4) 소멸자 (5) 메소드 2) 크기 비교 함수 1) 클래스 기본 (1) 객체 - 객체(object): 속성을 가질 수 있는 모든 것 - 객체 지향 프로그래밍: 객체 관

dataslog.tistory.com

[혼공학습단 파이썬] #8-2. 클래스 추가 기능(프라이빗 변수, 게터와 세터, 프로퍼티, 상속)

8. 클래스 3) 클래스 추가 기능 (1) 프라이빗 변수 (2) 게터와 세터 (3) 프로퍼티 (4) 상속 3) 클래스 추가 기능 (1) 프라이빗 변수 - 클래스 내부 변수를 외부에서 사용할 수 없는 변수 - __변수 이름 clas

dataslog.tistory.com

[외부 모듈]

- 외부 모듈: 파이썬이 기본으로 제공하지 않는 모듈 (사용자가 만든 모듈)

(1) 모듈 설치하기

- 명령 프롬포트에서 설치! (window+R → cmd 입력 or 터미널에서 입력)

- pip install 외부 모듈명:

(2) BeautifulSoup 모듈

- 웹페이지 분석 모듈

- 기상청 홈페이지에서 날씨 확인하기

from urllib import request

from bs4 import BeautifulSoup

content = request.rulopen("http://www.weather.go.kr")

soup = BeautifulSoup(content, 'html.parser')

for data in soup.select("data"):

print("시간:", data.select_one("tmef"))

print("날씨:", data.select_one("wf"))

# 실행결과

시간: <tmef>2023-08-25 00:00</tmef>
날씨: <wf>흐림</wf>
시간: <tmef>2023-08-26 00:00</tmef>
날씨: <wf>흐림</wf>

...

(3) Flask 모듈

- 웹 개발 프레임워크 모듈

from flask import Flask

app = Flask(__name__)

@app.route("/") # 데코레이터

def hello():

return "Hello, World!"

- 실행은 명령 프롬포트에 아래 2줄 입력

> set FLASK_APP=파일명

> flask run

# 실행결과

* Serving Flask app 'flask_basic' (lazy loading)

...

(4) 라이브러리와 프레임워크

라이브러리, library	프레임워크, framework
정상적인 제어 방법으로 사용하는 모듈 (개발자가 모듈을 직접 사용)	제어 역전(IoC)이 일어나는 모듈 (모듈이 개발자의 코드를 사용) * 제어 역전: 개발자가 만든 함수를 모듈이 실행하는 것
예) math 모듈	예) Flask 모듈

[모듈 만들기]

- 두 파일(실행 코드가 작성된 파일, 읽어들이는 main 파일)을 생성

# 파일명: module_test.py

print(__name__)

a = 10

b = 20

def c():

return 30

if __name__ == "__main__":

print("엔트리 포인트입니다. B")

# 실행결과

__main__
엔트리 포인트입니다. B

- 엔트리 포인트 = 메인: 프로그램의 진입점

- 모듈 내 __name__: 모듈명(파일명)을 의미

- __name__ == "__main__": 현재 파일이 엔트리포인트인지 확인

# 파일명: module_main.py

print(__name__)

import module_test as test

print(test.a)

print(test.b)

print(test.c())

if __name__ == "__main__":

print("엔트리 포인트입니다. A")

# 실행결과

__main__
module_test (→ 파일명 출력)
10
20
30
엔트리 포인트입니다. A

[텍스트/바이너리 데이터]

텍스트 데이터, text data	바이너리 데이터, binary data
텍스트 에디터에서 편집할 수 있는 데이터	텍스트 에디터로 편집할 수 없는 데이터 → 전용 편집기 필요 (예, 포토샵 등)
용량이 큼	용량이 작음

(1) 텍스트 데이터

- 텍스트 데이터는 편집 가능해서 기존과 동일하게 작성

file = open("output.py", "r")

print(file.read())

file.close()

(2) 바이너리 데이터

- 바이너리 데이터(이미지)는 편집 불가능이라 "rb", "wb"로 작성

* read byte, write byte

file = open("habit logo.png", "rb")

data = file.read()

print(data[:100])

file.close()

# 실행결과

b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x07I\x00\x00\x05\x1a\x08\x06\x00\x00\x00\x80jK\xa1\x00\x00\x00\x01sRGB\x00\xae\xce\x1c\xe9\x00\x00\x00\x04gAMA\x00\x00\xb1\x8f\x0b\xfca\x05\x00\x00\x00\tpHYs\x00\x002\xc0\x00\x002\xc0\x01(dZ\xdb\x00\x00\xff\xa5IDATx^\xec\x9d\x07\\\x14\xf7\xd6'

[클래스]

(1) 객체

- 객체(object): 속성을 가질 수 있는 모든 것

- 객체 지향 프로그래밍: 객체 관련 코드를 효율적으로 작성하는 프로그래밍 (예, class)

- 'students'가 객체이고, 딕셔너리를 아래와 같은 함수 형태로 생성하면 오타 등의 실수를 줄일 수 있음

def input_student(name, korean, math, english):

return{

"name": name,

"korean": korean,

"math": math,

"english": english

}

def total(student):

return student["korean"] + student["math"] + student["english"]

def average(student):

return total(student) / 3

def output(student):

print(student["name"], total(student), average(student), sep="\t")

students = [

input_student("홍길동", 87, 68, 85),

input_student("심청이", 97, 64, 73),

input_student("김철수", 91, 75, 97),

input_student("김영희", 70, 88, 84),

]

print("name", "total", "average", sep="\t")

for student in students:

output(student)

(2) 클래스

- 클래스(class): 객체를 더 효율적으로 생성하기 위한 구문, 틀

- 인스턴스(instance): 클래스 기반으로 생성한 객체, 실체화 된 객체

(3) 생성자

- 클래스 이름과 같은 함수 (첫 문자는 대문자로 시작)

- class 클래스 이름

def __init__(self, 추가적인 매개변수...):

self.매개변수 = 매개변수

* self: 첫번째 매개변수, 자기자신을 나타내는 딕셔너리

(4) 소멸자

- 인스턴스가 소멸될 때 호출되는 함수 (생성자 반대)

- class 클래스 이름

def __del__(self, 추가적인 매개변수...):

(5) 메소드

- 클래스가 가진 함수

- class 클래스 이름

def 메소드 이름(self, 추가적인 매개변수...):

class Student:

def __init__(self, name, age): # → 생성자

print("객체가 생성되었습니다.")

self.name = name

self.age = age

def __del__(self): # → 소멸자

print("객체가 소멸되었습니다.")

def output(self): # → 메소드

print(self.name, self.age)

student = Student("홍길동", 20)

student.output()

[크기 비교 함수]

eq	ne	gt	ge	lt	le
equal	not equal	greater than	greater than or equal	less than	less than or equal
같다	다르다	크다	크거나 같다	작다	작거나 같다

[혼공학습단 파이썬] #8-2. 클래스 추가 기능(프라이빗 변수, 게터와 세터, 프로퍼티, 상속)

✨️데이터분석가✨️ — Thu, 17 Aug 2023 08:00:48 +0900

8. 클래스
3) 클래스 추가 기능
(1) 프라이빗 변수
(2) 게터와 세터
(3) 프로퍼티
(4) 상속

3) 클래스 추가 기능

(1) 프라이빗 변수

- 클래스 내부 변수를 외부에서 사용할 수 없는 변수

- __변수 이름

class Rect:

def __init__(self, width, height):

if width <= 0 or height <=0:

raise Exception("너비와 높이는 음수가 나올 수 없습니다.")

self.__width = width

self.__height = height

def area(self):

return self.__width * self.__height

rect = Rect(10, 10)

rect.width = -10 # 프라이빗 변수로 지정되어 있어 변경되지 않음

print(rect.area())

# 실행결과

100

(2) 게터와 세터

- 값을 추출/변경하기 위해 간접적으로 속성에 접근하도록 해주는 함수

- get_변수 이름( )

set_변수 이름( )

class Rect:

def __init__(self, width, height):

if width <= 0 or height <=0:

raise Exception("너비와 높이는 음수가 나올 수 없습니다.")

self.__width = width

self.__height = height

def get_width(self):

return self.__width

def set_width(self, width):

if width <= 0:

raise Exception("너비는 음수가 나올 수 없습니다.")

self.__width = width

def get_height(self):

return self.__height

def set_height(self, height):

if height <= 0:

raise Exception("높이는 음수가 나올 수 없습니다.")

self.__height = height

def area(self):

return self.__width * self.__height

rect = Rect(10, 10)

rect.set_width(rect.get_width() + 10)

print(rect.area())

# 실행결과

200

(3) 프로퍼티

- 게터와 세터를 쉽게 사용할 수 있게 하는 기능 (데코레이터)

- @property

@게터 함수 이름.setter

class Rect:

def __init__(self, width, height):

if width <= 0 or height <=0:

raise Exception("너비와 높이는 음수가 나올 수 없습니다.")

self.__width = width

self.__height = height

@property

def width(self):

return self.__width

@width.setter

def width(self, width):

if width <= 0:

raise Exception("너비는 음수가 나올 수 없습니다.")

self.__width = width

@property

def height(self):

return self.__height

@height.setter

def height(self, height):

if height <= 0:

raise Exception("높이는 음수가 나올 수 없습니다.")

self.__height = height

def area(self):

return self.__width * self.__height

rect = Rect(10, 10)

rect.width += 10

print(rect.area())

# 실행결과

200

(4) 상속

- 어떤 클래스를 갖고 있는 기능을 물려받는 것 (= 기본 형태에 내가 원하는 형태로 일부 변형하는 것)

- 최상위 부모 클래스를 상속받아 .작성하면 많은 메소드가 나옴

- 자식 클래스는 부모 클래스를 상속받아 부모 클래스의 모든 함수/변수를 활용할 수 있음

class 부모:

def test(self):

print("안녕하세요")

class 자식(부모):

pass

c = 자식()

c.test()

print(부모.mro())

print(자식.mro())

# 실행결과

안녕하세요
[<class '__main__.부모'>, <class 'object'>]
[<class '__main__.자식'>, <class '__main__.부모'>, <class 'object'>]

※ 파이썬 코드 학습 사이트

http://pythontutor.com 접속 → Start visualizing your code now 클릭 → 코드 작성 → Visualize Execution 클릭 → 단계별 코드 흐름 및 변수 확인 가능

[혼공학습단 파이썬] #8-1. 클래스(인스턴스, 생성자, 메소드)

✨️데이터분석가✨️ — Wed, 16 Aug 2023 08:00:37 +0900

8. 클래스
1) 클래스 기본
(1) 객체
(2) 클래스
(3) 생성자
(4) 소멸자
(5) 메소드
2) 크기 비교 함수

1) 클래스 기본

(1) 객체

- 객체(object): 속성을 가질 수 있는 모든 것

- 객체 지향 프로그래밍: 객체 관련 코드를 효율적으로 작성하는 프로그래밍 (예, class)

- 'students'가 객체이고, 딕셔너리를 아래와 같은 함수 형태로 생성하면 오타 등의 실수를 줄일 수 있음

def input_student(name, korean, math, english):

return{

"name": name,

"korean": korean,

"math": math,

"english": english

}

def total(student):

return student["korean"] + student["math"] + student["english"]

def average(student):

return total(student) / 3

def output(student):

print(student["name"], total(student), average(student), sep="\t")

students = [

input_student("홍길동", 87, 68, 85),

input_student("심청이", 97, 64, 73),

input_student("김철수", 91, 75, 97),

input_student("김영희", 70, 88, 84),

]

print("name", "total", "average", sep="\t")

for student in students:

output(student)

# 실행결과

name    total   average
홍길동  240     80.0
심청이  234     78.0
김철수  263     87.66666666666667
김영희  242     80.66666666666667

(2) 클래스

- 클래스(class): 객체를 더 효율적으로 생성하기 위한 구문, 틀

- 인스턴스(instance): 클래스 기반으로 생성한 객체, 실체화 된 객체

(3) 생성자

- 클래스 이름과 같은 함수 (첫 문자는 대문자로 시작)

- class 클래스 이름

def __init__(self, 추가적인 매개변수...):

self.매개변수 = 매개변수

* self: 첫번째 매개변수, 자기자신을 나타내는 딕셔너리

(4) 소멸자

- 인스턴스가 소멸될 때 호출되는 함수 (생성자 반대)

- class 클래스 이름

def __del__(self, 추가적인 매개변수...):

(5) 메소드

- 클래스가 가진 함수

- class 클래스 이름

def 메소드 이름(self, 추가적인 매개변수...):

class Student:

def __init__(self, name, age): # → 생성자

print("객체가 생성되었습니다.")

self.name = name

self.age = age

def __del__(self): # → 소멸자

print("객체가 소멸되었습니다.")

def output(self): # → 메소드

print(self.name, self.age)

student = Student("홍길동", 20)

student.output()

# 실행결과

객체가 생성되었습니다.
홍길동 20
객체가 소멸되었습니다.

※ 클래스 선언을 통한 학생 성적 관리 프로그램 예시

class Student:

def __init__(self, name, korean, math, english):

self.name = name

self.korean = korean

self.math = math

self.english = english

def total(self):

return self.korean + self.math + self.english

def average(self):

return self.total() / 3

def output(self):

print(self.name, self.total(), self.average(), sep="\t")

students = [

Student("홍길동", 87, 68, 85),

Student("심청이", 97, 64, 73),

Student("김철수", 91, 75, 97),

Student("김영희", 70, 88, 84),

]

print("name", "total", "average", sep="\t")

for student in students:

student.output()

# 실행결과

name    total   average
홍길동  240     80.0
심청이  234     78.0
김철수  263     87.66666666666667
김영희  242     80.66666666666667

2) 크기 비교 함수

eq	ne	gt	ge	lt	le
equal	not equal	greater than	greater than or equal	less than	less than or equal
같다	다르다	크다	크거나 같다	작다	작거나 같다

class Student:

def __init__(self, name, age):

self.name = name

self.age = age

def __eq__(self, other):

return(self.age == other.age) and \

(self.name == other.name)

def __ne__(self, other):

return(self.age != other.age)

def __qt__(self, other):

return(self.age > other.age)

def __ge__(self, other):

return(self.age >= other.age)

def __lt__(self, other):

return(self.age < other.age)

def __le__(self, other):

return(self.age <= other.age)

student = Student("홍길동", 20)

print(student == student)

print(student != student)

print(student > student)

print(student >= student)

print(student < student)

print(student <= student)

# 실행결과

True
False
False
True
False
True

[혼공학습단 파이썬] #7-2. 외부 모듈(BeautifulSoup, Flask), 모듈 만들기, 디버깅

✨️데이터분석가✨️ — Tue, 15 Aug 2023 13:06:54 +0900

7. 모듈
2) 외부 모듈
(1) 모듈 설치하기
(2) BeautifulSoup 모듈
(3) Flask 모듈
(4) 라이브러리와 프레임워크
3) 모듈 만들기
4) 텍스트/바이너리 데이터
(1) 텍스트 데이터
(2) 바이너리 데이터
5) 디버깅
6) 데코레이터

2) 외부 모듈

- 외부 모듈: 파이썬이 기본으로 제공하지 않는 모듈 (사용자가 만든 모듈)

(1) 모듈 설치하기

- 명령 프롬포트에서 설치! (window+R → cmd 입력 or 터미널에서 입력)

- pip install 외부 모듈명:

> pip install Beautifulsoup4
Collecting soupsieve>1.2 (from Beautifulsoup4)
Downloading soupsieve-2.4.1-py3-none-any.whl (36 kB)

...

(2) BeautifulSoup 모듈

- 웹페이지 분석 모듈

- 기상청 홈페이지에서 날씨 확인하기

from urllib import request

from bs4 import BeautifulSoup

content = request.rulopen("http://www.weather.go.kr")

soup = BeautifulSoup(content, 'html.parser')

for data in soup.select("data"):

print("시간:", data.select_one("tmef"))

print("날씨:", data.select_one("wf"))

# 실행결과

시간: <tmef>2023-08-25 00:00</tmef>
날씨: <wf>흐림</wf>
시간: <tmef>2023-08-26 00:00</tmef>
날씨: <wf>흐림</wf>

...

(3) Flask 모듈

- 웹 개발 프레임워크 모듈

from flask import Flask

app = Flask(__name__)

@app.route("/") # 데코레이터

def hello():

return "Hello, World!"

- 실행은 명령 프롬포트에 아래 2줄 입력

> set FLASK_APP=파일명

> flask run

# 실행결과

* Serving Flask app 'flask_basic' (lazy loading)

...

(4) 라이브러리와 프레임워크

라이브러리, library	프레임워크, framework
정상적인 제어 방법으로 사용하는 모듈 (개발자가 모듈을 직접 사용)	제어 역전(IoC)이 일어나는 모듈 (모듈이 개발자의 코드를 사용) * 제어 역전: 개발자가 만든 함수를 모듈이 실행하는 것
예) math 모듈	예) Flask 모듈

3) 모듈 만들기

- 두 파일(실행 코드가 작성된 파일, 읽어들이는 main 파일)을 생성

# 파일명: module_test.py

print(__name__)

a = 10

b = 20

def c():

return 30

if __name__ == "__main__":

print("엔트리 포인트입니다. B")

# 실행결과

__main__
엔트리 포인트입니다. B

- 엔트리 포인트 = 메인: 프로그램의 진입점

- 모듈 내 __name__: 모듈명(파일명)을 의미

- __name__ == "__main__": 현재 파일이 엔트리포인트인지 확인

# 파일명: module_main.py

print(__name__)

import module_test as test

print(test.a)

print(test.b)

print(test.c())

if __name__ == "__main__":

print("엔트리 포인트입니다. A")

# 실행결과

__main__
module_test (→ 파일명 출력)
10
20
30
엔트리 포인트입니다. A

4) 텍스트/바이너리 데이터

텍스트 데이터, text data	바이너리 데이터, binary data
텍스트 에디터에서 편집할 수 있는 데이터	텍스트 에디터로 편집할 수 없는 데이터 → 전용 편집기 필요 (예, 포토샵 등)
용량이 큼	용량이 작음

(1) 텍스트 데이터

- 텍스트 데이터는 편집 가능해서 기존과 동일하게 작성

file = open("output.py", "r")

print(file.read())

file.close()

(2) 바이너리 데이터

- 바이너리 데이터(이미지)는 편집 불가능이라 "rb", "wb"로 작성

* read byte, write byte

file = open("habit logo.png", "rb")

data = file.read()

print(data[:100])

file.close()

# 실행결과

5) 디버깅

- 중단점(breakpoint): 왼쪽에 줄 번호를 클릭하면 표기되는 붉은색 점

- 디버그(debug): 버그(예상하지 못한 오류)를 제거하는 것

- 디버그 실행 방법

디버그 실행 방법

- 디버그를 실행하면 중단점에서 멈추고, '계속' 버튼 클릭을 통해 다음 단계로 실시

- 변수, 조사식, 호출 스택으로 코드의 상태/흐름을 알 수 있음

디버그 기능

6) 데코레이터

- @로 시작하는 구문으로, 미리 만든 규격화된 처리를 적용할 때 사용

- @데코레이터 + 함수 ↔ 함수 = 데코레이터(함수)

예) @deco ↔ test = deco(test)

def deco(function):

print("미리 처리합니다")

return function

@deco

def test():

print("안녕하세요")

test()

# 실행결과

미리 처리합니다
안녕하세요

[혼공학습단 파이썬] 10기, 5주차 미션

✨️데이터분석가✨️ — Sun, 13 Aug 2023 12:08:46 +0900

혼공학습단 10기!
[혼자 공부하는 파이썬(개정판)]의 5주차 미션입니다.

파이썬 주차별 미션

5주차 - 기본 미션

[p379, 1번] 구문 오류(Syntax Error)와 예외(Exception)의 차이 설명하기

구문 오류	예외 (런타임 에러)
- 프로그램 실행 전에 발생 - 코드의 문법적인 오류로 인해 프로그램이 실행되지 않는 오류 - 코드 수정으로 해결	- 프로그램 실행 후에 발생 - 프로그램 실행 중 발생하는 오류 - try except 구문 등 예외 처리로 해결

5주차 - 선택 미션

[p381, 3번] 다음 중 구문 오류 발생이 예상되면 '구문 오류'에, 예외 발생이 예상되면 '예외'에 체크 표시를 한 후, 예상되는 에러명도 적어 보세요.

1) output = 10 + "개"

→ '예외', TypeError

오류	output = 10 + "개" # 결과 → TypeError: unsupported operand type(s) for +: 'int' and 'str'
정상	output = "10" + "개" # 결과 → 10개 ☞ 10에 따옴표를 작성하여 문자열로 변환, Type을 일치시켜 줌

2) int("안녕하세요")

→ '예외', ValueError

오류	int("안녕하세요") # 결과 → ValueError: invalid literal for int() with base 10: '안녕하세요'
정상	str("안녕하세요") # 결과 → 안녕하세요 ☞ 내용에 맞는 Type인 문자열(str)로 작성

3) cursor.close)

→ '구문 오류', SyntaxError

오류	cursor.close) # 결과 → SyntaxError: unmatched ')'
정상	cursor.close() # 결과 → ☞ 올바른 형태로 작성

4) [1, 2, 3, 4, 5][10]

→ '예외', IndexError

오류	[1, 2, 3, 4, 5][10] # 결과 → IndexError: list index out of range
정상	[1, 2, 3, 4, 5][4] # 결과 → 5 ☞ 리스트 범위 내 숫자(0~4 사이)를 출력

[혼공학습단 파이썬] #6-1. 예외 처리

6. 예외 처리 1) 구문 오류와 예외 2) 예외 처리 (1) 기본 예외 처리 (2) try except 구문 (3) try except 구문 + pass 키워드 (4) finally 구문 1) 구문 오류와 예외 구문 오류 (Syntax Error) 예외 (런타임 에러) - 프로

dataslog.tistory.com

[혼공학습단 파이썬] #6-2. 예외 고급, Exception

6. 예외 처리 3) 예외 고급 (1) 예외 객체 (2) 예외 구분 (3) raise 구문 3) 예외 고급 (1) 예외 객체, Exception - 예외 관련 정보를 담고 있는 객체 - try: 예외가 발생할 가능성이 있는 코드 except 예외의 종

dataslog.tistory.com

[혼공학습단 파이썬] #7-1. 표준 모듈(math, random, sys, datetime, urllib, os)

7. 모듈 1) 표준 모듈 (1) math 모듈 (2) as 구문 (3) from 구문 (4) random 모듈 (5) sys 모듈 (6) datetime 모듈 (7) time 모듈 (8) urllib 모듈 (9) os 모듈 1) 표준 모듈 - 모듈: 여러 변수와 함수를 가지고 있는 집합체 -

dataslog.tistory.com

[혼공학습단 파이썬] #7-1. 표준 모듈(math, random, sys, datetime, urllib, os)

✨️데이터분석가✨️ — Sat, 12 Aug 2023 22:55:04 +0900

7. 모듈
1) 표준 모듈
(1) math 모듈
(2) as 구문
(3) from 구문
(4) random 모듈
(5) sys 모듈
(6) datetime 모듈
(7) time 모듈
(8) urllib 모듈
(9) os 모듈

1) 표준 모듈

- 모듈: 여러 변수와 함수를 가지고 있는 집합체

- 표준 모듈: 파이썬이 기본으로 제공하는 모듈

- import 모듈명

* 'python documentation' - 'Library reference'에서 세부 모듈 확인 가능

(1) math 모듈

- 수학 관련 기능을 제공하는 모듈

sin(x)	cos(x)	tan(x)	log(x[, base])	ceil(x)	floor(x)
사인값	코사인값	탄젠트값	로그값	올림	내림

import math

print(math.sin(5))

# 실행결과

-0.9589242746631385

(2) as 구문

- 모듈명을 원하는 명칭으로 지정하는 구문

- import 모듈명 as 사용하고 싶은 식별자

import math as m

print(m.sin(5))

# 실행결과

-0.9589242746631385

(3) from 구문

- 앞에 모듈명을 작성하지 않을 수 있도록 하는 구문

- from 모듈명 import 사용하고 싶은 변수/함수

- from 모듈명 import * : 해당 모듈에 속하는 모든 변수/함수

from math import sin, ceil

print(ceil(5.3))

from math import *

print(floor(5.3))

# 실행결과

(4) random 모듈

- 랜덤 값을 생성하는 모듈

- random(): 랜덤 숫자 출력 / uniform(min, max): 범위 사이 숫자 출력

import random

print(random.random())

print(random.uniform(1, 5))

# 실행결과

0.6488472252333601
1.7135879779187904

(5) sys 모듈

- 시스템 관련 모듈, *명령 매개변수를 받을 때 많이 사용

* 명령 매개변수: sys.argv

import sys

print(sys.argv)

# 실행결과

D:\혼공파이썬> python .\7_module.py
['.\\7_module.py']

# 실행결과

D:\혼공파이썬> python .\7_module.py 3 5 7
['.\\7_module.py', '3', '5', '7']

(6) datetime 모듈

- 날짜+시간 관련 모듈

- 현재 시각 출력

import datetime

now = datetime.datetime.now()

from datetime import datetime

now = datetime.now()

print("{}년 {}월 {}일 {}시 {}분 {}초".format(now.year,

now.month, now.day, now.hour, now.minute, now.second))

# 실행결과

2023년 8월 12일 18시 28분 52초

- 특정 시점 출력

past = datetime(2000, 12, 31, 11, 30, 59)

print(past)

# 실행결과

2000-12-31 11:30:59

(7) time 모듈

- 시간 관련 모듈

- time.sleep(00): 특정 시간(00초) 동안 프로그램 실행을 정지하는 함수

import time

print("A")

time.sleep(5)

print("B")

# 실행결과

→ A 출력 후, 5초 뒤에 B가 출력됨

(8) urllib 모듈

- URL을 다루는 라이브러리 모듈

- urlopen("http://"): URL 페이지를 열어주는 함수

from urllib import request

target = request.urlopen("http://hanbit.co.kr")

content = target.read()

print(content[:100])

# 실행결과

b'<!DOCTYPE html>\r\n<html lang="ko">\r\n<head>\r\n<!--[if lte IE 8]>\r\n<script>\r\n location.replace(\'/suppor'

→ b로 시작, 바이너리 데이터를 의미

(9) os 모듈

- 운영체제 관련 모듈

- os.listdir(폴더 경로): 폴더 내 모든 것을 리스트로 출력

- os.path.isdir(경로): 경로에 있는 것이 폴더면 True

# 파일/폴더명 출력

import os

output = os.listdir(".")

print("os.listdir():", output)

# 파일/폴더 구분

for path in output:

if os.path.isdir(path):

print("폴더:", path)

else:

print("파일", path)

# 실행결과

os.listdir(): ['6_exception.py', '7_module.py']

파일 6_exception.py
파일 7_module.py