데이터분석 공부일지

[1과목. 빅데이터 분석기획]문1. 빅데이터 분석 기획 과정의 WBS를 작성하는 단계는?☞ 프로젝트 계획 수립 문2. CRISP-DM 방법론의 프로세스는? ☞ 비즈니스 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개  문3. 인공지능, 머신러닝, 딥러닝의 상호관계는? ☞ 인공지능 > 머신러닝 > 딥러닝 문4. 관계형 데이터베이스 기반 구조를 하둡 기반으로 전환하고, 이를 모니터링하는 직무는?☞ 데이터 엔지니어 문5. 개인정보 비식별화 조치에 대한 설명은? ☞ 총계 처리는 개별 데이터의 값을 데이터의 총합으로 대체하는 것을 의미 ☞ 가명 처리는 개인정보 중 주요 식별정보를 다른 값으로 대체하는 것을 의미 ☞ 데이터 마스킹은 개인정보 중 주요 식별정보의 전체 또는 부분적으로 대체하는 것을 ..

벌써 3번째 혼공학습단이 마무리되었다.이번은 시간이 엄청 빠르게 지나간 느낌이었다. 이번 [혼자 공부하는 R 데이터 분석]은 이전보다 실무에 대한 내용이 많이 담겨있어서 좋았다.특히, 일정으로 인해 혼공학습단 커리큘럼에 없었던 7강 프로젝트 실습이 실전을 경험해보는 내용 같았고, 7강도 공부해서 블로그 업로드까지 완료하여 뿌듯했다. 혼공학습단이 아니여도 스스로 공부하는 나, 어떤데? 3번째 혼공학습단 참여자 다운 성실함! 이제 혼공학습단에 참여할 수 있는 책들이 많이 남지 않아가고 있는 것 같아, 벌써 아쉽다.다음은 한 번도 공부해 본 적 없지만 실무에서 활용해 볼 수 있을 것 같은 SQL에 도전해 볼 예정이고, 이어서 자격증까지 취득하는 것을 목표로 할 생각이다.얼른 겨울이 와서 혼공학습단 13기에 참..

7. 프로젝트로 실력 다지기    1) 지역별 국내 휴양림 분포 비교하기    2) 해외 입국자 추이 확인하기    3) 지도에서 코로나19 선별진료소 위치 확인하기    4) 서울시 지역별 미세먼지 농도 차이 비교하기 1) 지역별 국내 휴양림 분포 비교하기> library(readxl)> forest_example_data > colnames(forest_example_data) > str(forest_example_data)   # 데이터 속성 확인> head(forest_example_data)   # 데이터 일부 확인 > library(descr)> freq(forest_example_data$city, plot=T, main='city')   # 시도별 휴양림 빈도분석> library(dplyr..

6. 데이터 시각화    1) 그래프 그리기    2) 그래프에 객체 추가하기    3) 지도 시각화: ggmap 패키지 1) 그래프 그리기(1) ggplot( ) 함수: 그래프 기본 틀 만들기- 그래프를 표현하는 좌표를 그리기 위한 함수로 * geom_로 시작하는 함수를 통해 각종 그래프를 추가하는 형태- install.packages("ggplot2") 패키지 설치 필요- library(ggplot2)- ggplot(데이터 세트, aes(데이터 속성))산점도 그리기선 그래프 그리기geom_point( ) 함수geom_line( ) 함수> ggplot(airquality, aes(x=Day, y=Temp)) + geom_point(size=2, color="blue")> ggplot(airquality..

5. 데이터 가공하기    1) dplyr 패키지    2) 데이터 가공하기    3) 데이터 구조 변형하기    4) 데이터 정제하기 1) dplyr 패키지(1) dplyr 패키지 설치 및 로드- dplyr 패키지는 데이터 가공에 유용한 함수가 많은 데이터 처리 필수 패키지임- install.packages("dplyr") 패키지 설치 필요- library(dplyr)  (2) 데이터 추출행(관측치) 추출열(변수) 추출 filter(데이터, 조건문) select(데이터, 변수명1, 변수명2, ...) > filter(mtcars, cyl == 4 & mpg > 20)→ cyl 4이면서 mpg 20이상인 데이터만 추출 > head(select(mtcars, am, gear))→ am과 gear 데이터만..

4. 데이터 다루기    1) 데이터 수집하기    2) 데이터 관측하기    3) 데이터 탐색하기 1) 데이터 수집하기(1) TXT 파일 가져오기- read.table("원시 데이터", header=TRUE, skip=0, nrows=-1, sep=",", ...)  * 원시 데이터: 저장된 파일 경로를 작성하며, 슬래시(/)를 사용함  * header: 첫 번째 행이 변수명인지 아닌지 판단함    (변수명이 없다면, col.names를 사용하여 변수명을 지정)  * skip: 특정 행 이후부터의 데이터를 가져옴  * nrows: 특정 행까지의 데이터를 가져옴  * sep: 구분자를 지정함  (2) CSV 파일 가져오기- read.csv("원시 데이터")  * 옵션을 설정하지 않아도 자동으로 1행을 변..

3. R 프로그래밍 익히기    1) 변수와 함수    2) 패키지    3) 조건문과 반복문 1) 변수와 함수(1) 변수 만들기- 변수(Variable) : '변하는 값'을 의미함- 변수 생성은 [변수명 ] 형태이며, 값을 변수에 할당한다는 의미임- R프로그램은 대소문자를 구분하기에 소문자로 변수명 생성하는 것을 추천함변수명 가능변수명 불가능exam.examex1ame_xamExAm1exam_exam#examex am  (2) 함수 활용하기 - 함수(Function) : 특정 기능을 수행하기 위해 사전에 만들어진 프로그래밍 구문 - 함수는 [함수명(인자)] 형태로 생성함내장 함수사용자 정의 함수별도의 패키지 설치 없이 사용하는 함수원하는 연산을 위해 사용자가 임의로 만든 함수> print("Hello ..

2. 데이터 분석을 위한 기본 다지기    1) 데이터 분석 과정    2) 데이터의 생김새 1) 데이터 분석 과정1단계2단계3단계4단계5단계데이터 분석 설계데이터 준비데이터 가공데이터 분석결론 도출주제 선정가설 설정분석항목 선정데이터 확보데이터 파악추출 및 정제파생변수 생성데이터 병합통계 분석시각화가설 검정결과 정리   2) 데이터의 생김새(1) 데이터 구조- 데이터 세트(= 테이블) : n X m 형태의 행(관측치)과 열(변수)로 구성된 형태  (2) 데이터 유형숫자형문자형논리형숫자로만 구성문자로만 구성TRUE / FALSE구분1차원2차원n차원단일형(한 가지 유형)벡터행렬배열다중형(여러 유형)리스트데이터 프레임-  (3) 데이터 종류① 벡터 : 한 가지 유형으로 구성된 1차원 구조의 데이터[벡터]  ..

1. 빅데이터와 R    1) 빅데이터와 R 언어    2) 개발 환경 설치    3) R 스튜디오 인터페이스와 환경 설정 1) 빅데이터와 R 언어(1) 빅데이터 시대- 빅데이터는 기존에 처리하던 데이터보다 더 많은 양의 대규모 데이터를 의미함- 빅데이터의 특징은 4V로 규모(Volume), 속도(Velocity), 다양성(Variety), 정확성(Veracity)임 (2) R 언어장점단점통계분석에 특화 (패키지 多)처리속도 느림다양한 정보 공유스스로 문제해결 해야함무료 (오픈 소스)쉬워도 프로그래밍 언어다양한 운영체제에서 동작-   2) 개발 환경 설치(1) R 설치 파일 다운로드하기- R 공식 홈페이지(https://www.r-project.org/) → Download(CRAN) → Korea 항목..

2번째 참여한 혼공학습단도 무사히 완주했다. 요즘 이런저런 일들로 번아웃이 왔었다. 초반에는 공부하기 위해 마음잡고 집중하기가 쉽지 않았다. 매주 미션 제출을 위해 억지로 공부하다 보니, 주차를 거듭할수록 슬럼프에 점차 벗어나는 듯했다. 혼공으로 벗어나지 못할 것만 같았던 슬럼프를 벗어난 점이 이번의 가장 큰 소득이었다. 역시 혼공학습단은 동기부여가 짱인 것 같다. 이번 [혼자 공부하는 데이터 분석 with 파이썬]은 공부하기 한결 수월했던 것 같다. 지난번 [혼자 공부하는 파이썬]을 학습해서 내공이 쌓여서 그런건지, 통계학과라서 그런 건지, 이유는 모르겠으나, 지난번에 비해 이해 안 되는 부분이 많지 않았다. 아무쪼록 11기 혼공학습단도 대만족! 번아웃도 극복하고, 블로그도 키울 수 있고, 데이터 분석..