데이터분석 공부일지

[1과목. 빅데이터 분석기획]문1. 빅데이터의 특징 5V에 대한 설명은?☞ Variety 유형 ☞ Volume 규모☞ Velocity 속도☞ Value 가치☞ Veracity 품질 문2. 빅데이터 분석 방법론의 데이터 분석 단계에서 수행하는 작업은?☞ 분석용 데이터 준비☞ 텍스트/탐색적 분석☞ 모델링☞ 모델 평가 및 검증 문3. 수집한 데이터를 저장/처리하고 분석할 수 있도록 포괄적으로 지원하는 것은?☞ 빅데이터 플랫폼 문4. 가역/불가역 데이터에 대한 설명은?☞ 가역 데이터는 원본 데이터가 변경되는 경우, 변경사항을 반영할 수 있음☞ 가역 데이터는 생산된 데이터의 원본으로 환원이 가능한 데이터임☞ 불가역 데이터는 생산된 데이터의 원본으로 환원이 불가능한 데이터임(오답: 불가역 데이터는 원본 데이터가 변..

빅데이터분석기사 실기 개요시험일정- 연 2회 (보통 6월, 11월)시험시간- 180분 (3시간)시험환경- CBT, 크롬언어선택- 파이썬 or R제약사항 - 코드 라인별 실행, 그래프(시각화) 기능, 단축키, 자동완성 기능 미제공- 코드 실행 시간 1분 내로 제한 (초과 시, 강제 실행 취소)- 패키지 추가 설치 불가 (제공된 패키지만 이용가능) 합격기준60점 이상 (과락 없음)시험과목제1유형 : 30점 (3문항), 데이터 전처리 결과 제출제2유형 : 40점 (1문항), csv 파일로 코드 제출제3유형 : 30점 (2문항), 답안 제출자격조건 필기시험 면제기간은 필기합격자 발표일로부터 2년   실기시험 응시 환경 체험체험환경https://dataq.goorm.io/exam/3/체험하기/quiz/1시험화면 ..

[1과목. 빅데이터 분석기획]문1. HDFS에 대한 설명은?☞ GFS 기반으로 만듬 문2. 인공지능학습에 대한 설명은? ☞ 지도학습은 데이터의 정답지가 주어진 상태로 학습하는 것 ☞ 강화학습은 특정 조건에서 최적의 행동을 선택하도록 하는 학습방법임 ☞ 강인공지능은 인간의 지성을 컴퓨터 정보처리능력으로 구현한 시스템(오답: 훌륭한 알고리즘을 보유했다면 학습을 생략해도 됨)  문3. 분산 파일 시스템에 대한 설명은? ☞ 여러 컴퓨터를 하나의 서버 환경처럼 연결하여 데이터를 저장, 처리하는 시스템 문4. 분석 로드맵을 수립할 때 고려해야 할 항목은? ☞ 비지니스 성과 및 ROI ☞ 시급성 및 중요도☞ 실현 가능성(오답: 분석모델 활용 방안) 문5. DIKW 피라미드 요소 중 지혜에 해당하는 것은?☞ 초밥도 A..

[1과목. 빅데이터 분석기획]문1. 빅데이터 분석 기획 과정의 WBS를 작성하는 단계는?☞ 프로젝트 계획 수립 문2. CRISP-DM 방법론의 프로세스는? ☞ 비즈니스 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개  문3. 인공지능, 머신러닝, 딥러닝의 상호관계는? ☞ 인공지능 > 머신러닝 > 딥러닝 문4. 관계형 데이터베이스 기반 구조를 하둡 기반으로 전환하고, 이를 모니터링하는 직무는?☞ 데이터 엔지니어 문5. 개인정보 비식별화 조치에 대한 설명은? ☞ 총계 처리는 개별 데이터의 값을 데이터의 총합으로 대체하는 것을 의미 ☞ 가명 처리는 개인정보 중 주요 식별정보를 다른 값으로 대체하는 것을 의미 ☞ 데이터 마스킹은 개인정보 중 주요 식별정보의 전체 또는 부분적으로 대체하는 것을 ..

벌써 3번째 혼공학습단이 마무리되었다.이번은 시간이 엄청 빠르게 지나간 느낌이었다. 이번 [혼자 공부하는 R 데이터 분석]은 이전보다 실무에 대한 내용이 많이 담겨있어서 좋았다.특히, 일정으로 인해 혼공학습단 커리큘럼에 없었던 7강 프로젝트 실습이 실전을 경험해보는 내용 같았고, 7강도 공부해서 블로그 업로드까지 완료하여 뿌듯했다. 혼공학습단이 아니여도 스스로 공부하는 나, 어떤데? 3번째 혼공학습단 참여자 다운 성실함! 이제 혼공학습단에 참여할 수 있는 책들이 많이 남지 않아가고 있는 것 같아, 벌써 아쉽다.다음은 한 번도 공부해 본 적 없지만 실무에서 활용해 볼 수 있을 것 같은 SQL에 도전해 볼 예정이고, 이어서 자격증까지 취득하는 것을 목표로 할 생각이다.얼른 겨울이 와서 혼공학습단 13기에 참..

7. 프로젝트로 실력 다지기    1) 지역별 국내 휴양림 분포 비교하기    2) 해외 입국자 추이 확인하기    3) 지도에서 코로나19 선별진료소 위치 확인하기    4) 서울시 지역별 미세먼지 농도 차이 비교하기 1) 지역별 국내 휴양림 분포 비교하기> library(readxl)> forest_example_data > colnames(forest_example_data) > str(forest_example_data)   # 데이터 속성 확인> head(forest_example_data)   # 데이터 일부 확인 > library(descr)> freq(forest_example_data$city, plot=T, main='city')   # 시도별 휴양림 빈도분석> library(dplyr..

6. 데이터 시각화    1) 그래프 그리기    2) 그래프에 객체 추가하기    3) 지도 시각화: ggmap 패키지 1) 그래프 그리기(1) ggplot( ) 함수: 그래프 기본 틀 만들기- 그래프를 표현하는 좌표를 그리기 위한 함수로 * geom_로 시작하는 함수를 통해 각종 그래프를 추가하는 형태- install.packages("ggplot2") 패키지 설치 필요- library(ggplot2)- ggplot(데이터 세트, aes(데이터 속성))산점도 그리기선 그래프 그리기geom_point( ) 함수geom_line( ) 함수> ggplot(airquality, aes(x=Day, y=Temp)) + geom_point(size=2, color="blue")> ggplot(airquality..

5. 데이터 가공하기    1) dplyr 패키지    2) 데이터 가공하기    3) 데이터 구조 변형하기    4) 데이터 정제하기 1) dplyr 패키지(1) dplyr 패키지 설치 및 로드- dplyr 패키지는 데이터 가공에 유용한 함수가 많은 데이터 처리 필수 패키지임- install.packages("dplyr") 패키지 설치 필요- library(dplyr)  (2) 데이터 추출행(관측치) 추출열(변수) 추출 filter(데이터, 조건문) select(데이터, 변수명1, 변수명2, ...) > filter(mtcars, cyl == 4 & mpg > 20)→ cyl 4이면서 mpg 20이상인 데이터만 추출 > head(select(mtcars, am, gear))→ am과 gear 데이터만..

4. 데이터 다루기    1) 데이터 수집하기    2) 데이터 관측하기    3) 데이터 탐색하기 1) 데이터 수집하기(1) TXT 파일 가져오기- read.table("원시 데이터", header=TRUE, skip=0, nrows=-1, sep=",", ...)  * 원시 데이터: 저장된 파일 경로를 작성하며, 슬래시(/)를 사용함  * header: 첫 번째 행이 변수명인지 아닌지 판단함    (변수명이 없다면, col.names를 사용하여 변수명을 지정)  * skip: 특정 행 이후부터의 데이터를 가져옴  * nrows: 특정 행까지의 데이터를 가져옴  * sep: 구분자를 지정함  (2) CSV 파일 가져오기- read.csv("원시 데이터")  * 옵션을 설정하지 않아도 자동으로 1행을 변..

3. R 프로그래밍 익히기    1) 변수와 함수    2) 패키지    3) 조건문과 반복문 1) 변수와 함수(1) 변수 만들기- 변수(Variable) : '변하는 값'을 의미함- 변수 생성은 [변수명 ] 형태이며, 값을 변수에 할당한다는 의미임- R프로그램은 대소문자를 구분하기에 소문자로 변수명 생성하는 것을 추천함변수명 가능변수명 불가능exam.examex1ame_xamExAm1exam_exam#examex am  (2) 함수 활용하기 - 함수(Function) : 특정 기능을 수행하기 위해 사전에 만들어진 프로그래밍 구문 - 함수는 [함수명(인자)] 형태로 생성함내장 함수사용자 정의 함수별도의 패키지 설치 없이 사용하는 함수원하는 연산을 위해 사용자가 임의로 만든 함수> print("Hello ..