본문 바로가기

빅데이터분석기사 자격증 강의4

[빅데이터분석기사_실기] 5. 이상치 기출문제풀이 안녕하세요, 여러분 :) 다들 열심히 공부하고 계신가요. 오늘은 실제 기출문제에 나왔던 이상치 기출문제를 함께 풀어보도록 할게요. 2021년 2회 실기 기출문제 풀이 [2021년 2회 실기 작업형 제 1유형 문제 13] 다음은 insurance 데이터 세트이다. Charges 항목에서 이상값의 합을 구하시오. (이상값은 평균에서 1.5 표준편차 이상인 값) 이 문제에서 주의해야할 점은 이상값의 기준을 딱 명시해주었기 때문에 그에 맞게 기준선을 정하고 이전까지는 이상치를 제거한 데이터의 범위를 출력해봤다면, 이 문제는 이상치들의 합을 구한다는거에요. 여기에 주의하시고, dplyr 패키지를 통해서 간단하게 문제를 풀어보겠습니다. 1) 데이터 불러오기 및 확인 -아래의 데이터를 다운로드 받아 워킹 디렉토리로 .. 2021. 11. 14.
[빅데이터분석기사_실기] 4. 이상치 판별 -1 안녕하세요, 여러분 :-) 지난 시간에 배운 결측치는 모두 잘 이해하셨겠죠? 데이터 분석에 있어서 데이터 전처리는 핵심이고 데이터 전처리에서 결측치와 이상치 처리는 기본 중 기본이므로 열심히 학습하시길 바랄게요. 이번엔 이상치에 대해서 배워보도록 하겠습니다. 1) 이상치(Outlier)란? -이상치는 관측된 데이터의 범위에서 너무 크거나 작은 값을 의미합니다. -이상치 관측 원인은 입력 오류, 데이터 처리 오류, 샘플링 오류 등이 있습니다. 2) 이상치 판별 -이상치를 판별 할 수 있는 방법은 크게 2가지로 정리할 수 있습니다. R 함수 활용 -R의 outliers 패키지를 설치하여 outlier 함수로 이상치를 판별합니다. 사분위수 활용 -제 3사분위수에서 제 1사분위수의 값을 뺀(Q3-Q1)다음 1... 2021. 11. 13.
[빅데이터분석기사_실기] 3. 결측치 처리/기출문제 풀이 안녕하세요, 여러분 :) 이제 드디어 기출 문제를 함께 풀어보겠습니다. 단, 꼭 앞 2개의 실습을 진행해보시고 넘어오시길 바랍니다. 꼭이요! ! ! 2021년 2회 실기 기출문제 풀이 [2021년 2회 실기 작업형 제 1유형 문제 12] 주어진 데이터의 첫 번째 행부터 순서대로 80%까지의 데이터를 훈련데이터로 추출 후 'total_bedrooms'변수의 결측값(NA)을 'total_bedrooms' 변수의 중앙값으로 대체하고 대체 전의 'total_bedrooms'변수 표준편차 값과 대체 후의 'total_bedrooms'변수 표준편차 값의 차이의 절댓값을 구하시오. 여러분이 이 문제를 풀기 위해서는 3가지를 알고 계셔야 합니다. 1) 데이터 추출 방법 2) 기초 함수 (중앙값, 표준편차, 절댓값) 3.. 2021. 11. 12.