데이터 분석을 위한 SQL 레시피 - 1장 빅데이터 시대에 요구되는 분석력이란
Contents
🗄️ 데이터분석을 위한 SQL 레시피 책을 읽고 정리 / 요약 한 내용입니다.
1. 빅데이터
빅데이터의 위키피디아 정의
- 빅데이터
big data는 상용 데이터베이스 관리 도구와 기존의 데이터 처리 애플리케이션으로 처리하는 것이 힘들 정도로 거대하고 복잡한 데이터의 집합을 나타내는 용어 - 기술적인 과제로 수집, 선택, 저장, 검색, 공유, 전송, 분석 시각화 등
- 대규모 데이터 집합의 경향을 파악하려면 비즈니스 경향 발견, 연구 품질 결정, 질병 예방, 법적 인용 링크, 범죄 방지, 실시간 도록 교통 상황 판단 등의 상관관계를 알 수 있음
- 데이터 수집, 집계, 시각화를 통해 다양한 분야에 활용하기 위한 것
빅데이터가 주목받게 된 기술적 이유들
- 기억 용량의 대용량화
- 하드웨어 가격의 하락과 클라우드 기술의 등장
- 분산 처리를 담당하는 미들웨어 등장
빅데이터 미들웨어
- Apache Hadoop, Amazon Redshift, Goolge BigQuery 등
- 기존에 사용하던 웹 접근 로그, 회사 내부 데이터, 기타 도구를 활용해 얻은 데이터를 모두 한번에 관리 할 수 있음
빅데이터 사용 용도
- 개별적인 사용자의 행동 파악
- 사용자의 흥미와 기호를 기반으로 하는 추천
- 광고 타켓팅
- 예측 모델링
- 기계 학습
- 단순히 웹 접근을 분석하는 영역을 넘어 데이터를 활용해 돈을 버는 기업의 수가 늘기 시작함
2. 분석 담당자와 엔지니어의 이해관계
분석 담당자
- 구글 애널리틱스 등의 도구를 사용해도 SQL을 이해하지 못해 제대로 활용하지 못하는 상황
- 분석 방법은 알고 있음
- 방법은 대충 알지만 어떻게 SQL을 작성해야 데이터를 추출할 수 있는지 모름
- 리포트 작성보다 데이터 추출에 더 많은 시간과 노력을 할애
- SQL을 제대로 몰라 SQL로 무엇을 할 수 있는지 생각하지 못함
- SQL 습득을 통한 장점
- 기존의 리포팅 업무에 대한 새로운 안목을 습득
- 특정 데이터로 어떤 데이터를 만들 수 있을지 다양하게 상상
- SQL로 가능한 것을 이해하고 최종적으로 직접 SQL을 작성하게 된다.
엔지니어
- 원래 서버 사이드를 담당하고 있었지만 마케팅 담당자에게 데이터 추출을 요청받는 사람
- SQL은 알고 있음
- 분석에 특화된 SQL은 모름
- 리포팅 방법을 모름
- 분석 담당자가 어떤 문제를 해결해야하는지 알지 못함
- 분석용 SQL을 습득을 통한 장점
- 리포트를 만드는 방법과 분석 방법을 파악할 수 있음
- 기존의 업무에서 다루는 SQL과 다른 분석 전용 SQL을 이해할 수 있음
- 서비스와 도구를 개발할 때 데이터 활용과 관련된 새로운 안목을 습득할 수 있음