🗄️ 데이터분석을 위한 SQL 레시피 책을 읽고 정리 / 요약 한 내용입니다. 개요 대표적인 빅데이터 처리 시스템을 설명하고 다루는 데이터의 양, 처리 내용, 비용 제약등을 생각하여 어떤 도구를 사용할지 알아보자 소개되는 시스템은 기본적으로 SQL 인터페이스를 가지고 있고 어떤 도구를 선택하더라도 다른 도구로 쉽게 마이그레이션이 가능 빅데이터 처리 시스템 1. PostgreSQL 오픈 소스 RDB(Relational Database)로 다양한 플랫폼 지원 및 GUI 인스톨러 제공 다른 오픈 소스 RDB와 비교시 표준 SQL을 잘 준수하며 윈도 함수, CTE(WITH 구문) 등 분석에 필수적으로 사용하는 구문 모두 구현 가능 많은 확장 기능을 제공하여 편리하게 사용 가능 2.

🗄️ 데이터분석을 위한 SQL 레시피 책을 읽고 정리 / 요약 한 내용입니다. 1. 빅데이터 빅데이터의 위키피디아 정의 빅데이터big data는 상용 데이터베이스 관리 도구와 기존의 데이터 처리 애플리케이션으로 처리하는 것이 힘들 정도로 거대하고 복잡한 데이터의 집합을 나타내는 용어 기술적인 과제로 수집, 선택, 저장, 검색, 공유, 전송, 분석 시각화 등 대규모 데이터 집합의 경향을 파악하려면 비즈니스 경향 발견, 연구 품질 결정, 질병 예방, 법적 인용 링크, 범죄 방지, 실시간 도록 교통 상황 판단 등의 상관관계를 알 수 있음 데이터 수집, 집계, 시각화를 통해 다양한 분야에 활용하기 위한 것 빅데이터가 주목받게 된 기술적 이유들 기억 용량의 대용량화 하드웨어 가격의 하락과 클라우드 기술의 등장 분산 처리를 담당하는 미들웨어 등장 빅데이터 미들웨어 Apache Hadoop, Amazon Redshift, Goolge BigQuery 등 기존에 사용하던 웹 접근 로그, 회사 내부 데이터, 기타 도구를 활용해 얻은 데이터를 모두 한번에 관리 할 수 있음 빅데이터 사용 용도 개별적인 사용자의 행동 파악 사용자의 흥미와 기호를 기반으로 하는 추천 광고 타켓팅 예측 모델링 기계 학습 단순히 웹 접근을 분석하는 영역을 넘어 데이터를 활용해 돈을 버는 기업의 수가 늘기 시작함 2.

Note 팀 내에서 진행하는 Study 정리 입니다. 함께 논의하고 싶은 주제 같이 스터디를 함으로써 책을 빠른시간내에 읽고 정리해볼 수 있어서 좋았습니다. ( 그 과정은 조금 힘들지만 그래도 다 읽어서 좋습니다!) 저장소 공간을 절약할 때 자주 바뀌는 파일로 인해 버전 이력이 많이 생긴다면 중요한 버전만 어떻게 골라낼 수 있을까? 1. 문제 이해 및 설계 범위 확정 1.1 기능적 요구사항 파일추가. 가장 쉬운 방법은 drag-and-drop 파일 다운로드 여러 단말에 파일 동기화 파일 갱신 이력 조회(revision history) 파일 공유 파일이 편집되거나 삭제되거나 새롭게 공유되었을 때 알림푯; 제외기능 : 구글문서 편집 및 협업 기능 1.

Note 팀 내에서 진행하는 Study 정리 입니다. 함께 논의하고 싶은 주제 느낀점 모바일 인터넷 트래픽 중 37% 가 유튜브라는 사실이 놀랍습니다. 비디오를 트랜스코딩 시 DAG 모델이 어떻게 쓰이는지 와닿지 않아서 조금 이해가 가지 않았습니다. 객체지향 언어에서처럼 각 작업을 인터페이스나 추상메서드로 정의해두면 클라이언트는 해당 작업을 클라이언트 OS에 맞게 구현하는 것 이라고 이해했는데 맞을까요? 1. 문제 이해 및 설계 범위 확정 요구사항 빠른 비디오 업로드 원활한 비디오 재생 재생 품질 선택 낮은 인프라 비용 높은 가용성과 규모 확장성 그리고 안정성 지원 클라이언트 : 모바일 앱, 웹브라우저, 스마트TV 개략적 규모 측정 일간 능동사용자 : 5백만 한 사용자는 하루 평균 5개의 비디오 시청 10%의 사용자가 하루에 1 비디오 업로드 비디오 평균 크기 300MB 비디오 저장을 위해 매일 요구되는 용량 : 5백만 * 10% * 300MB = 150TB CDN 비용 클라우드 CDN을 통해 서비스할 경우 데이터의 양에 따라 CDN에서 과금 아마존 클라우드프론트 기준으로 100% 미국에서 발생 시 1GB 당 0.

Note 팀 내에서 진행하는 Study 정리 입니다. 함께 논의하고 싶은 주제 느낀점 트라이 자료 구조에 대해 알 수 있었습니다. 한글 단어에서 트라이 자료구조는 어떻게 이루어질까 대충 찾아보았는데 한글은 음절단위로 단어가 만들어지기 때문에 음소 단위로 쪼개어 영어처럼 트라이 자료구조를 만들 수 있다고 합니다. 하지만 더 복잡할 것 같습니다. 검색어 자동완성 시스템 검색창에 단어를 입력하다보면 입력중인 글자에 맞는 검색어가 자동으로 표기되는 것 autocomplete, typeahead, search-as-you-type, incremental search 1. 문제 이해 및 설계 범위 확정 요구사항 정의 빠른 응답 속도 : 페이스북의 응답속도는 100밀리초 이내 연관성 : 자동완성되어 출력되는 검색어는 사용자가 입력한 단어와 연관된 것 정렬 : 시스템의 계산 결과는 인기도 등의 순위 모델에 의해 정렬 규모 확장성 : 시스템은 많은 트래픽을 감당할 수 있을 정도록 확장 가능 고가용성 : 일부 장애가 발생하거나 느려지거나 예상치 못한 네트워크 문제가 생겨도 시스템은 계속 사용 가능 개략적 규모 추정 DAU는 천만 명으로 가정 평균적으로 한 사용자는 매일 10건의 검색 수행 질의할 때마다 평균적으로 20Byte 입력 문자 인코딩 방법으로는 ASCII 사용 1문자=1Byte 질의문은 평균적으로 4개의 단어 구성 각 단어는 평균 다섯 글자 질의당 평균 4 * 5 = 20 Byte 검색창에 글자를 입력 백엔드에 요청을 보낸다 1회 검색당 20건의 요청이 백엔드로 전달 대략 초당 24,000건의 QPS 발생 (10,000,000 * 10 queries/day * 20 characters / 24시간 / 3600초) 최대 QPS = 24,000 * 2 = 48,000 질의 중 20% 신규 검색어 10,000,000 * 10 queries/day * 20 byte per query * 20% = 0.

Note 팀 내에서 진행하는 Study 정리 입니다. 함께 논의하고 싶은 주제 느낀점 기존에는 폴링, 푸시 기법만 알고 있었으나 롱폴링이라는 방법도 알게 되었습니다. 설계에 대한 내용은 주로 규모가 작은 그룹 채팅에 대한 설계만 그림을 통한 자세한 설명이 있었지만 규모가 큰 경우는 내용을 많이 다루지 않은 것 같습니다. 규모가 큰 채팅 서비스에서 크게 달라지는 것들이 있을까요? 미디어 파일과 같이 크기가 큰 파일을 채팅으로 전송해야하는 경우 WebRTC 과 같은(P2P 처럼) 기술을 활용할 수 있지 않을까 생각해보았습니다.