작성시작: 2016-10-20, 최종수정: 2016-10-20


Note: 2014년 자료로 작성하였음. 현재 내용이 다를 수도 있으니 추가 확인 필요


Druid로 실시간 분석하기


실시간

  • 여기서 실시간이란 수십초안에 응답 및 실시간 ingestion을 을 의미


Analytics

  • 데이터를 클렌징, 변환, 모델링해서 정보를 찾는 프로세스

Business Intelligence
  • 비즈니스 정보에 초점을 맞춘 애널리틱스

Druid란?
- google dremel에서 영감을 얻음
- 오픈소스 OLAP 엔진
- aggreation을 수십초안에 해결
- 메모리 매핑 데이터 사용

특징
- de-normalized data
- time-based segments
- timeseries/groupby/TopN 처리에 강함
- Hadoop과 잘 동작

메인 컴포넌트

* 인덱싱 서비스
 - 실시간 ingestion
 - hadoop 배치 ingestion
 - 로컬 배치 ingestion
 - 인덱싱 단계에서 aggregation 정의
 - 최종 결과: 데이터 세그먼트를 deep store에 저장. 각 세그먼트는 시간범위를 가지고 있음

* 코디네이터 노드
 - MySQL 메타데이터 읽기 조정. 

* 브로커 노드
 - 질의를 세그먼트를 가진 노드에 전달
 - partial aggregation 결과를 취함

* 히스토리컬 노드
 - deep store에 있는 immutable 인덱스 데이터를 로딩

* 실시간 노드


왜 Druid를 일까?

장점
- Horizontal Scalability - 선형 성능 보장
- 수초안에 응답시간(실시간급)
- 네이티브 타임존 지원
- 통합 버전( 배치 + 실시간 ingestion/질의 지원, 분산 memcached 지원, 멀티티어 복제/로드 지원)
- 활발한 커뮤니티

단점
- SQL/MDX보다 제한적인 질의 (빅쿼리는 ANSI SQL지원)
- 조인이 힘듬
- distinct 카운트 불가
- groupby 질의시 메모리 제한 있음


참고: http://www.slideshare.net/ydn/pushing-thelimitsofrealtimeanalyticswithdruidv3


'Resources > Summary' 카테고리의 다른 글

[요약] 데이터 큐브와 스타 스키마와의 차이점  (0) 2016.10.24
[요약] 데이터 마이닝 방법론/프로세스 CRISP-DM  (0) 2016.09.28
[요약] 추천시스템의 핵심기술  (0) 2016.09.28
[요약] 노트 7 소셜 반응 분석 & 구현하기 / 빅쿼리,제플린 사용  (0) 2016.09.28


sublime text를 설치하여 한글을 입력하니 커서 위에 한글 조합상태가 나오지 않고
좌측 상단에 한글 조합 상태가 나와서 불편했는데 다음과 같이 수행하면 커서위에 한글 조합상태를 볼 수 있다.

  • Preferences > Package Control 선택
  • Package Control : Install Package 선택
  • IMESupport 선택하여 설치
이후에는 한글입력이 원하는대로 잘된다.


'Resources > IT 일반' 카테고리의 다른 글

[검색엔진최적화] 내 사이트가 구글이나 네이버에서 검색되도록 하는법  (1) 2025.03.09
[maven] build helper  (0) 2017.01.31
[iOS] 개발자 등록하지 않고 앱 설치하기  (0) 2016.11.07
[macOS] 유용한 핫키 정리  (0) 2016.10.09
맥 팬 컨트롤 프로그램  (0) 2016.10.04
맥북에어 팬 소음이 엄청 심한 경우 (Spotlight 검색 끄는 법)  (0) 2016.09.24
MacPorts 업데이트하는 법  (0) 2016.08.06


sublime text 3를 설치하고 다음과 같이 bootstrap snippet을 설치하면 편하게 입력을 할 수 있게 된다.


맥에서 설치하는 법

  • Sublime Text > Preferences > Package Control 선택
  • Package Control: Install Package 입력
  • Bootstrap Snippets 선택

사용법
  • 그 다음 부터는 편집 파일의 syntax를 html로 선택하고  <다음 태그명을 입력했더니 자동으로 템플릿이 채워진다.


약어

  • 간단하게 앞단어만 축약해서 써도 템플릿 입력이 가능한다.
  • 예를 들어 templage:navbar를 입력하고자 하는 경우 <tn만 입력해도 바로 선택창이 뜬다.


'Resources > Web' 카테고리의 다른 글

Spring MVC Tutorial  (0) 2014.11.16
CoffeeScript 메인 페이지  (0) 2011.05.13
[링크] 아이폰 아이콘 생성기  (0) 2010.03.16
[HTML] meta 태그를 이용할 redirect 처리  (0) 2010.03.04
[me2api] 쉬운 인증 방법  (0) 2010.03.04
[jQuery] HTML 추가시 자바스크립트도 같이 넣기  (0) 2010.02.25
[jQuery] CSS Selector 정리  (0) 2010.02.25


페이지 이동

  • PageUp: Fn + Up, Shift + Space
  • PageDown: Fn + Down, Space
  • Home: Fn + Left
  • End: Fn+ Right


단어간 이동

  • 뒷 단어: Opt(Alt) + Left
  • 앞 단어: Opt(Alt) + Right


'Resources > IT 일반' 카테고리의 다른 글

[maven] build helper  (0) 2017.01.31
[iOS] 개발자 등록하지 않고 앱 설치하기  (0) 2016.11.07
[sublime text] 한글 입력이 커서 위에 나오게 하는 법  (0) 2016.10.18
맥 팬 컨트롤 프로그램  (0) 2016.10.04
맥북에어 팬 소음이 엄청 심한 경우 (Spotlight 검색 끄는 법)  (0) 2016.09.24
MacPorts 업데이트하는 법  (0) 2016.08.06
git 간편 안내서  (0) 2016.03.05


팬이 시끄러워 RPM을 줄이는 프로그램을 찾아보았다. 

아래 링크의 프로그램의 RPM을 줄일 수 있는데, 임의로 줄이는 것은 불안하여 CPU 점유율 높은 프로그램을 죽이고

RPM이 줄고 있나 확인하는 용도로 사용하고 있다. 


다운로드 사이트: http://crystalidea.com/macs-fan-control

--


참고글: http://gong6587.tistory.com/2465

'Resources > IT 일반' 카테고리의 다른 글

[iOS] 개발자 등록하지 않고 앱 설치하기  (0) 2016.11.07
[sublime text] 한글 입력이 커서 위에 나오게 하는 법  (0) 2016.10.18
[macOS] 유용한 핫키 정리  (0) 2016.10.09
맥북에어 팬 소음이 엄청 심한 경우 (Spotlight 검색 끄는 법)  (0) 2016.09.24
MacPorts 업데이트하는 법  (0) 2016.08.06
git 간편 안내서  (0) 2016.03.05
각종 튜토리얼 사이트  (0) 2014.11.16

+ Recent posts

티스토리툴바