IT Lab

1. 패스워드를 준비 한다.

In [1]: from notebook.auth import passwd

In [2]: passwd()
Enter password: 
Verify password: 
Out[2]: 'sha1:f24baff49ac5:863dd2ae747212ede58125302d227f0ca7b12bb3'

2. config 파일 생성하고 config 파일을 오픈한다.

[~/work/python]# jupyter notebook --generate-config
Writing default config to: /Users/tommy/.jupyter/jupyter_notebook_config.py
[~/work/python]# vi /Users/tommy/.jupyter/jupyter_notebook_config.py

3.  다음 내용을 입력한다.

# Password to use for web authentication
c = get_config()
c.NotebookApp.password =
u'sha1:f24baff49ac5:863dd2ae747212ede58125302d227f0ca7b12bb3'

4.  다시 시작하고 접속해보면 암호를 물어보기 시작한다. 

참고: http://goodtogreate.tistory.com/entry/IPython-Notebook-%EC%84%A4%EC%B9%98%EB%B0%A9%EB%B2%95

다음 패키지를 쓰면 국가코드를 입력으로 넣어 타임존을 알아낼 수 있다.

설치 방법

pip install pytz

참고 링크 및 코드

http://pytz.sourceforge.net/

Country Information

>>> from datetime import datetime, timedelta
>>> from pytz import timezone
>>> import pytz

>>> print(' '.join(pytz.country_timezones['nz']))
Pacific/Auckland Pacific/Chatham

The Olson database comes with a ISO 3166 country code to English country name mapping that pytz exposes as a dictionary:

>>> print(pytz.country_names['nz'])
New Zealand

키 체인에서 인증서를 생성하고 빌드하면 된다.

http://apollo89.com/wordpress/?p=5941

최종 업데이트일: 2016-10-27

[날짜 처리하기] 유닉스타임을 타임스탬프로 변환

select from_unixtime(1477365132)

결과: 

[날짜 처리하기] 타임스탬프에서 년월일만 나오도록 하기

select date_trunc('day', from_unixtime(1477365132))

결과:

[날짜 처리하기] 두 날짜의 차이 구하기

select date_diff( 

'day', 

from_iso8601_timestamp('2016-10-24'),  

from_iso8601_timestamp('2016-10-25')

)

결과: 1

Kimball definition

데이터 마트

• 1개 이상의 스타 스키마

데이터 웨어하우스

• 데이터 마트의 집합
• 모든 데이터 마트의 소스

큐브

• 다차원 데이터 오브젝트

큐브 사용 장점

• 정의에 따라 주어진 정보에 아주 빠르게 응답한다.
• 드릴다운 경로가 동적이다. 큐브에서 깔끔하고 구조화된 aggregation이 나온다. 
• 질의가 간단하다. 조인이 없음. 팩트 기반으로 만들어졌기 때문에 세부 정보를 몰라도 됨.

큐브 사용 단점

• Ad-hoc 질의로 알맞지 않다.
• 실시간성이 떨어진다.
• 드릴다운은 저수준으로만 가능하다. 
• 크기: 큐브에 넣는 속성은 절대 작지 않다.
• 소스 데이터 크기: 속성이 많을 쓰로 가져다 사용할 데이터가 많다.
• 유지보수: 일간 데이터 생성에 수시간이 걸린다면 큐브 생성에도 오래걸린다.
• 복잡도: 큐브 질의에 SQL을 사용할 수 없다. MDX(Multidimensional Expression)을 사용해야 한다. 

원본: http://www.seemoredata.com/en/entry.php?10-Differences-between-CUBES-and-Star-Schema

bunzip2, gzip 커맨드가 설치되어 있는 경우 다음과 같이 해결할 수 있다.

bunzip2 -c < input.bz2 | gzip -c > output.gz

변환할 파일이 많은 경우 파이썬 스크립트로 변환을 하도록 하자.

import os

for i in range(1,100):
        print("bunzip2 -c < data-%05d.bz2 | gzip -c > data-%05d.gz" % (i, i))
        os.system("bunzip2 -c < data-%05d.bz2 | gzip -c > data-%05d.gz" % (i, i))

작성시작: 2016-10-20, 최종수정: 2016-10-20

Note: 2014년 자료로 작성하였음. 현재 내용이 다를 수도 있으니 추가 확인 필요

Druid로 실시간 분석하기

실시간

• 여기서 실시간이란 수십초안에 응답 및 실시간 ingestion을 을 의미

Analytics

• 데이터를 클렌징, 변환, 모델링해서 정보를 찾는 프로세스

• 비즈니스 정보에 초점을 맞춘 애널리틱스

참고: http://www.slideshare.net/ydn/pushing-thelimitsofrealtimeanalyticswithdruidv3

sublime text를 설치하여 한글을 입력하니 커서 위에 한글 조합상태가 나오지 않고
좌측 상단에 한글 조합 상태가 나와서 불편했는데 다음과 같이 수행하면 커서위에 한글 조합상태를 볼 수 있다.

• Preferences > Package Control 선택
• Package Control : Install Package 선택
• IMESupport 선택하여 설치