IT Lab

1. 패스워드를 준비 한다.

In [1]: from notebook.auth import passwd

In [2]: passwd()
Enter password: 
Verify password: 
Out[2]: 'sha1:f24baff49ac5:863dd2ae747212ede58125302d227f0ca7b12bb3'

2. config 파일 생성하고 config 파일을 오픈한다.

[~/work/python]# jupyter notebook --generate-config
Writing default config to: /Users/tommy/.jupyter/jupyter_notebook_config.py
[~/work/python]# vi /Users/tommy/.jupyter/jupyter_notebook_config.py

3.  다음 내용을 입력한다.

# Password to use for web authentication
c = get_config()
c.NotebookApp.password =
u'sha1:f24baff49ac5:863dd2ae747212ede58125302d227f0ca7b12bb3'

4.  다시 시작하고 접속해보면 암호를 물어보기 시작한다. 

참고: http://goodtogreate.tistory.com/entry/IPython-Notebook-%EC%84%A4%EC%B9%98%EB%B0%A9%EB%B2%95

다음 패키지를 쓰면 국가코드를 입력으로 넣어 타임존을 알아낼 수 있다.

설치 방법

pip install pytz

참고 링크 및 코드

http://pytz.sourceforge.net/

Country Information

>>> from datetime import datetime, timedelta
>>> from pytz import timezone
>>> import pytz

>>> print(' '.join(pytz.country_timezones['nz']))
Pacific/Auckland Pacific/Chatham

The Olson database comes with a ISO 3166 country code to English country name mapping that pytz exposes as a dictionary:

>>> print(pytz.country_names['nz'])
New Zealand

bunzip2, gzip 커맨드가 설치되어 있는 경우 다음과 같이 해결할 수 있다.

bunzip2 -c < input.bz2 | gzip -c > output.gz

변환할 파일이 많은 경우 파이썬 스크립트로 변환을 하도록 하자.

import os

for i in range(1,100):
        print("bunzip2 -c < data-%05d.bz2 | gzip -c > data-%05d.gz" % (i, i))
        os.system("bunzip2 -c < data-%05d.bz2 | gzip -c > data-%05d.gz" % (i, i))

https://github.com/open-guides/og-aws/blob/master/README.md

EMR에서는 YARN을 통해서 Spark을 구동할 수 있다.

이 때 현재 실행중인 Spark Job을 보고 싶은 경우가 있는데 Web UI를 보고 싶다면

다음과 같은 단계를 거쳐야 한다.

• 터널링하여 Resource Manager 접속
• 해당 job의 ApplicationMaster 링크 클릭

• ResourceManager를 거치지 않으면 이미지가 깨져나온다.
• 따라서 YARN Resource Manager를 거치도록 한다.