IT Lab

http://www.mojohaus.org/build-helper-maven-plugin/

참고: http://spark.apache.org/docs/1.6.2/sql-programming-guide.html

// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an RDD to a DataFrame.
import sqlContext.implicits._

// Define the schema using a case class.
// Note: Case classes in Scala 2.10 can support only up to 22 fields. To work around this limit,
// you can use custom classes that implement the Product interface.
case class Person(name: String, age: Int)

// Create an RDD of Person objects and register it as a table.
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")

// SQL statements can be run by using the sql methods provided by sqlContext.
val teenagers = sqlContext.sql("SELECT name, age FROM people WHERE age >= 13 AND age <= 19")

// The results of SQL queries are DataFrames and support all the normal RDD operations.
// The columns of a row in the result can be accessed by field index:
teenagers.map(t => "Name: " + t(0)).collect().foreach(println)

// or by field name:
teenagers.map(t => "Name: " + t.getAs[String]("name")).collect().foreach(println)

// row.getValuesMap[T] retrieves multiple columns at once into a Map[String, T]
teenagers.map(_.getValuesMap[Any](List("name", "age"))).collect().foreach(println)
// Map("name" -> "Justin", "age" -> 19)

1. 패스워드를 준비 한다.

In [1]: from notebook.auth import passwd

In [2]: passwd()
Enter password: 
Verify password: 
Out[2]: 'sha1:f24baff49ac5:863dd2ae747212ede58125302d227f0ca7b12bb3'

2. config 파일 생성하고 config 파일을 오픈한다.

[~/work/python]# jupyter notebook --generate-config
Writing default config to: /Users/tommy/.jupyter/jupyter_notebook_config.py
[~/work/python]# vi /Users/tommy/.jupyter/jupyter_notebook_config.py

3.  다음 내용을 입력한다.

# Password to use for web authentication
c = get_config()
c.NotebookApp.password =
u'sha1:f24baff49ac5:863dd2ae747212ede58125302d227f0ca7b12bb3'

4.  다시 시작하고 접속해보면 암호를 물어보기 시작한다. 

참고: http://goodtogreate.tistory.com/entry/IPython-Notebook-%EC%84%A4%EC%B9%98%EB%B0%A9%EB%B2%95

다음 패키지를 쓰면 국가코드를 입력으로 넣어 타임존을 알아낼 수 있다.

설치 방법

pip install pytz

참고 링크 및 코드

http://pytz.sourceforge.net/

Country Information

>>> from datetime import datetime, timedelta
>>> from pytz import timezone
>>> import pytz

>>> print(' '.join(pytz.country_timezones['nz']))
Pacific/Auckland Pacific/Chatham

The Olson database comes with a ISO 3166 country code to English country name mapping that pytz exposes as a dictionary:

>>> print(pytz.country_names['nz'])
New Zealand

키 체인에서 인증서를 생성하고 빌드하면 된다.

http://apollo89.com/wordpress/?p=5941

최종 업데이트일: 2016-10-27

[날짜 처리하기] 유닉스타임을 타임스탬프로 변환

select from_unixtime(1477365132)

결과: 

[날짜 처리하기] 타임스탬프에서 년월일만 나오도록 하기

select date_trunc('day', from_unixtime(1477365132))

결과:

[날짜 처리하기] 두 날짜의 차이 구하기

select date_diff( 

'day', 

from_iso8601_timestamp('2016-10-24'),  

from_iso8601_timestamp('2016-10-25')

)

결과: 1

Kimball definition

데이터 마트

• 1개 이상의 스타 스키마

데이터 웨어하우스

• 데이터 마트의 집합
• 모든 데이터 마트의 소스

큐브

• 다차원 데이터 오브젝트

큐브 사용 장점

• 정의에 따라 주어진 정보에 아주 빠르게 응답한다.
• 드릴다운 경로가 동적이다. 큐브에서 깔끔하고 구조화된 aggregation이 나온다. 
• 질의가 간단하다. 조인이 없음. 팩트 기반으로 만들어졌기 때문에 세부 정보를 몰라도 됨.

큐브 사용 단점

• Ad-hoc 질의로 알맞지 않다.
• 실시간성이 떨어진다.
• 드릴다운은 저수준으로만 가능하다. 
• 크기: 큐브에 넣는 속성은 절대 작지 않다.
• 소스 데이터 크기: 속성이 많을 쓰로 가져다 사용할 데이터가 많다.
• 유지보수: 일간 데이터 생성에 수시간이 걸린다면 큐브 생성에도 오래걸린다.
• 복잡도: 큐브 질의에 SQL을 사용할 수 없다. MDX(Multidimensional Expression)을 사용해야 한다. 

원본: http://www.seemoredata.com/en/entry.php?10-Differences-between-CUBES-and-Star-Schema