IT Lab

http://www.mojohaus.org/build-helper-maven-plugin/

참고: http://spark.apache.org/docs/1.6.2/sql-programming-guide.html

// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an RDD to a DataFrame.
import sqlContext.implicits._

// Define the schema using a case class.
// Note: Case classes in Scala 2.10 can support only up to 22 fields. To work around this limit,
// you can use custom classes that implement the Product interface.
case class Person(name: String, age: Int)

// Create an RDD of Person objects and register it as a table.
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")

// SQL statements can be run by using the sql methods provided by sqlContext.
val teenagers = sqlContext.sql("SELECT name, age FROM people WHERE age >= 13 AND age <= 19")

// The results of SQL queries are DataFrames and support all the normal RDD operations.
// The columns of a row in the result can be accessed by field index:
teenagers.map(t => "Name: " + t(0)).collect().foreach(println)

// or by field name:
teenagers.map(t => "Name: " + t.getAs[String]("name")).collect().foreach(println)

// row.getValuesMap[T] retrieves multiple columns at once into a Map[String, T]
teenagers.map(_.getValuesMap[Any](List("name", "age"))).collect().foreach(println)
// Map("name" -> "Justin", "age" -> 19)

키 체인에서 인증서를 생성하고 빌드하면 된다.

http://apollo89.com/wordpress/?p=5941

Kimball definition

데이터 마트

• 1개 이상의 스타 스키마

데이터 웨어하우스

• 데이터 마트의 집합
• 모든 데이터 마트의 소스

큐브

• 다차원 데이터 오브젝트

큐브 사용 장점

• 정의에 따라 주어진 정보에 아주 빠르게 응답한다.
• 드릴다운 경로가 동적이다. 큐브에서 깔끔하고 구조화된 aggregation이 나온다. 
• 질의가 간단하다. 조인이 없음. 팩트 기반으로 만들어졌기 때문에 세부 정보를 몰라도 됨.

큐브 사용 단점

• Ad-hoc 질의로 알맞지 않다.
• 실시간성이 떨어진다.
• 드릴다운은 저수준으로만 가능하다. 
• 크기: 큐브에 넣는 속성은 절대 작지 않다.
• 소스 데이터 크기: 속성이 많을 쓰로 가져다 사용할 데이터가 많다.
• 유지보수: 일간 데이터 생성에 수시간이 걸린다면 큐브 생성에도 오래걸린다.
• 복잡도: 큐브 질의에 SQL을 사용할 수 없다. MDX(Multidimensional Expression)을 사용해야 한다. 

원본: http://www.seemoredata.com/en/entry.php?10-Differences-between-CUBES-and-Star-Schema