EMR에서는 YARN을 통해서 Spark을 구동할 수 있다.

이 때 현재 실행중인 Spark Job을 보고 싶은 경우가 있는데 Web UI를 보고 싶다면

다음과 같은 단계를 거쳐야 한다.

  • 터널링하여 Resource Manager 접속
  • 해당 job의 ApplicationMaster 링크 클릭

주의
  • ResourceManager를 거치지 않으면 이미지가 깨져나온다.
  • 따라서 YARN Resource Manager를 거치도록 한다.


'Areas > AWS' 카테고리의 다른 글

[공유] AWS 오픈 가이드  (0) 2016.10.17
ec2 인스턴스에서 sudo pip이 안되는 경우  (0) 2016.09.06
CLI에서 원하는 EMR 클러스터 아이디 뽑아내기  (0) 2016.08.25
CLI에서 JSON 결과에 query를 보내서 원하는 결과만 보기  (0) 2016.08.25
EMR상에서 Resource Manager 재시작하기  (0) 2016.03.08
EC2 Compute Unit 이란?  (0) 2015.12.10
EMR 4.2.0에서 zeppelin 포트 변경  (0) 2015.12.09


페이지 이동

  • PageUp: Fn + Up, Shift + Space
  • PageDown: Fn + Down, Space
  • Home: Fn + Left
  • End: Fn+ Right


단어간 이동

  • 뒷 단어: Opt(Alt) + Left
  • 앞 단어: Opt(Alt) + Right


'Resources > IT 일반' 카테고리의 다른 글

[maven] build helper  (0) 2017.01.31
[iOS] 개발자 등록하지 않고 앱 설치하기  (0) 2016.11.07
[sublime text] 한글 입력이 커서 위에 나오게 하는 법  (0) 2016.10.18
맥 팬 컨트롤 프로그램  (0) 2016.10.04
맥북에어 팬 소음이 엄청 심한 경우 (Spotlight 검색 끄는 법)  (0) 2016.09.24
MacPorts 업데이트하는 법  (0) 2016.08.06
git 간편 안내서  (0) 2016.03.05


팬이 시끄러워 RPM을 줄이는 프로그램을 찾아보았다. 

아래 링크의 프로그램의 RPM을 줄일 수 있는데, 임의로 줄이는 것은 불안하여 CPU 점유율 높은 프로그램을 죽이고

RPM이 줄고 있나 확인하는 용도로 사용하고 있다. 


다운로드 사이트: http://crystalidea.com/macs-fan-control

--


참고글: http://gong6587.tistory.com/2465

'Resources > IT 일반' 카테고리의 다른 글

[iOS] 개발자 등록하지 않고 앱 설치하기  (0) 2016.11.07
[sublime text] 한글 입력이 커서 위에 나오게 하는 법  (0) 2016.10.18
[macOS] 유용한 핫키 정리  (0) 2016.10.09
맥북에어 팬 소음이 엄청 심한 경우 (Spotlight 검색 끄는 법)  (0) 2016.09.24
MacPorts 업데이트하는 법  (0) 2016.08.06
git 간편 안내서  (0) 2016.03.05
각종 튜토리얼 사이트  (0) 2014.11.16


jar 추가 하기

  • spark-shell --jars <jar_name1,jar_name2, ...>



'Resources > Spark' 카테고리의 다른 글

임시 테이블 만들기  (0) 2017.01.23
spark-shell에서 scala 버전 구하기  (0) 2016.09.29
spark-shell에서 s3 디렉토리를 지워야 하는 경우 external system command 사용하기  (0) 2016.02.13
Date에 Range를 넣어보자.  (0) 2016.02.11

repl에서와 동일하게 다음과 같이 하면 버전이 나온다. 


scala> scala.util.Properties.versionString

res0: String = version 2.10.5



'Resources > Spark' 카테고리의 다른 글

임시 테이블 만들기  (0) 2017.01.23
spark-shell 사용법  (0) 2016.09.30
spark-shell에서 s3 디렉토리를 지워야 하는 경우 external system command 사용하기  (0) 2016.02.13
Date에 Range를 넣어보자.  (0) 2016.02.11

+ Recent posts

티스토리툴바