로컬 환경에서 sandbox hadoop cluster를 docker로 띄워보자

개요

• hadoop cluster를 로컬에 설치해서 테스트해보기에는 제약사항들이 많다.
• 그래도 맛보기 정도로 기능을 테스트해보고 싶을 때에는 sandbox hadoop cluster를 활용해서 테스트할 수 있다.

요구사항

• docker
• 12GB 메모리

설치 방법

1. Install guide를 참조해보면 docker쪽 memory 설정을 12GB 이상으로 조절해준다. ( 기본적으로 사양이 매우 높다. )
2. Download 에서 hdp 를 다운로드 받는다.
3. 압축을 풀어보면 docker-delpy-{VERSION}.sh 파일이 있을 것이다. 해당 스크립트를 실행해주자.
4. 아래와 같이 hosts 설정을 해준다.

   echo '127.0.0.1 sandbox-hdp.hortonworks.com sandbox-hdf.hortonworks.com' | sudo tee -a /private/etc/hosts

5. http://sandbox-hdp.hortonworks.com:8080/#/login 로 cluster에 로그인을 해준다.
   • 이 때, 비밀번호 재설정이 필요한데, 먼저 docker container에 접속해준다.

     docker exec -it sandbox-hdp /bin/bash

   • 그리고 password 초기화를 해준다.

     ./sbin/ambari-admin-password-reset

   • restart 후 id: admin, password는 설정한 내용으로 접속한다.