[Cloudera] 하둡 노드 추가하기 (클라우데라 노드 추가)

들어가며

  앞서 클러스터를 구축하는 방법에 대해서 설명을 하였다. [Cloudera] 클라우데라 설치하는 방법 - (Linux, Cloudier Manager) 그렇다면 이렇게 구축된 클러스터에 새로운 노드를 추가하기 위해서는 어떤 작업을 진행해야할까에 대해서 이번 글에 적으려고 한다. 막상 클러스트러를 구축할때 처럼만 설정하면 되지 라고 생각하지만, 막상 내가 각 노드에 어떤 내용을 추가했는지 기억이 안난다는 함정이 있다. 그래서 DataNode를 추가하거나 Spark의 WorkerNode를 추가를 할 경우에 어떤 설정 및 설치를 해야하는지 아래 설명한다. 

1. 스토리지 추가하기

  일단 새로운 노드를 클라우드에서 생성을 한다. 기존 노드들에서도 스토리지를 추가했기 때문에 생성이 완료되면 스토리지를 추가하자. 스리지가 생성이 되면 자동으로 마운트가 되지 않는다. 그렇기 때문에 dev/하위에 자동으로 할당된 경로를 찾고, 포맷 및 마운트를 진행하면 된다. 마운트에 관련된 내용은 아래 포스트에서 설명을 했다. [Linux] 스토리지 추가하기 (포맷하기, 마운트하기)

 2. host등록하기 

banana.host01의 /etc/hosts에 추가할 hostname과 ip주소를 넣는다.  (banana.host01은 Cloudier Manager가 설치된 서버)
추가할 서버의 /etc/hosts에 내용을 넣는다. 

3. ssh-key 등록

$ ssh-keygen -f /home/banana/.ssh/id_rsa -t rss -N ''
$ cp /home/banana/.ssh/id_rsa.pub /home/banana/.ssh/authorized_keys && chmod 644 /home/banana/.ssh/authorized_keys\
authorized_key에 master(banana.host01)의 public key를 넣어준다. 

4. 배포하기

  준비가 다 완료되었으면 Cloudier Manager의 웹사이트에 들어가서  [호스트] - [새 호스트를 클러스터에 추가]