[Spark] There are 0 datanode(s) running and no node(s) are excluded in this operation. 에러

 

hdfs dfsadmin -report

 

의 결과가

 

Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 Datanodes available: 0 (0 total, 0 dead)

 

위와 같이 모두 0이 떴다면, cluster의 master 노드와 slave 노드들이 연결되지 않았다는 의미가 된다. 

 

아래 링크를 참고하여 해결한다.

 

 

참고 : https://codeday.me/ko/qa/20190428/397550.html

Hadoop 데이터 노드 슬레이브가 마스터에 연결되어 있지 않습니다. - 코드 로그

 

 

 

 

 

 

 

 

 

 

 

 

ㅡ아래는 개인적인 환경에서 해결 한 방법이므로 통상적인 방법이 아닙니다. 참고하지 마세요ㅡ

 

나의 경우 spark cluster 를 만들기 위해

 

kmubigdata/ubuntu-spark 이미지를 사용했는데,

 

master 노드의 이름을 다른 것으로 바꿨더니 위 에러 없이 잘 되었다.

 

나처럼 kmubigdata/ubuntu-spark 이미지를 사용하는 경우 master 라는 이름이 xml 에 하드코딩 되어 있으므로, 

 

이름을 바꾸기 위해서

 

$HADOOP_HOME/etc/hadoop/ 내의 core-site.xml, mapred-site.xml, yarn-site.xml 내의 master 이름을 다른 것으로 바꿔준다.

 

master 노드 뿐만 아니라, slave 노드들 내의 있는 모든 이름을 바꿔야 한다.