[YARN] NodeManager 재실행하면, 실행중이던 job들은 죽을까?

 

결론부터 말하자면 옵션에 따라 죽을 수 있고 안 죽을 수 있다.

 

 

yarn.nodemanager.recovery.enabled

 

NodeManager 가 재실행한 이후 기존 상태를 회복(recovery) 할 수 있도록 하는 옵션.

기본값은 false 이다.

false 라면 NodeManager 가 재실행할 때 활성 Yarn container들(실행중이던 job 들)이 죽는다.

true 라면 NodeManager 가 재실행할 때 활성 Yarn container 들이 죽지 않는다.

 

yarn.nodemanager.recovery.dir

 

NodeManager 를 복구하기 위한 (NodeManager 의) 상태 정보를 저장할 로컬 file system dir 를 지정하는 옵션.

기본값은 '$hadoop.tmp.dir/yarn-nm-recovery' 이다.

 

yarn.nodemanager.recovery.supervised

 

NodeManager 가 종료될 때 현재 동작중인 Yarn container들을 정리할지 말지 정하는 옵션.

기본값은 false 이다.

false 라면 NodeManager 가 종료될 때 Yarn container들(실행중이던 job 들)이 정리된다.

true 라면 NodeManager 가 종료될 때 Yarn container들이 정리되지 않는다.

true 라는 의미는, 'NodeManager 를 잠시 종료했다가 곧바로 다시 실행'하는 상황에서 쓰이기 때문.

 

 

 

참고 :

https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeManager.html#Enabling_NM_Restart

https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.4/data-operating-system/content/configuring_nodemanagers_for_work-preserving_restart.html

https://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-cluster-NO_SLAVE_LEFT-FAILED_BY_MASTER.html