Hadoop
[YARN] NodeManager 재실행하면, 실행중이던 job들은 죽을까?
눈가락
2021. 7. 20. 14:12
결론부터 말하자면 옵션에 따라 죽을 수 있고 안 죽을 수 있다.
yarn.nodemanager.recovery.enabled
NodeManager 가 재실행한 이후 기존 상태를 회복(recovery) 할 수 있도록 하는 옵션.
기본값은 false 이다.
false 라면 NodeManager 가 재실행할 때 활성 Yarn container들(실행중이던 job 들)이 죽는다.
true 라면 NodeManager 가 재실행할 때 활성 Yarn container 들이 죽지 않는다.
yarn.nodemanager.recovery.dir
NodeManager 를 복구하기 위한 (NodeManager 의) 상태 정보를 저장할 로컬 file system dir 를 지정하는 옵션.
기본값은 '$hadoop.tmp.dir/yarn-nm-recovery' 이다.
yarn.nodemanager.recovery.supervised
NodeManager 가 종료될 때 현재 동작중인 Yarn container들을 정리할지 말지 정하는 옵션.
기본값은 false 이다.
false 라면 NodeManager 가 종료될 때 Yarn container들(실행중이던 job 들)이 정리된다.
true 라면 NodeManager 가 종료될 때 Yarn container들이 정리되지 않는다.
true 라는 의미는, 'NodeManager 를 잠시 종료했다가 곧바로 다시 실행'하는 상황에서 쓰이기 때문.
참고 :