[Spark] executors 에 대한 자세한 설명

 

 

 

 

 

데이터노드 개수 혹은 클러스터가 사용 가능한 코어 개수 만큼 executor를 만드는 게 추천된다.

It is recommended to have as many executors as data nodes and as many cores as you can get from the cluster.

 

 

 

https://www.ibm.com/support/knowledgecenter/en/SSZU2E_2.2.1/performance_tuning/application_spark_parameters.html

 

https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-Executor.html

 

https://www.dezyre.com/article/apache-spark-architecture-explained-in-detail/338

스파크 executor task metrics 관련 문서

 

https://spark.apache.org/docs/latest/monitoring.html#executor-task-metrics