아래 명령어로 볼 수 있다.
| yarn logs -applicationId <application ID> |
application id 는 아래 명령어로 확인 가능하다.
| yarn application -list |
만약 application 을 kill 하고 싶다면 아래 명령어를 사용한다.
| yarn application -kill <application ID> |
구체적으로 보는 방법은 아래 링크 참고
https://spark.apache.org/docs/latest/running-on-yarn.html#launching-spark-on-yarn
Running Spark on YARN - Spark 2.4.4 Documentation
Running Spark on YARN Support for running on YARN (Hadoop NextGen) was added to Spark in version 0.6.0, and improved in subsequent releases. Security Security in Spark is OFF by default. This could mean you are vulnerable to attack by default. Please see S
spark.apache.org
'Hadoop' 카테고리의 다른 글
| [HDFS] slaves 노드 상에 block 위치 알아내는 명령어 (1) | 2019.11.15 |
|---|---|
| [HDFS] 관리 명령어 모음 링크 (0) | 2019.11.15 |
| [Hadoop] YARN 2.0 기본 개념 (3) | 2019.09.30 |
| [Hadoop] safe mode off 하는 방법 (2) | 2019.09.05 |
| [Hadoop] 하둡 관련 여러 정보 모아둔 블로그 링크 (0) | 2019.06.07 |