[Spark] Log Level 바꾸는 법

수정 ) 

 

spark.sparkContext.setLogLecel("INFO")

 

이런 식으로 코드 내에 직접 넣을 수 있다.

 

아래 사용한 방법은 복잡하기 때문에 위와 같이 코드 내에 삽입하는 방식으로 log level 을 바꾸는 것이 좋겠다.

 

 

 

 

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

 

 

정석적인 방법인지 아닌지는 모르겠지만, 내가 적용했었던 방법을 여기 공유한다.

 

Spark 의 log 는 log4j 를 이용하여 표시된다.

 

log4j 의 properties 를 고쳐서 log lovel 을 바꾸면,

 

log 가 나타나는 정도를 달리 볼 수 있다.

 

먼저 SPARK_HOME 으로 이동한 후 conf 안에 log4j.properties 파일을 아래와 같이 수정한다.

 

 

위에 빨간 동그라미 부분을 아래 level 중 하나로 고치면 된다.

 

TRACE
DEBUG
INFO
WARN
ERROR
FATAL

ALL

 

 

 

 

 

 

 

참고

 

https://medium.com/@iacomini.riccardo/spark-logging-configuration-in-yarn-faf5ba5fdb01

 

 

yarn 로그 보는 방법

yarn application -list 를 통해 id 를 얻은 후 아래 링크에 나온대로 명령어를 실행

https://cnpnote.tistory.com/entry/HADOOP-YARN%EC%97%90%EC%84%9C-%EC%8A%A4%ED%8C%8C%ED%81%AC%EC%9D%98-%EB%A1%9C%EA%B7%B8%EB%8A%94-%EC%96%B4%EB%94%94%EC%97%90-%EC%9E%88%EC%8A%B5%EB%8B%88%EA%B9%8C