[Spark] spark-shell, spark-submit 명령어 사용법

 

< spark shell 에 들어가기 위한 명령어 >

spark-shell --master yarn

< 완성된 코드를 spark 로 돌리는 명령어 >
spark-submit --class [class 이름] --master yarn [jar file 이름].jar

예) spark-submit --class WordCount --master yarn word_count.jar

 

scala 로 작성된 코드는 sbt 를 통해 jar 로 build 가 가능하다. 여기 문서에는 적지 않는다.

sbt 로 build 된 jar 파일 이름과 class 이름을 위의 spark-submit 에 넣어주면 spark 가

해당 코드를 돌린다.

 

 

 

 

 

spark 를 시작할 때 아래처럼 각종 옵션을 넣을 수 있다.

 

spark-shell --master yarn \
--num-executors 12 --executor-memory 4g --executor-cores 2 \
--conf spark.default.parallelism=12 \
--conf spark.sql.shuffle.partitions=12

spark-submit --class WordCount --master yarn \
    --num-executors 12 --executor-memory 4g --executor-cores 2 \
    --conf spark.default.parallelism=12 \
    --conf spark.sql.shuffle.partitions=12 \
    word_count.jar

 

 

 

자세한 사용법은 아래 링크 참고

 

https://wikidocs.net/26793