[Spark] spark context, spark session 만드는 방법

 

spark-shell 에서 알아서 만들어주는 Spark context(sc) 와 Spark session(spark) 는

 

spark-submit 에서는 어떻게 만들어서 얻어야 할까?

 

 

 

 

먼저 SparkSession 을 import 한다.

 

import org.apache.spark.sql.SparkSession

 

 

spark session 은 아래 코드를 참고하여 만든다.

 

val spark = SparkSession.builder.appName("myapp").getOrCreate()

 

spark context 는 아래 코드를 참고하여 만든다.

 

val sc = spark.sparkContext