[Spark SQL] SQL Query 사용하는 방법

 

val df = spark.read.........

 

어찌어찌 df 를 만들었다고 하자.

 

df 에 sql query를 넣고싶다.

아래 코드를 참고/수정하여 sql query를 적용하면 된다.

 

val sqlContext = new org.apache.spark.sql.SQLContext(sc) // 여기서 sc 는 sparkContext 객체

df.registerTempTable("value") // df를 sql 내부에 "value" 라는 이름의 table 로 만든다.

val sq = sqlContext.sql("select * from value where value LIKE 'T*'") //query 를 사용한다. 여기서는 T로 시작하는 모든 row를 리턴.

 

 

 

 

참고 코드 https://www.scaleway.com/en/docs/query-data-on-s3-using-apache-spark-with-hadoop/