[PySpark] 문법 예제 : expr

다음 문서를 정리한다.

sparkbyexamples.com/pyspark/pyspark-sql-expr-expression-function/

 

expr 함수를 사용하면,

- 내부에서 sql 문법을 사용할 수 있고,

- 산술 연산도 가능하며,

- 타입 변환도 가능하며,

- 또한 조건문 자리에(예를 들면 filter 함수에 들어가는 조건문) expr 을 사용하면

sql 비교연산자를 사용하여 조건문을 완성할 수 있다.

 

 

import 는 다음과 같이 한다.

 

from pyspark.sql.functions import expr

 

 

 

 

SQL 함수 사용 예제 (sql 문법 사용)

 

df.select(df.date,df.increment, expr("add_months(date,increment)") .alias("inc_date")).show()

 

 

산술 연산 예제

 

df.select(df.date, df.increment, expr("increment + 5 as new_increment") )

 

 

타입 변환 예제 : long type 을 string type 으로 바꿈

 

df.select("increment", expr("cast(increment as string) as str_increment"))

 

 

조건문에 넣는 예제

 

df = spark.createDataFrame(data).toDF("col1","col2")

df = df.filter(expr("col1 == col2"))