아래 링크 들어가보면, dataframe을 만드는 다양한 방법들을 소개하고 있다.
https://sparkbyexamples.com/spark/different-ways-to-create-a-spark-dataframe/
Different ways to Create DataFrame in Spark — Spark by {Examples}
This post explains different approaches to create DataFrame ( createDataFrame() ) in Spark using Scala example, for e.g how to create DataFrame from an
sparkbyexamples.com
- Create Spark DataFrame from RDD
- Create Spark DataFrame from List and Seq collection
- Creating Spark DataFrame from CSV file
- Creating from TXT file
- Creating from JSON file
- Creating from an XML file
- Creating from HIVE
- Creating from RDBMS Database table
- Creating from HBase table
- Other sources (Avro, Parquet e.t.c)
'Spark' 카테고리의 다른 글
| [Spark3] 버전 3 새로운 기능 설명 및 링크 (0) | 2020.07.15 |
|---|---|
| [Spark] 아파치 스파크 기본 설명 링크 (0) | 2020.07.15 |
| [Spark] kafka 와 연동하는 방법 (10) | 2020.03.23 |
| [Spark Steaming] kafka 를 이용하여 Data pipeline 만들어보기 (1) | 2020.03.23 |
| [Spark Streaming] HDFS 를 이용하여 Data pipeline 만들어보기 (0) | 2020.03.20 |