스파크1 [Spark] 스파크의 문법적 자유도, 스키마 조작, dummy 생성 이번 포스트에서 다룰 것 스파크의 다양한 문법을 소개 스키마를 정의하여 dataframe 만들기 dummy데이터 생성 아래의 링크에서 201508_trip_data.csv 파일 다운로드 후 Spark에서 Data Read https://github.com/Spidyweb-3588/python_skillup/tree/main/201508data 1. Start_Station,End_Station 컬럼을 4가지 방법으로 조회 #1. csvfile.select("Start_Station","End_Station") #2. from pyspark.sql import functions as F csvfile.select(F.col("Start_Station"),F.col("End_Station")) #3. csv.. 2022. 4. 15. 이전 1 다음
