빅데이터/하둡

macOS 로컬에서 스파크 실행하기

AndersonChoi 2021. 4. 21. 18:26

1. 다운로드

링크 : spark.apache.org/downloads

 

Downloads | Apache Spark

Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS. Note that, Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built with Scala 2.12. Spar

spark.apache.org

2. 압축풀기

저는 Documents 아래에 압축을 풀었습니다.

$ pwd
~/Documents/spark-3.1.1-bin-hadoop2.7

3. SPARK_HOME 설정

.zshrc에 SPARK_HOME을 아래와 같이 설정합니다.

$ vi ~/.zshrc
export SPARK_HOME=/Users/dvwy/Documents/spark-3.1.1-bin-hadoop2.7/bin

4. 테스트 수행

$ cd ~/Documents/spark-3.1.1-bin-hadoop2.7
$ bin/spark-submit --class org.apache.spark.examples.SparkPi \
  --master local examples/jars/spark-examples_2.12-3.1.1.jar 10

 

반응형
저작자표시 비영리 변경금지