스파크완벽가이드 - 1장 아파치 스파크란

1. 스파크 기능 구성

스파크 기능 구성

2. 컴퓨팅 엔진

- 스파크는 저장소 시스템의 데이터를 연산하는 역할을 수행
- 영구 저장소 역할은 수행하지 않으며 대신에 AWS S3, Hadoop, 카산드라, 카프카 등의 저장소를 지원

 

3. 스파크 설치하기

# homebrew로 설치 ( MAC )
brew install apache-spark

# spark 경로 확인
brew info apache-spark

# spark version 확인
spark-submit --version

# spark shell 실행 
pyspark
spark-shell