최근 Databricks와 Synapse Spark 을 다루면서, 계속 Spark을 할 일이 생겨 잠시 Ubuntu에서 설치 후 개발 테스트.
사실 워낙 가격도 비싸고 깜빡 실수하면 요금 폭탄 맞을 수도 있어서 작은 개발용 Virtual Machine에서 실행.
이번 포스팅의 코드는 CloudBreadPaPa/pyspark-koalas: pyspark and koalas dev test repo (github.com) 에서 확인 가능.
Spark, pyspark 설치 후 jupyter notebook 실행 - Ubuntu20
설치 과정은 bash script로만 실행. VM에서 설치했지만, WSL에서도 잘 동작할 것으로 예상됨.
WSL 참조 : 개발자 커뮤니티 SQLER.com - 클라우드 오픈소스 개발환경 - WSL
Spark 설치 스크립트
Ubuntu update & upgrade
sudo apt update && sudo apt upgrade -y
Java 설치
sudo apt install default-jdk # 설치 테스트 java -version
Apache Spark 다운로드 & 설치
# Spark 다운로드 wget https://www.apache.org/dyn/closer.lua/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz # 압축 풀고 옮기기 tar xvzf spark-3.0.1-bin-hadoop2.7.tgz sudo mv spark-3.0.1-bin-hadoop2.7/ /opt/spark
.bashrc 파일 맨 마지막에 environment variable 추가
sudo nano ~/.bashrc
추가할 내용
export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
bash 설정 재실행
source ~/.bashrc
Spark master 서버 시작
start-master.sh
내 경우, 원격지의 Azure VM에서 실행했기 때문에 NSG(Network Security Group)에서 8080 port를 열어주고, FQDN추가해 DNS 생성 - WSL은 문제없겠으나, 다른 보안 구성된 클라우드 등의 Ubuntu에서 하실 경우 적절한 방법으로 접근 처리 해야함.
참고링크 :
Open ports to a VM using the Azure portal - Azure Virtual Machines | Microsoft Docs
Create FQDN for a VM in the Azure portal - Azure Virtual Machines | Microsoft Docs
생성된 DNS의 8080 Web UI로 접속
http://<YOUR-VM-NAME>.southeastasia.cloudapp.azure.com:8080/
접속하면 Spark Web UI 화면 확인 가능.
위의 spark master를 확인하고, 다음 명령을 수행해 spark slave를 생성
start-slave.sh -c 1 spark://<YOUR-SPARK-MASTER>:7077
Slaver와 master를 중지하려면 각각 아래 명령 수행
stop-slave.sh stop-master.sh
Pyspark 설치 - conda 또는 pip
다음으로 수행할 부분은 conda를 이용해 Pyspark 설치하는 과정이다.
# conda를 이용해 설치 conda install -c conda-forge pyspark # pip 설치 pip install pyspark
개인적으로는 conda를 이용해 설치했다.
Jupyter notebook 설치 및 pyspark 테스트
conda 환경에서 Jupyter를 설치하고 실행.
conda install jupyter # jupyter notebook실행 jupyter notebook --ip=0.0.0.0 --port=8888
WSL 등의 환경이면 그냥 "jupyter notebook" 명령만 실행해도 가능하다.
내 경우는 Azure VM에서 notebook을 실행했고, localhost가 아닌 원격이라 VM에서 8888 port를 열어주고 위의 명령으로 실행. 생성된 URL을 복사해, VM의 FQDN으로 URL을 변경하고 실행해 접속했다.
pysql 노트북 테스트
간단한 pyspark 코드를 이용해 spark context를 가져와 테스트한다.
from pyspark import SparkContext sc = SparkContext() nums= sc.parallelize([1,2,3,4]) nums.take(1)
실행히면 spark context를 이용해 list에서 1개의 value를 잘 가져오는 것을 확인 가능하다.
이렇게 오래간만에(?) spark을 구성하고 생성했다. 버전관련해 이슈가 있었지만, 위의 과정으로 잘 처리되었다.
결론은, 역시 Databricks나 Synapse spark을 쓰자.
다음으로는 Apache Spark에서 pandas API를 제공하는 koalas와 Machine Learning - 분산 트레이닝 등의 과정을 리뷰 예정.
참고링크:
CloudBreadPaPa/pyspark-koalas: pyspark and koalas dev test repo (github.com)
How To Install Apache Spark On Ubuntu 20.04 - Linux (osradar.com)
우분투 20.04에서 Apache Spark 설치 (tistory.com)
Installing Apache Spark on Ubuntu 20.04 or 18.04 - Linux Shout (how2shout.com)
How to Install Spark on Ubuntu {Instructional guide} (phoenixnap.com)
Koalas: pandas API on Apache Spark — Koalas 1.8.1 documentation
