[Hadoop & Apache Spark] 하둡과 아파치 스파크-1,2

강의 기록용 포스팅입니다.

https://www.youtube.com/watch?v=hRtInGQhBxs&list=PLJlKGwy-7Ac6ASmzZPjonzYsV4vPELf0x

총 9개의 영상으로 제작된 유튜브 강의이고, 하둡과 스파크에 대한 기초지식을 배우는 것이 목표입니다.

하둡은 리눅스에서 작동하고, 윈도우를 사용하는 경우 윈도우용 리눅스를 사용할 수 있음

데비안을 사용해서 설치하고, 사용함

윈도우10을 사용하고 있어서, 마이크로소프트 스토어에서 데비안을 설치함

https://www.microsoft.com/store/productId/9MSVKQC78PK6?ocid=pdpshare

영상에서는 VMware를 사용하여 데비안을 설치함

가상머신으로 해야할까..? 고민중 영상은 가상환경으로 GUI 환경의 데비안을 설치함

but 나는 윈도우 데비안은 GUI없이 터미널 환경만 제공함

일단 윈도우 데비안 터미널을 사용해서 진행하겠음

born again shell -> bash

리눅스는 패키지 관리자를 통해서 관리함. apt

sudo apt install neofetch

neofetch는 머신에 대해 보여주는 패키지

sudo apt update

기보적인 리눅스 명령어에 대한 설명을 함

pwd, ls, nano

Hadoop 설치

1. 데비안에 새유저로 hadoop 만들기(pw:hadoop)

sudo adduser hadoop

하둡유저로 접속
su - hadoop

2. 리눅스용 hadoop 다운로드 URL을 데비안에 복사해서 설치

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz

하려니까 wget이 없어서 설치하여함 근데 하둡에 권한없음이 떠서 만든 유저에 모두 루트권한 부여함
참고: https://starseeker711.tistory.com/176

root에서 wget 설치하고, 다시 다운로드 실행

3. tar 파일에 대한 명령어 입력

tar -xzf hadoop-3.4.0.tar.gz
압축이 풀어진 것으로 폴더가 생김

cd hadoop-3.4.0/sbin/

하둡 실행을 위해선 몇가지 구성을 더 해야함

다음 비디오/포스팅에서 이어가도록 하겠습니다.