[Hadoop] AWS EC2 Hadoop 설치 (Centos7)

 

AWS Centos서버에 Hadoop 3.1.2 버전을 설치해보자.

이전 포스팅 : AWS 서버 생성

 

1. 기본 세팅

 

1. root계정 sudo su ​ 2. java 다운 yum install java-1.8.0-openjdk-devel.x86_64 ​ 3. 계정 생성 및 전환 adduser hadoop passwd hadoop su hadoop ​ ​ 4. SSH 설정 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost exit ​

 

 

 

2. 설치

1. wget 설치 yum install wget su hadoop cd ~ ​ 2. hadoop 다운 및 압축 해제 wget "http://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz" tar -zxvf hadoop-3.1.2.tar.gz mv hadoop-3.1.2 hadoop ​ 3. PATH 설정 및 적용 vi ~/.bashrc [추가] -------------------------------------------------------------------------------- export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin -------------------------------------------------------------------------------- source ~/.bashrc $HADOOP_HOME ​

 

 

3. 환경파일 수정

1. 하둡 설정파일 디렉토리로 이동 /home/hadoop/hadoop/etc/hadoop ​ 2. vi hadoop-env.sh 추가 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64 ​ 3. vi core-site.xml 추가 <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> ​ 4. vi hdfs-site.xml [추가] <property> <name>dfs.replication</name> <value>1</value> </property> ​ <property> <name>dfs.name.dir</name> <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value> </property> ​ <property> <name>dfs.data.dir</name> <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value> </property> </configuration> ​ 5. vi yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

 

4. 실행

1. 버전 확인 hadoop version ​ 2. 네임노드 초기화 hdfs namenode -format ​ 3. 실행 cd /home/hadoop/hadoop/sbin ​ 4. 명령어 실행 1) 시작 명령어 dfs 시작 : ./start-dfs.sh .yarn 시작 : /start-yarn.sh 한번에 시작 : ./start-all.sh 2) 정상 동작 확인 jps