[Hadoop] HDFS(Hadoop Distributed File System) 실습

 

 

AWS EC2 Centos7 환경에서 hadoop3 설치 후 Hdfs를 시작해보자.

 

[이전 포스팅]

- AWS EC2 서버 생성

- Hadoop 설치

 

 

1. Hadoop Web Interface 접속하기

퍼블릭ip:9870 을 통해 Hadoop Web Interface에 접속한다.

[Hadoop Web Interface]

 

* 접속이 되지 않는 경우 ( 이전 포스팅 : Windows에서 AWS EC2 접속 방법)

1, 해당 port가 Inbound 규칙에 Open이 되어있는지 확인한다.

2. AWS 내에서 방화벽을 설정해둔 상태라면 해제해둔다. (Inbound, Outbound로 관리하여야 한다.)

3. 실행중인 하둡의 Default Port 버전을 확인한다. (50070->9870으로 변경)

 

 

 

2. hdfs 디렉토리 생성

hdfs dfs -mkdir /user hdfs dfs -mkdir /user/hadoop hdfs dfs -ls /user

 

* 정상 실행이 되지 않는 경우

에러 : util.NativeCodeLoader: Unable to load native-hadoop library for your platform...util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

[

[hadoop@ip-172-31-33-183 ~]$ hdfs dfs -mkdir /user 2020-03-27 15:27:08,129 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
[hadoop@ip-172-31-33-183 ~]$ hdfs dfs -mkdir /user/hadoop 2020-03-27 15:27:15,457 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
[hadoop@ip-172-31-33-183 ~]$ hdfs dfs -ls 2020-03-27 15:27:29,415 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

위와 같이 unable 경고가 뜨면 홈에 있는 .barshrc 파일에 해당 내용을 추가해준다.

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

 

 

 

3. 파일 관리

cd ~ vi test.log hdfs dfs -put test.log test.log hdfs dfs -ls hdfs dfs -cat test.log

 

web 화면 상단의 Utilities > Browse the file system 에서 /user/hadoop 디렉토리로 이동하면, 테스트한 test,log 파일을 확인 할 수 있다.

 

hdfs dfs -get test.log testGet.log

반대로 get을 이용해 hdfs의 파일을 가져올 수도 있다.

 

 

 

​