Solution developer

하둡에서 hdfs 명령어 실행시 아래와 같은 에러가 발생하는 경우가 있다. 에러 : util.NativeCodeLoader: Unable to load native-hadoop library for your platform...util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [hadoop@ip-172-31-33-183 ~]$ hdfs dfs -mkdir /user 2020-03-27 15:27:08,129 WARN util.NativeCodeLoader: Unable to load native-hadoop library for yo..

하둡을 start-all.sh로 실행시키고 jps를 통해 job을 확인해 보면 보통 아래와 같이 6가지의 job들이 조회되어야 한다. start와 stop을 반복시키다 보면 제대로 실행되지 않을 경우가 있다. 1. start-all.sh와 stop-all.sh를 반복한다. start 전 정상적인 stop이 이루어지지 않은 경우 hadoop이 정상 실행되지 않는 경우가 있다. 종료 후 재시작을 하면 job이 모두 뜨는 경우가 있다. 2. 로그파일을 확인한다. logs 디렉토리의 개별 로그를 확인한다 logs 디렉토리엔 .log, .out 확장자를 가진 로그 파일이 있다. .out 파일은 데몬 기동시 상태 정보를 출력하며, 정상적으로 완료가 되면 로깅 데이터를 truncate 처리한다. .log 파일은 지속..

Hadoop 스터디를 위해 설치한 AWS 서버가 free teer 버전이라 메모리가 1G 였다. 따라서 Hadoop 설치 후, Mapreduce의 Wordcount를 실행하려하니 아래와 같은 에러가 발생했다. 1. 에러 OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000f660c000, 104861696, 0) failed; error='Cannot allocate memory' (errno=12) # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 10486169..

AWS EC2 free teer로 Hadoop을 실행하면서 많은 문제가 발생했다. Mapreduce를 이용해 wordcount를 테스트하는 작업은 환경만 제대로 주어진다면, 간단하게 종료 될 예제였지만 Exception 처리 등 생각보다 많은 시간이 소요되었다. 1. WordCount 실행 전 디렉토리 생성 및 파일 작업 hdfs dfs -mkdir -p /user/hadoop/input cd hadoop hdfs dfs -put LICENSE.txt /user/hadoop/input/ ​ 2. Mapreduce jar 파일 해제 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount input output 발생 가능..

AWS EC2 Centos7 환경에서 hadoop3 설치 후 Hdfs를 시작해보자. [이전 포스팅] - AWS EC2 서버 생성 - Hadoop 설치 1. Hadoop Web Interface 접속하기 퍼블릭ip:9870 을 통해 Hadoop Web Interface에 접속한다. * 접속이 되지 않는 경우 ( 이전 포스팅 : Windows에서 AWS EC2 접속 방법) 1, 해당 port가 Inbound 규칙에 Open이 되어있는지 확인한다. 2. AWS 내에서 방화벽을 설정해둔 상태라면 해제해둔다. (Inbound, Outbound로 관리하여야 한다.) 3. 실행중인 하둡의 Default Port 버전을 확인한다. (50070->9870으로 변경) 2. hdfs 디렉토리 생성 hdfs dfs -mkdi..

하둡 설치 후 AWS 서버에서 Jps를 통해 하둡 Job이 정상 시작한 것은 확인 할 수 있었다. 하지만 로컬(Windows)에서 Chrome과 같은 브라우저를 통해 Web 화면을 띄워 정상 시작을 확인하는 과정에서 많은 시간이 소요되었다. [문제점] 1. 방화벽 문제 2. Hadoop Default 문제 0. Hadoop job 확인 위의 해결방법을 찾아보기 전, 가장 먼저 확인해야 할 것은 Hadoop이 서버에 떠있지 않아 화면을 볼 수 없는 경우가 있으므로, jps를 통해 job이 정상 실행되고 있는지 먼저 확인한다. 1. 방화벽 문제 Windows Chrome에서 하둡 인터페이스 웹에 접근하려 했더니 계속해서 방화벽 문제가 발생했다. 검색을 하다가 centos에 방화벽을 설치하고 세팅해주었는데, ..

AWS Centos서버에 Hadoop 3.1.2 버전을 설치해보자. 이전 포스팅 : AWS 서버 생성 1. 기본 세팅 1. root계정 sudo su ​ 2. java 다운 yum install java-1.8.0-openjdk-devel.x86_64 ​ 3. 계정 생성 및 전환 adduser hadoop passwd hadoop su hadoop ​ ​ 4. SSH 설정 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost exit ​ 2. 설치 1. wget 설치 yum install wget su hadoop ..