Solution developer

하둡에서 hdfs 명령어 실행시 아래와 같은 에러가 발생하는 경우가 있다. 에러 : util.NativeCodeLoader: Unable to load native-hadoop library for your platform...util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [hadoop@ip-172-31-33-183 ~]$ hdfs dfs -mkdir /user 2020-03-27 15:27:08,129 WARN util.NativeCodeLoader: Unable to load native-hadoop library for yo..

Hadoop 스터디를 위해 설치한 AWS 서버가 free teer 버전이라 메모리가 1G 였다. 따라서 Hadoop 설치 후, Mapreduce의 Wordcount를 실행하려하니 아래와 같은 에러가 발생했다. 1. 에러 OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000f660c000, 104861696, 0) failed; error='Cannot allocate memory' (errno=12) # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 10486169..

AWS EC2 free teer로 Hadoop을 실행하면서 많은 문제가 발생했다. Mapreduce를 이용해 wordcount를 테스트하는 작업은 환경만 제대로 주어진다면, 간단하게 종료 될 예제였지만 Exception 처리 등 생각보다 많은 시간이 소요되었다. 1. WordCount 실행 전 디렉토리 생성 및 파일 작업 hdfs dfs -mkdir -p /user/hadoop/input cd hadoop hdfs dfs -put LICENSE.txt /user/hadoop/input/ ​ 2. Mapreduce jar 파일 해제 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount input output 발생 가능..

AWS EC2 Centos7 환경에서 hadoop3 설치 후 Hdfs를 시작해보자. [이전 포스팅] - AWS EC2 서버 생성 - Hadoop 설치 1. Hadoop Web Interface 접속하기 퍼블릭ip:9870 을 통해 Hadoop Web Interface에 접속한다. * 접속이 되지 않는 경우 ( 이전 포스팅 : Windows에서 AWS EC2 접속 방법) 1, 해당 port가 Inbound 규칙에 Open이 되어있는지 확인한다. 2. AWS 내에서 방화벽을 설정해둔 상태라면 해제해둔다. (Inbound, Outbound로 관리하여야 한다.) 3. 실행중인 하둡의 Default Port 버전을 확인한다. (50070->9870으로 변경) 2. hdfs 디렉토리 생성 hdfs dfs -mkdi..

하둡 설치 후 AWS 서버에서 Jps를 통해 하둡 Job이 정상 시작한 것은 확인 할 수 있었다. 하지만 로컬(Windows)에서 Chrome과 같은 브라우저를 통해 Web 화면을 띄워 정상 시작을 확인하는 과정에서 많은 시간이 소요되었다. [문제점] 1. 방화벽 문제 2. Hadoop Default 문제 0. Hadoop job 확인 위의 해결방법을 찾아보기 전, 가장 먼저 확인해야 할 것은 Hadoop이 서버에 떠있지 않아 화면을 볼 수 없는 경우가 있으므로, jps를 통해 job이 정상 실행되고 있는지 먼저 확인한다. 1. 방화벽 문제 Windows Chrome에서 하둡 인터페이스 웹에 접근하려 했더니 계속해서 방화벽 문제가 발생했다. 검색을 하다가 centos에 방화벽을 설치하고 세팅해주었는데, ..

AWS Centos서버에 Hadoop 3.1.2 버전을 설치해보자. 이전 포스팅 : AWS 서버 생성 1. 기본 세팅 1. root계정 sudo su ​ 2. java 다운 yum install java-1.8.0-openjdk-devel.x86_64 ​ 3. 계정 생성 및 전환 adduser hadoop passwd hadoop su hadoop ​ ​ 4. SSH 설정 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost exit ​ 2. 설치 1. wget 설치 yum install wget su hadoop ..

AWS Centos7 서버를 생성하고 SSH를 통해 접속을 시도 했는데, 접속이 되지 않았다. pem 키를 ppk 형식으로 변환해주어야하는 과정이 필요하고, centos의 경우 서버 접속 전, login as 값에 centos를 입력해주어야 접속이 가능했다. 1. SSH Tool Download AWS 서버에 접속하기 위해 SSH 툴을 다운받는다. 시큐어 셸(Secure Shell, SSH)은 네트워크 상의 다른 컴퓨터에 로그인하거나 원격 시스템에서 명령을 실행하고 다른 시스템으로 파일을 복사할 수 있도록 해 주는 응용 프로그램 또는 그 프로토콜을 가리킨다. - putty - cmder - mobaXterm 구글링해보면 putty를 주로 사용하고 있어 검색 결과도 많이 나오는데, 개인적으로 mobaXte..

Hadoop 환경 구축을 위한 AWS를 구축하기로 했다. AWS Centos7 서버를 생성해보자. 1. Amazon EC2 시작하기 https://aws.amazon.com/ko/ec2/ 아마존 클라우드 서버 호스팅 | Amazon Web Services “많은 퍼블릭 클라우드를 둘러보았지만, AWS가 안정성, 보안, 서비스 다양성을 포함한 주요 기준에서 가장 높은 점수를 받았습니다.” Lawrence Fong, Cathay Pacific IT 솔루션 부장 aws.amazon.com EC2는? Amazon Elastic Compute Cloud(EC2)는 안전하고 크기 조정이 가능한 컴퓨팅 파워를 클라우드에서 제공하는 웹 서비스입니다. 개발자가 더 쉽게 웹 규모의 클라우드 컴퓨팅 작업을 할 수 있도록 설..