Solution developer

Hadoop 스터디를 위해 설치한 AWS 서버가 free teer 버전이라 메모리가 1G 였다. 따라서 Hadoop 설치 후, Mapreduce의 Wordcount를 실행하려하니 아래와 같은 에러가 발생했다. 1. 에러 OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000f660c000, 104861696, 0) failed; error='Cannot allocate memory' (errno=12) # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 10486169..

AWS EC2 free teer로 Hadoop을 실행하면서 많은 문제가 발생했다. Mapreduce를 이용해 wordcount를 테스트하는 작업은 환경만 제대로 주어진다면, 간단하게 종료 될 예제였지만 Exception 처리 등 생각보다 많은 시간이 소요되었다. 1. WordCount 실행 전 디렉토리 생성 및 파일 작업 hdfs dfs -mkdir -p /user/hadoop/input cd hadoop hdfs dfs -put LICENSE.txt /user/hadoop/input/ ​ 2. Mapreduce jar 파일 해제 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount input output 발생 가능..

Hadoop 환경 구축을 위한 AWS를 구축하기로 했다. AWS Centos7 서버를 생성해보자. 1. Amazon EC2 시작하기 https://aws.amazon.com/ko/ec2/ 아마존 클라우드 서버 호스팅 | Amazon Web Services “많은 퍼블릭 클라우드를 둘러보았지만, AWS가 안정성, 보안, 서비스 다양성을 포함한 주요 기준에서 가장 높은 점수를 받았습니다.” Lawrence Fong, Cathay Pacific IT 솔루션 부장 aws.amazon.com EC2는? Amazon Elastic Compute Cloud(EC2)는 안전하고 크기 조정이 가능한 컴퓨팅 파워를 클라우드에서 제공하는 웹 서비스입니다. 개발자가 더 쉽게 웹 규모의 클라우드 컴퓨팅 작업을 할 수 있도록 설..