[Hadoop] Mapreduce WordCount 예제 실습 (하둡 3.1.2 버전)

 

AWS EC2 free teer로 Hadoop을 실행하면서 많은 문제가 발생했다.

 

Mapreduce를 이용해 wordcount를 테스트하는 작업은 환경만 제대로 주어진다면,

간단하게 종료 될 예제였지만 Exception 처리 등 생각보다 많은 시간이 소요되었다.

 

 

 

1. WordCount 실행 전 디렉토리 생성 및 파일 작업

hdfs dfs -mkdir -p /user/hadoop/input cd hadoop hdfs dfs -put LICENSE.txt /user/hadoop/input/

​

 

 

2. Mapreduce jar 파일 해제

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount input output

 

발생 가능 에러 : os::commit_memory(0x00000000f660c000, 104861696, 0) failed; error='Cannot allocate memory' (errno=12)' 에러,  'failed on connection exception' 에러

참고 포스팅 : AWS시 Cannot allocate memory 에러 해결 방법

 

 

 

 

3. 결과 확인

hdfs dfs -ls /user/hadoop/output hdfs dfs -cat /user/hadoop/output/part-r-00000