하둡을 start-all.sh로 실행시키고 jps를 통해 job을 확인해 보면 보통 아래와 같이 6가지의 job들이 조회되어야 한다.
start와 stop을 반복시키다 보면 제대로 실행되지 않을 경우가 있다.
1. start-all.sh와 stop-all.sh를 반복한다.
start 전 정상적인 stop이 이루어지지 않은 경우 hadoop이 정상 실행되지 않는 경우가 있다.
종료 후 재시작을 하면 job이 모두 뜨는 경우가 있다.
2. 로그파일을 확인한다.
logs 디렉토리의 개별 로그를 확인한다
logs 디렉토리엔 .log, .out 확장자를 가진 로그 파일이 있다.
.out 파일은 데몬 기동시 상태 정보를 출력하며, 정상적으로 완료가 되면 로깅 데이터를 truncate 처리한다.
.log 파일은 지속적으로 로깅 정보를 쌓는다.
에러 메세지를 확인하기 위해선 .log 확장자를 가진 최신 파일을 열어 error 메시지가 있는지 확인한다.
error가 있는 경우 해당 문제를 해결하여 처리한다.
3. 개별적으로 start 한다.
로그를 확인해도 문제가 없을 경우엔 데몬을 각각 실행시켜보자.
1) start-yarn.sh
Starting resourcemanager
Starting nodemanagers
2) start-dfs.sh
Starting namenodes on [localhost]
WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX.
Starting datanodes
WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX.
Starting secondary namenodes [ip-172-31-33-183.ap-northeast-2.compute.internal]
WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX.
WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX.
2020-04-02 14:27:42,466 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
이후 jps로 확인하면, resourcename 외의 job들이 떠있는 것을 확인할 수 있다.
