hadoop datanode가 실행 안 되는 현상

Question

네임노드 포맷할 때 Y가 아닌 y를 눌러서 그랬는지 datanode 실행이 되지 않아서

구글링을 통해 다음과 같은 정보를 얻을 수 있었습니다.

하둡을 실행하였는데 DataNode 가 실행되지 않았다.

#jps

4825 NameNode
5391 TaskTracker
5242 JobTracker
5477 Jps
5140 SecondaryNameNode

이렇게 DataNode 없이 실행될 경우 일단 log 파일을 확인하자.

하둡폴더에서

# cat /log/hadoop-root-datanode-XXX.log

2013-02-11 12:27:29,615 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-root/dfs/data: namenode namespaceID = 301052954; datanode namespaceID = 229562149
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147)
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:354)
at org.apache.hadoop.hdfs.server.datanode.DataNode.(DataNode.java:268)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1480)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1419)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1437)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1563)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1573)

확인해보니 해당 에러는 namenode namespaceID와 datanode namespaceID가 일치하지 않을 경우 발생하는 에러이다.

이 에러는 namenode -format 을 하였을 경우 주로 발생한다.

초기설치가 아닌 하둡 사용중에 namenode를 포맷하여야 하는 상황이 온다면

hdfs의 data 폴더를 지우고 다시 생성한 후, namenode를 포맷하여야 정상적으로 작동된다.

출처: http://bigmark.tistory.com/53 [마크의 맥시멈 라이프]

그래서 log파일 부터 찾으려 했는데 찾을 수 가 없고.. hdfs의 data폴더를 지우려 하는데 이 위치를 모르겠네요... 하둡버전 2.8.1 입니다

freebear · Answer

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:

라는 에러 때문에 저도 구글링을 하였으나 질문자와 같은 내용 정도 밖에 찾지 못하였고
리눅스도 하둡도 처음이라 좀 처럼 이유를 몰랐으나 이것저것 건드리다 해결한 방법을 답변하려고 합니다.
이미 4년이나 지난 질문이니 질문자 님께는 도움이 되지 않겠네요^^

위의 설명처럼 datanode 가 이전에 만들어진 데이터를 가지고 있어 namenode -format 시 namenode namespaceID와 datanode namespaceID가 일치하지 않을 경우가 발생하였습니다.

이 데이터들을 지워 주면 되는데요.

설정파일중 etc/hadoop/core-site.xml 파일에서

hadoop.tmp.dir

/home/hdoop/tmpdata

요 부분이 하둡의 임시 데이터를 저장하도록 설정된 경로 입니다.

value 값에 있는경로 (저는 /home/hdoop/tmpdata 이네요)
안의 모든 데이터를 지워주세요

또 /home/사용자이름/dfsdata 폴더 안에 datanode 라는 게 있는데 이것도 지워 주세요

그 후에 다시

hadoop namenode -format

$HADOOP_HOME/sbin/start-dfs.sh

$HADOOP_HOME/sbin/start-yarn.sh

를 다시 실행하니 !!
정상적으로 datanode 가 생성되었습니다.~~

참고 : hadoop-3.3.1 을 사용하였습니다

초오오오보 · Answer

정성스런 답변 감사합니다~!

hadoop datanode가 실행 안 되는 현상

2개의 답변

Q&A 목록