눈가락★

Name node is in safe mode.

에러가 났을 때

Safe Mode를 꺼주는 것으로 해결.

참고로 Name Node 가 처음 구동될 때 safe mode 가 켜지고

구동을 마치면 꺼지므로,

고의로 끄지 말고 Name Node 의 일이 마무리 될 때까지 기다리는 게 좋겠다.

위의 명령어를 통해, 패턴으로 process 를 kill 할 수 있다.

예를 들면 

test1.sh, test-eye.sh, test.sh 등 다양한 process 들을 kill 할 수 있다.

https://stackoverflow.com/questions/8987037/how-to-kill-all-processes-with-a-given-partial-name

그 외에 자세한 process kill 방법들 아래 참고.

https://bakyeono.net/post/2015-05-05-linux-kill-process-by-name.html

위의 위치에 example jar 가 있다.

map-reduce로 wordcount, grep, sort 알고리즘을 돌려볼 수 있다.

wordcount 실행 방법은

hdfs 내의 /in/ 위치에 데이터가 있어야 한다.

hdfs 내의 /out/ 위치에 결과가 들어간다.

하둡 3.1.1 을 전제로 설명한다.

etc/hadoop/mapred-site.xml 파일에 아래를 덧붙인다.

${full path of your hadoop distribution directory} 가 뭔지 모르겠다면 

$HADOOP_HOME 으로 넣어보자.

혹은

map reduce 를 돌리기 위하여 명령어를 실행할 때 혹시

hadoop WordCount.jar WordCount /in/ /out/

이런 식으로 하지 않았는지 살펴보자.

내가 위와 같이 해서 계속 에러가 났다(....)

아래처럼 jar 를 붙여줘야 제대로 된 명령어가 된다.

hadoop jar WordCount.jar WordCount /in/ /out/

참고 

http://www.lonzodb.com/?p=3926

아래 명령어로 검색할 수 있다.

find . -type f -name '*.jar' | while read LINE; do echo $LINE;jar tvf $LINE | grep "찾고자하는 클래스 이름";done

출처 : http://blog.naver.com/PostView.nhn?blogId=davelee79&logNo=140102809000