모두 영어 사이트입니다.




https://www.metaltoad.com/blog/docker-containers-clusteringorchestration


https://docs.docker.com/ee/ucp/admin/configure/set-orchestrator-type/


https://blog.docker.com/2016/06/docker-1-12-built-in-orchestration/








아래 참고.


https://github.com/Microsoft/WSL/issues/1822#issuecomment-330128322 



sudo apt-get purge mongodb-org*

  1. sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6
  2. ubuntu 16.04:
    echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list
  3. sudo apt-get update
  4. ***Not in mongo's directions: but rather something i got from reading above comments:
    sudo apt-get install mongodb 
    ***At this point the version installed by mongo is an older version... for me ie.
mongod --version                                                                                                                             
db version v2.6.10
  1. sudo apt-get install -y mongodb-org
    ***Now, everything is installed correctly
mongod --version                                                                                                                             
db version v3.4.9
git version: 876ebee8c7dd0e2d992f36a848ff4dc50ee6603e
OpenSSL version: OpenSSL 1.0.2g  1 Mar 2016
allocator: tcmalloc
modules: none
build environment:
    distmod: ubuntu1604
    distarch: x86_64
    target_arch: x86_64

  1. ***Lastly, per the op's @Zx-EvM && @aseering above states that instead of the start command of mongod you would use the following command to start mongo:
    sudo service mongodb start



그 밖에 참고할 곳

https://github.com/Microsoft/WSL/issues/796



정리가 잘 되어있길래 올립니다.


http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/





아래 사이트(영어)에서 word count code 도 볼 수 있고


이클립스로 어떻게 lib 를  import 하는지, jar 파일은 어떻게 만드는지도 스크린 샷과 함께 볼 수 있다.


https://www.dezyre.com/hadoop-tutorial/hadoop-mapreduce-wordcount-tutorial




또 다른 튜토리얼.


하둡이 어떻게 동작하는지 그림으로 설명되어 있다.


https://www.edureka.co/blog/mapreduce-tutorial/









hadoop map reduce 의 job history 를 web UI 에서 볼 수 있는 19888 포트에 접속하기 위해선


job history process 를 실행시켜야 한다.




먼저 start-all.sh 등이 있는 sbin 폴더로 이동한다.


cd &HADOOP_HOME/sbin





그리고 아래 명령어로 실행한다.


./mr-jobhistory-daemon.sh start historyserver




jps 를 통해 JobHistoryServer 가 뜨는지 확인한다.

*jps 는 java로 실행하고 있는 프로세스 목록을 보여주는 명령어.





실제로 web browser port 19888 을 통해 접속되는지 확인한다.


ex) localhost:19888
















아래와 같은 명령어를 실행할 때


 sudo docker run -dit --name master --cpu-shares 1024 --memory 10g ubuntu /bin/bash



경고가 뜨는 경우가 있음.


WARNING: Your kernel does not support swap limit capabilities or the cgroup is not mounted. Memory limited without swap. 




아래 사이트의 4번 Memory 해결 방법으로 참고하자.


https://www.joinc.co.kr/w/man/12/docker/limits 








커널 설정의 문제로 swap에 대한 제한을 지원하지 않는다는 경고문구가 뜬다.


지금 사용하는 리눅스 커널은 swap limit capabilities를 지원한다.


grub 설정을 바꾸고 재시작하자.



# vi /etc/default/grub

...

...

GRUB_CMDLINE_LINUX_DEFAULT="cgroup_enable=memory swapaccount=1"

# sudo update-grub 

# sudo reboot 




경고 메시지 없이 도커가 실행된다.



# docker run -m=200m --memory-swap=500m -it ubuntu /bin/bash

# root@3b8fe21aa4c4:/# 

 


+ Recent posts