[Kafka] standalone 설치 방법

 

간단한 기능 테스트를 위한 Kafka Standalone 설치 방법을 설명한다.

localhost 에 설치할 것이고, 각종 옵션 등의 설명은 없다.

오로지 기능 테스트를 위해 간단하게만 설치한다.

docker 를 이용하면 쉽게 설치할 수 있지만, 여기서는 그냥 local 에 곧바로 설치한다.

 

내용은 kafka quick start 를 따라간다.

kafka.apache.org/quickstart

Apache Kafka

 

 

< 환경 >

 

Ubuntu 20.04.2 LTS 64비트

java 가 local 에 1.8 이상 버전으로 설치되어 있어야 한다.

설치하는 dir 는 /home/eye/standalone 이라고 하자.

 

 

 

 

< kafka standalone >

 

kafka download : kafka.apache.org/downloads

Apache Kafka

 

원하는 버전의 binary 를 다운받는다.

나의 경우 kafka_2.13-2.7.0 버전을 받으려고 한다.

 

wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz --no-check-certificate

 

압축을 해제한다.

 

tar zxvf kafka_2.13-2.7.0.tgz

 

압축이 풀리면 kafka_2.13-2.7.0 dir 가 생긴다.

이제부터 Kafka home(KAFKA_HOME) 의 path 는 /home/eye/standalone/kafka_2.13-2.7.0 이다.

아래 설명부터, KAFKA_HOME 이라고 된 부분을

/home/eye/standalone/kafka_2.13-2.7.0 로 대체해서 생각하면 된다.

 

KAFKA_HOME/bin 으로 이동한다.

 

아래 명령어를 통해 zookeeper 를 실행한다.

 

SPARK_HOME/bin/zookeeper-server-start.sh -daemon  ../config/zookeeper.properties

 

아래 명령어를 통해 kafka 를 실행한다.

 

SPARK_HOME/bin/kafka-server-start.sh -daemon  ../config/server.properties

 

jps 명령어를 통해 아래 두 가지 process 가 떠있는지 확인한다.

 

QuorumPeerMain Kafka

 

< 기본 Kafka 명령어들 >

quick start 를 적극 참고

 

topic 생성 : 이름이 mytopic 인 topic 을 생성

 

KAFKA_HOME/bin/kafka-topics.sh --create --topic mytopic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

topic 리스트 확인

 

KAFKA_HOME/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

topic 삭제 : 이름이 mytopic 인 topic 을 삭제

 

KAFKA_HOME/bin/kafka-topics.sh --delete --topic mytopic --bootstrap-server localhost:9092

produce 하기 : 이름이 mytopic 인 topic 에 producing

 

KAFKA_HOME/bin/kafka-console-producer.sh --topic mytopic --bootstrap-server localhost:9092

consume 하기 : 이름이 mytopic 인 topic 에서 consuming

 

KAFKA_HOME/bin/kafka-console-consumer.sh --topic mytopic --from-beginning --bootstrap-server localhost:9092

 

 

아래 명령어를 통해 kafka 와 zookeeper 실행을 멈춘다.

 

SPARK_HOME/bin/kafka-server-stop.sh SPARK_HOME/bin/zookeeper-server-stop.sh

 

 

 

 

 

참고 freedeveloper.tistory.com/351