kafka 연동을 위한 python producer 소스/테스트 방법

 

참조원문들 : 두번째 링크는 confuluent 라이브러리를 쓰는 예제같다. 또한 c++ 프로듀서 예제도 있는듯.읽어보자.

1. https://needjarvis.tistory.com/607

2. https://www.tigiminsight.com/kafka_setup_examples

 

python consumer 예제는 다음을 참조해보자. 아직 테스트는 안해봄.

https://seulcode.tistory.com/559

 

 

 

파이썬으로 카프카를 호출하는 방법

 

1. 제이 크렙스(Jay Kreps)가 만든 회사인 confluent가 제공하는 라이브러리. C로 만들어짐.

2. 다른 하나는 kafka-python이라는 라이브러리를 사용하는 방법이다.

 

후자인 kafka-python을 범용적으로 많이 사용하는데 성능은 confluent의 라이브러리가 더 좋다.

카프카 라이브러리 설치하기

pip install kafka-python

 

 

consumer 프로그램 실행(테스트검증용)

====================================================================================

cd /opt/kafka/

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginning

 

 

producer 프로그램 실행

====================================================================================

from kafka import KafkaProducer

from json import dumps

import time

 

producer = KafkaProducer(acks=0, compression_type='gzip', bootstrap_servers=['localhost:9092'],

value_serializer=lambda x: dumps(x).encode('utf-8'))

start = time.time()

for i in range(10000):

data = {'str' : 'result'+str(i)}

producer.send('testTopic', value=data)

producer.flush()

 

print("elapsed :", time.time() - start)