> kafka producer(broker에게 특정 topic에 대한 데이타 push)
> kafka consumer는 broker에게 특정 topic을 pull로 가져감.
아래 예시는
"로그(consumer데이타) => FILE tail => kafka producer(broker에게 전달)" 파이프 라인으로
콘솔로 consumer를 모니터링 하고 해당 데이타를 pjm1.log파일로 저장
콘솔로 pruducer로 json데이타를 broker에게 전달. 해당데이타는 무한루프 로직으로 데이타 생성함.
comsumer콘솔 :
~/kafka/logs$ ~/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic pjm1 --from-beginning > pjm1.log
producer콘솔 :
echo '[ { "name": "jinmyung", "age": 500, "secretIdentity": "Andrew", "powers": [ "Radiation resistance", "Turning tiny", "Radiation blast" ] }]' | ~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic pjm1
'빅데이타' 카테고리의 다른 글
streamsets 사용하기 (0) | 2021.11.21 |
---|---|
kafka 설치 및 실행 (0) | 2021.11.21 |