Kafka

카프카를 사용하는 개발자라면 로컬 혹은 서버에서 브로커와 직접 통신을 해야 하는 경우가 있습니다. 이 때 별도 설치 없이 명령어 한 줄로 편리하게 쓸 수 있는 도구인 Kafkacat을 소개해드리겠습니다. 사용법 자세한 문법은 해당 링크를 참조하시기 바랍니다. 토픽 목록 출력 docker run --tty --interactive \ confluentinc/cp-kafkacat \ kafkacat -b kafka:9092 \ -L 토픽 메세지 컨슈밍 docker run --tty --interactive \ confluentinc/cp-kafkacat \ kafkacat -b kafka:9092 \ -t topic_name \ -C 토픽 메세지 포맷 지정 및 컨슈밍 docker run --tty --int..

이번 포스트에서는 Filebeat, Kafka, Nifi를 docker-compose로 구성하고, 데이터 스트림을 생성하는 과정을 진행해보겠습니다. 튜토리얼 방식으로, 개인 로컬 맥에서 간단하게 따라서 진행해주시면 됩니다. 데이터는 Filebeat -> Kafka -> Nifi -> Kafka 순서로 흘러가는 구조입니다. 데이터 소스로 Apache 웹 로그를 사용해 실제 환경과 같이 일정 속도로 흘러가도록 구성하고, 실시간으로 데이터 스트림이 동작하는 모습을 확인해보겠습니다. Tested on: MacOS v10.14.6 docker v19.03 docker-compose v1.24 구성하기 적당한 workspace로 이동한 뒤, Filebeat에 제공하기 위한 데이터 소스로 weblogs.log 파일을..

Strimzi - Apache Kafka on Kubernetes Strimzi provides a way to run an Apache Kafka cluster on Kubernetes in various deployment configurations. strimzi.io What is Strimzi? Strimzi는 Apache Kafka on Kubernetes and OpenShift를 목표로 운영되는 오픈소스 프로젝트입니다. 이 글은 strimzi on minikube 가이드 문서를 참고하여 맥에서 로컬 개발용 Kafka 구성 방법을 정리합니다. Local setup minikube를 실행합니다. minikube 설치는 kubernetes 공식 문서를 참고합니다. minikube start ku..