728x90 Kafka2 [Kafka] docker compose 로 kafka 띄우기 docker compose 를 이용하여 kafka 로컬 환경 세팅을 쉽게 할 수 있다. docker compose 에 대해 궁금하다면? https://yonikim.tistory.com/155 kafka 와 영혼의 단짝인 zookeeper, 추가로 kafka 운영 모니터링 툴 중 하나인 akhq 까지 해서 총 3개의 서비스를 띄워볼 것이다. Kafka 와 Zookeeper 란? Kafka 와 Zookeeper 는 대규모 분산 시스템에서 메시지 브로커 및 분산 데이터 저장소를 구축하는데 사용되는 두가지 주요 서비스이다. ※ Kafka 1. 역할 kafka 는 분산 데이터 스트리밍 플랫폼으로, 대용량의 실시간 데이터를 효과적으로 처리하고 저장할 수 있다. 고성능, 내결함성, 확장성을 갖춘 메시지 브로커 역할.. 2024. 1. 8. [Kafka] 카프카란 무엇인가 카프카는(Kafka) 는 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 설계된 오픈소스 분산 이벤트 스트리밍 플랫폼이다. 카프카는 2011년 미국 링크드인(Linkedin) 에서 개발했는데, 카프카 개발 전의 링크드인 데이터 처리 시스템을 보자. 한눈에 보기에도 복잡해보인다. 각 파이프라인이 파편화되어 있고, 시스템 복잡도가 높아서 새로운 시스템을 확장하기 어려웠다. 이로 인해 새로운 시스템의 개발 필요성이 높아졌고, 아래와 같은 목표를 가지고 새로운 시스템을 개발하게 된다. 프로듀서와 컨슈머의 분리 메시징 시스템과 같이 영구 메시지 데이터를 여러 컨슈머에게 적용 높은 처리량을 위한 메시지 최적화 트래픽 증가에 따른 스케일아웃이 가능한 시스템 카프카를 적용한 후 링크드인의.. 2023. 12. 7. 이전 1 다음 728x90 반응형
