apache kafka
-
Kafka 튜닝, 최적화 방안Kafka 2022. 1. 10. 11:07
**이 글은 kafka3 이전 버전 기준으로 쓰여졌음을 알립니다 성능목표 이해 Kakfa는 사용하려는 서비스 목적에 따라 성능 목표를 크게 Throughput, Latency, Durability, Availability 네가지로 분류할 수 있습니다. 각 목표는 상호 trade-off 관계로 모든 목표를 동시에 모두 최적화할 수 없다. · Thoughput: kafka 특성상 많은 데이터를 빠르게 쓰는 것은 문제가 없음 · Latency: 하나의 메시지를 가능한 빠르게 전달 (producer -> broker -> consumer) · Durability: 메시지의 유실을 최소화, 이벤트 기반 마이크로서비스 또는 데이터 수집 파이프라인 · Availability: kafka 서버의 다운타임 최소화, 장애..
-
Apache Kafka란 - 이론 공부 내용Kafka 2021. 9. 12. 00:02
카프카의 등장배경 아파치 카프카(Apache Kafka)는 미국의 대표적인 비즈니스 인맥 소셜네트워크 링크드인(LinkedIn)에서 처음 개발된 분산 메시징 시스템이다. 현재 데이터 파이프라인을 구축할 때 가장 많이 고려되는 시스템 중 하나이다. (Data Pipeline-데이터를 생성해서 무사히 저장하기까지 일련의 과정을 데이터 파이프라인이라고 한다) kafka는 비즈니스 특화 서비스인 링크드인에서 처음 출발했고, 링크드인 사이트가 급속도로 성장하면서 발생하는 내부 여러 이슈들을 해결하기 위해 탄생하였다. 위의 아키텍처처럼 링크드인의 엔드 투 엔드(End to End) 연결 방식의 아키텍처는 많은 문제점이 있었다. 첫 번째로는 실시간 트랜잭션(OLTP) 처리와 비동기 처리가 동시에 이뤄지지만 통합된 전..