batch.size
-
Kafka 튜닝, 최적화 방안Kafka 2022. 1. 10. 11:07
**이 글은 kafka3 이전 버전 기준으로 쓰여졌음을 알립니다 성능목표 이해 Kakfa는 사용하려는 서비스 목적에 따라 성능 목표를 크게 Throughput, Latency, Durability, Availability 네가지로 분류할 수 있습니다. 각 목표는 상호 trade-off 관계로 모든 목표를 동시에 모두 최적화할 수 없다. · Thoughput: kafka 특성상 많은 데이터를 빠르게 쓰는 것은 문제가 없음 · Latency: 하나의 메시지를 가능한 빠르게 전달 (producer -> broker -> consumer) · Durability: 메시지의 유실을 최소화, 이벤트 기반 마이크로서비스 또는 데이터 수집 파이프라인 · Availability: kafka 서버의 다운타임 최소화, 장애..