카프카 lag은 토픽의 가장 최신 오프셋과 컨슈머 오프셋간의 차이입니다. Kafka-client 라이브러리를 사용해서 Java 또는 scala와 같은 언어로 카프카 컨슈머를 구현할수 있는데요. 이때 구현한 kafkaConsumer 객체를 통해 현재 lag 정보를 가져올 수 있습니다. 만약 lag을 실시간으로 모니터링하고 싶다면 데이터를 Elasticsearch나 InfluxDB와 같은 저장소에 넣은뒤에 Grafana 대시보드를 통해 확인할 수도 있습니다.
Github URL
https://github.com/linkedin/Burrow
linkedin/Burrow
Kafka Consumer Lag Checking. Contribute to linkedin/Burrow development by creating an account on GitHub.
github.com
카프카 버로우에 대한 linkedin 블로그 포스팅
https://engineering.linkedin.com/apache-kafka/burrow-kafka-consumer-monitoring-reinvented
Burrow: Kafka Consumer Monitoring Reinvented
One of the responsibilities of the Data Infrastructure SRE team is to monitor the Apache Kafka infrastructure, the core pipeline for much of LinkedIn's data, in the most effective way to ensure 100% availability. We have recently developed a new method for
engineering.linkedin.com
카프카 버로우 lag evaluation rule
https://blog.voidmainvoid.net/244
Kafka Burrow에서 consumer의 lag을 정의하는(평가하는) 방법 - Consumer Lag Evaluation Rules
이전 포스팅(https://blog.voidmainvoid.net/243)에서 Burrow가 나오게된 배경에 대해 알아보았다. 이 포스팅에서는 burrow가 lag의 상태에 따라 상태를 정의하는 방법에 대해 알아보자. Consumer Lag Evaluation..
blog.voidmainvoid.net
'빅데이터 > Kafka' 카테고리의 다른 글
| Kafka-client client.dns.lookup 옵션 정리 (0) | 2020.04.13 |
|---|---|
| 카프카 클러스터 클러스터ip DNS 연동방법. use_all_dns_ips 사용(in AWS, route53) (0) | 2020.03.20 |
| AWS에 카프카 클러스터 설치하기(ec2, 3 brokers) (1) | 2020.03.18 |
| 카프카 컨슈머 멀티쓰레드 애플리케이션 예제코드(for scala) (0) | 2020.02.24 |
| 카프카 auto.offset.reset 종류 및 사용방법 (0) | 2020.02.06 |
| 카프카 장애대응 - Consumer offset 지정하기(by partition) (2) | 2020.01.31 |
