본문 바로가기

빅데이터/Kafka

카프카 버로우 = consumer lag 모니터링 오픈소스 애플리케이션

카프카 컨슈머 Lag 모니터링 필수요소

카프카 lag은 토픽의 가장 최신 오프셋과 컨슈머 오프셋간의 차이입니다. Kafka-client 라이브러리를 사용해서 Java 또는 scala와 같은 언어로 카프카 컨슈머를 구현할수 있는데요. 이때 구현한 kafkaConsumer 객체를 통해 현재 lag 정보를 가져올 수 있습니다. 만약 lag을 실시간으로 모니터링하고 싶다면 데이터를 Elasticsearch나 InfluxDB와 같은 저장소에 넣은뒤에 Grafana 대시보드를 통해 확인할 수도 있습니다.

 

Github URL

https://github.com/linkedin/Burrow

 

linkedin/Burrow

Kafka Consumer Lag Checking. Contribute to linkedin/Burrow development by creating an account on GitHub.

github.com

카프카 버로우에 대한 linkedin 블로그 포스팅

https://engineering.linkedin.com/apache-kafka/burrow-kafka-consumer-monitoring-reinvented

 

Burrow: Kafka Consumer Monitoring Reinvented

One of the responsibilities of the Data Infrastructure SRE team is to monitor the Apache Kafka infrastructure, the core pipeline for much of LinkedIn's data, in the most effective way to ensure 100% availability. We have recently developed a new method for

engineering.linkedin.com

카프카 버로우 lag evaluation rule

https://blog.voidmainvoid.net/244

 

Kafka Burrow에서 consumer의 lag을 정의하는(평가하는) 방법 - Consumer Lag Evaluation Rules

이전 포스팅(https://blog.voidmainvoid.net/243)에서 Burrow가 나오게된 배경에 대해 알아보았다. 이 포스팅에서는 burrow가 lag의 상태에 따라 상태를 정의하는 방법에 대해 알아보자. Consumer Lag Evaluation..

blog.voidmainvoid.net

 

태그