카프카에서 consumer를 새로 생성하여 topic에서부터 데이터를 가져오기 위해서는 여러 옵션이 필요한데 그 중 하나는 auto.offset.reset입니다다. 이 auto.offset.reset의 역할에 대해 알아보겠습니다.
아래 글은 Kafka-client, Kafka broker 2.4 기준으로 작성하였습니다.
auto.offset.reset
auto.offset.reset에서 offset은 consumer offset입니다. 만약 이번에 topic에 붙은 consumer의 offset정보가 존재하지 않는다면 auto.offset.reset의 default값(latest)이나 또는 설정한 값을 따라가게 됩니다.
auto.offset.reset
- latest : 가장 마지막 offset부터
- earliest : 가장 처음 offset부터
- none : 해당 consumer group이 가져가고자 하는 topic의 consuer offset정보가 없으면 exception을 발생시킴.
그럼 각 설정마다 consumer가 어느 topic offset부터 consuming하는지 그림과 함께 알아보도록 하겠습니다.
auto.offset.reset : latest
latest 즉, 가장 최신의 offset부터 consumer는 consuming하기 시작합니다.
auto.offset.reset : earliest
earliest 즉, 가장 빠른(consumer입장에서 보면 가장 오래된) offset부터 consuming합니다.
auto.offset.reset : none
Consuming하고자 하는 topic의 consume offset정보가 없다면 Exception이 발생됩니다.
'빅데이터 > Kafka' 카테고리의 다른 글
| AWS에 카프카 클러스터 설치하기(ec2, 3 brokers) (1) | 2020.03.18 |
|---|---|
| 카프카 버로우 = consumer lag 모니터링 오픈소스 애플리케이션 (0) | 2020.03.07 |
| 카프카 컨슈머 멀티쓰레드 애플리케이션 예제코드(for scala) (0) | 2020.02.24 |
| 카프카 장애대응 - Consumer offset 지정하기(by partition) (2) | 2020.01.31 |
| Kafka burrow 모니터링 하지 않는 consumer group 수동제거방법 (0) | 2020.01.15 |
| Kafka | MirrorMaker2 가 release되었습니다. (0) | 2019.12.18 |