본문 바로가기

빅데이터/Kafka

카프카 auto.offset.reset 종류 및 사용방법

카프카에서 consumer를 새로 생성하여 topic에서부터 데이터를 가져오기 위해서는 여러 옵션이 필요한데 그 중 하나는 auto.offset.reset입니다다. 이 auto.offset.reset의 역할에 대해 알아보겠습니다.

아래 글은 Kafka-client, Kafka broker 2.4 기준으로 작성하였습니다.

auto.offset.reset

auto.offset.reset에서 offset은 consumer offset입니다. 만약 이번에 topic에 붙은 consumer의 offset정보가 존재하지 않는다면 auto.offset.reset의 default값(latest)이나 또는 설정한 값을 따라가게 됩니다.

 

auto.offset.reset

- latest : 가장 마지막 offset부터

- earliest : 가장 처음 offset부터

- none : 해당 consumer group이 가져가고자 하는 topic의 consuer offset정보가 없으면 exception을 발생시킴.

 

그럼 각 설정마다 consumer가 어느 topic offset부터 consuming하는지 그림과 함께 알아보도록 하겠습니다.

 

auto.offset.reset : latest

latest 즉, 가장 최신의 offset부터 consumer는 consuming하기 시작합니다. 

auto.offset.reset : earliest

earliest 즉, 가장 빠른(consumer입장에서 보면 가장 오래된) offset부터 consuming합니다.

auto.offset.reset : none

Consuming하고자 하는 topic의 consume offset정보가 없다면 Exception이 발생됩니다.

태그