kafka exactly-once delivery를 지원하기 위한 transaction
2020. 7. 17.
파이프라인에서 exactly-once처리는 매우 중요합니다. 데이터 파이프라인, 마이크로서비스 파이프라인 구분할것 없이 모든 부분에서 필요한데, 카프카는 0.11.0.0 이후 버젼에 대해서 exactly-once transaction 처리를 지원합니다. 기존에는 적어도 한번 이상 처리할 수 있는 at-least-once를 지원했었는 것에 반해 엄청난 발전이라고 볼 수 있습니다. 카프카 트랜잭션을 사용하기 위한 조건은 브로커가 0.11.0.0 이후 버젼이여야하고, 클라이언트도 0.11.0.0 이후 버젼이여야 사용할 수 있습니다. 만약 클라이언트 또는 브로커 중 한개라도 0.11.0.0 보다 낮은 버젼이면 사용할 수 없습니다. 여기서 말하는 exactly-once delivery는 프로듀서부터 컨슈머까지 연..