반응형
카프카 커넥터를 직접 개발해야할 때가 있습니다. 이때 jar를 만들어서 카프카 커넥트에 커스텀 커넥터를 추가하곤 하는데요. 커넥터를 위한 jar을 만들때 JDK11이 아닌 JDK8 GRADLE JVM으로 반드시 빌드해야합니다.
JDK11기반 GRADLE JVM으로 빌드하면 kafka 2.6.0 기준 카프카 커넥트에서는 정상적으로 커넥터를 추가하지 못합니다.
카프카 커넥터용 우버 JAR만드는 방법
jar {
from {
configurations.compile.collect { it.isDirectory() ? it : zipTree(it) }
}
}
반응형
'빅데이터 > Kafka' 카테고리의 다른 글
아파치 카프카를 데이터 레이크로 사용할 수 있을까? (1) | 2021.02.25 |
---|---|
macOS에서 카프카 버로우 빌드 및 실행하기. (0) | 2020.11.29 |
카프카 토픽의 오프셋 최대 크기는 얼마일까? (0) | 2020.11.17 |
카프카 커넥터 빌드시 JDK11이 아닌 JDK8로 그래들 빌드해야합니다. (2) | 2020.11.02 |
failed authentication due to: Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-256 (0) | 2020.10.23 |
스프링 카프카 호환표 (1) | 2020.10.16 |
토픽의 메시지 값을 직렬화/역직렬화가 정상적으로 이루어지지 않는 경우 테스트 (0) | 2020.10.15 |
작성해 주신 글 잘 읽었습니다.
포스팅 하진 글과는 조금 동떨어진 질문이지만, 혹시 Kafka 클러스터 간 브릿지 기능도 Kafka connect를 사용하여 구현해야 하나요?
카프카 클러스터간에 데이터 전달은 미러메이커2를 주로 활용합니다.