scala 2

카프카 컨슈머 멀티쓰레드 애플리케이션 예제코드(for scala)

Kafka-client library를 사용하여 JVM위에 올라가는 consumer/producer를 작성할 수 있습니다. 이번 포스팅에서는 scala로 Kafka consumer를 멀티쓰레드로 실행하는 애플리케이션 예제 코드를 공유, 설명 드리겠습니다. 제약조건 - Kafka consumer - Multi thread(2개 이상) 지원 - Scala 코드 Scala를 실행하는 멀티쓰레드 카프카 컨슈머 애플리케이션의 파일은 크게 4개로 나뉘어져 있습니다. 먼저, Scala application을 실행하는 Main.scala와 실제로 Consumer역할을 하게 되는 Runnable Thread인 ConsumerWorker.scala, Consumer의 상태를 기록할 ConsumerStatus.scala 마..

빅데이터/Kafka 2020.02.24
scala개발시 sbt build때 GZIPInputStream: java.util.zip.ZipException: Not in GZIP format 에러나는 경우 해결책

scala를 개발할때 java와 연동되던 gradle이나 maven과는 다른형태의 build툴인 sbt를 사용한다. sbt는 simple build tool 이라는 약자를 가지고 있다고는 하지만 개인적으로 엄청 불편한거같다. 최근 sbt upgrade를 하던도중 아래와 같은 에러를 만났다. sbt 0.13.X 에서 sbt 1.X로 올리거나 그 반대의 경우 아래와 같은 에러를 만날때가 있다. 에러로그 % sbt [info] Loading global plugins from /home/smarter/.sbt/0.13/plugins [info] Updating {file:/home/smarter/.sbt/0.13/plugins/}global-plugins... [info] Resolving org.fuseso..