최신 글
-
Kafka ProducerRecord에 파티션 번호를 지정하면 어떻게 동작할까? ProducerRecord는 다양한 파라미터를 받고 그 중 파티션번호를 직접 넣어서 사용하는 경우도 있습니다. 이 때 파티션 번호를 넣으면 어떻게 동작할까요? 정답은 KafkaProducer private partition()메서드를 보면 확인할 수 있습니다. /** * computes partition for given record. * if the record has partition returns the value otherwise * calls configured partitioner class to compute the partition. */ private int pa.. -
빅데이터 프로메테우스, 그라파나 사용시 레이블 값 추출, Legend 선택, 여러 variable을 포함하는 쿼리 작성. 1. regex를 통해 프로메테우스 데이터 모델의 레이블 값 추출하기 프로메테우스의 메트릭은 아래와 같은 형태로 되어 있습니다. <메트릭 이름>{<레이블 키>=<레이블 값>, <레이블 키>=<레이블 값> ...} <메트릭 값> [ ] 그라파나의 variable에 레이블 값을 사용하고 싶을 때는 아래와 같이 설정합니다. 1) Variable 생성, 설정 2) Query Options 설정 Data source : 메트릭이 존재하는 프로메테우스 선택 Query : 메트릭 이름.. -
Kafka 카프카를 이벤트 소싱, CQRS로 사용할 수 있을까? 우선 이벤트 소싱과 CQRS에 대한 개념부터 짚고 넘어가겠습니다. 카프카에 대한 개념은 이 동영상을 참고해주세요. 이벤트 소싱 패턴 이벤트 소싱은 배치성 데이터 저장소에 현재 상태만 저장하는 것이 아니라 이벤트 브로커(전용 저장소)에 발생된 모든 이벤트 기록(레코드)들을 기록하는 것을 뜻합니다. 이를 통해 데이터 모델과 비즈니스 도메인을 동기화할 필요가 없어지고 성능, 확장성, 응답성이 향상되어 도메인 태스크를.. -
Kafka confluent-kafka-go 컨슈머를 구현하는 5가지 방법 confluent-kafka-go는 컨플루언트에서 개발하고 유지보수하는 golang기반 카프카 클라이언트입니다. github.com/confluentinc/confluent-kafka-go confluentinc/confluent-kafka-go Confluent's Apache Kafka Golang client. Contribute to confluentinc/confluent-kafka-go development by creating an account on GitHub. github.com 위 라이브러리를 사용해서 컨슈머 5가지 패턴을 구현해보겠습니다. 컨슈머 구현 사전 작업.. -
Kafka 레디슈 큐(queue), 레디스 스트림(streams), 레디스 펍섭(pub/sub) 그리고 카프카와 비교 레디스란? 레디스는 오픈소스 인 메모리 데이터 구조 저장소로서 데이터베이스, 캐시, 메시지 브로커로 역할을 수행한다. 레디스는 String, hash, lists, sets, sorted sets, bitmaps, streams등을 지원한다. 레디스 큐란? 레디스 큐는 레디스의 자료구조 중 List를 이용하여 Queue를 구현한 것이다. 큐는 FIFO(First In First Out)구조로 먼저 들어온 데이터가 먼저 처리되는 것이다. LIST자료구조의 LPUSH, RPOP(또는 RPUSH, L.. -
빅데이터 alpine telegraf 도커 생성 아래 리포지토리를 참고하여 생성하였습니다. github.com/container-examples/alpine-telegraf container-examples/alpine-telegraf Docker image Telegraf (Alpine). Contribute to container-examples/alpine-telegraf development by creating an account on GitHub. github.com FROM alpine:3.7 ENV TELEGRAF_VERSION 1.18.1 WORKDIR /scripts ADD https://dl.influxdata.com/telegraf/releases/telegraf-${TELEGRAF_VERSION.. -
개발이야기 telegraf 에러 Metric buffer overflow; 3645 metrics have been dropped Metric buffer overflow; 3645 metrics have been dropped 상기와 같이 오류가 나는 이유는 telegraf agent 내부에서 사용하는 버퍼가 모두 찼기 때문입니다. 아래와 같이 buffer를 늘려서 대응할 수 있습니다. [agent] metric_buffer_limit = 10000 관련정보 metric_buffer_limit: Maximum number of unwritten metrics per output. Increasing this value allows for longer periods of output downtime without dropping metr.. -
하둡 macOS 로컬에서 스파크 실행하기 1. 다운로드 링크 : spark.apache.org/downloads Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS. Note that, Spark 2.x is pre-built with Scala 2.11 except version 2.4.2, which is pre-built with Scala 2.12. Spar spark.apache.org 2. 압축풀기 저는 Documents 아래에 압축을 풀었습니다. $.. -
일상 자연과 함께 일하는 공간, 바이오필릭(Biophilia) 바이오필리아 가설(Biophilia hyphothesis)란? 인간은 자연과의 접점을 유지하려는 본능을 가지고 있다는 뜻. 그리고 이러한 욕구가 충족될 때 일터에서도 더 큰 활력과 의욕을 가지게 된다. 회사에 자연의 요소를 녹여 놓은 바이오필릭(biophilic, 자연 친화적) 사무실을 설계하고 원격 근무자도 외출을 장려해야한다고 강조한다. 추가적으로 가상 회의실 배경을 자연으로 꾸미는 등 세심한 배려를 전략적으로 시도할 필요가 있.. -
쿠버네티스 minikube 자주사용하는 명령어 정리 macOS에 minikube 설치 $ brew install minikube kubectl 설치 $ brew install kubectl minikube 실행 $ minikube start 대시보드 확인 $ minikube dashboard minikube 일시중지 $ minikube pause minikube 중단 $ minikube stop minikube 삭제 $ minikube delete --all 링크 : minikube.sigs.k8s.io/docs/start/
인기글
-
Kafka 스프링 카프카 호환표 Kafka Client Compatibility Spring for Apache Kafka is based on the pure java kafka-clients jar. The following is the compatibility matrix: Spring for Apache Kafka Version Spring Integration for Apache Kafka Version kafka-clients Spring Boot 2.6.0 5.3.x or 5.4.0-SNAPSHOT (pre-release) 2.6.0 2.3.x or 2.4.0-SNAPSHOT (pre-release) 2.5.x 3.3.x 2.5.0 2.3.x 2.4.x 3.2.x 2.4.1 2.2.x 2.3.x 3.2.x 2.3.1 2.. -
Kafka 카프카 커넥트 JMX + 로그스태시로 모니터링 하기 카프카 커넥트(분산모드)는 기본 JMX포트를 통해 커넥트 애플리케이션의 상태를 모니터링 수집 애플리케이션에 데이터를 전송할 수 있습니다. 오늘은 카프카 커넥트의 JMX포트를 열고 로그스태시로 JMX로 지표를 수집하는 방법에 대해 알아보겠습니다. 1. 카프카 커넥트 JMX포트 열기 $ export JMX_PORT=10000 우선 JMX포트를 열기위해 환경변수로 선언합니다. 2. 카프카 커넥트 실행 및 JMX 포트 확인 $ bin/connect-distribute.. -
AWS EC2 에 있는 파일 로컬로 다운로드 받기 EC2에 있는 파일을 로컬에 다운받기 위해 아래와 같은 절차를 진행합니다. 준비물 - EC2 가상서버 - pem파일(접속 키) 1. 파일 확인 EC2에 접속해서 다운로드할 파일을 확인합니다. $ ll test.log $ pwd /tmp 2. 파일 권한 변경 권한을 변경하여 로컬에서 가져갈수있도록 합니다. $ chomod 777 /tmp/test.log 3. scp를 사용하여 다운로드 파일이 있는 경로를 지정하여 다운로드 진행 합니다. $ scp -i genesis-test.pem centos@1.. -
Programming Language go get으로 특정 github 레포지토리의 태그 가져오기 go get을 통해 레포지토리 코드를 가져오고 해당 레포지토리의 태그를 가져오는 방법입니다. 이 방법은 golang 1.15버전을 기준으로 작성하였습니다. 1. 레포지토리 가져오기 $ go get github.com/grafana/grafana package github.com/grafana/grafana: build constraints exclude all Go files in /root/go/src/github.com/grafana/grafana 2. 디렉토리 가기 $ cd /root/go/src/github.com/grafana/grafana 3. git명령어로 체크.. -
개발책 집필 개발 서적을 집필을 시작하는 방법 2가지 최근에 개발 서적을 집필하면서 많이 물어보시는 질문 중 한가지가 집필을 어떻게 시작하게 되었느냐입니다. 책을 쓴다는 행위를 통해 책이 출판된다는 것이 알지만 어떻게 시작하는지 모르는 경우가 많아서 시작 조차 못하는 경우가 많습니다. 이 포스팅에서는 개발 서적을 집필을 시작하는 방법 2가지를 제 경험에 비추어 설명드리겠습니다. 첫번째 방법 - 관련 컨텐츠 제작 후 집필 제안 받기 저는 지난 3년 동안 데브원영 유.. -
Kafka 토픽의 메시지 값을 직렬화/역직렬화가 정상적으로 이루어지지 않는 경우 테스트 토픽의 메시지 값 또는 메시지 키는 직렬화하여 저장되어 있다. 만약 직렬화와 역직렬화 포맷이 다르면 어떻게 될까? - test 토픽 - 직렬화 : StringStringSerializer - 역직렬화 : UUIDDeserializer 의도적으로 직렬화 포맷과 역직렬화 포맷을 다르게 하여 테스트를 진행합니다. 1. 프로듀서 public class SimpleProducer { private static String TOPIC_NAME = "test"; private static String BOOTSTRAP_SERVERS = "localhost:.. -
Kafka 정말정말 간단한 스프링 카프카 컨슈머 애플리케이션 예제 스프링 카프카는 카프카를 스프링에서 쉽게 사용할 수 있도록 하는 라이브러리입니다. 스프링 카프카를 통해 컨슈머를 만드는 가장 간단한 코드를 공유합니다. 준비물 - 그래들 - 스프링부트 - 인텔리제이 디렉토리구조 ├── build.gradle ├── settings.gradle └── src └── main ├── java │ └── com │ └── test │ └── Main.java └── resources └── application.yaml build.gradle plugins.. -
Elasticsearch 엘라스틱서치에 중복 id로 값을 보내면? 엘라스틱서치에 중복id로 값을 보내면 버젼이 올라간다. $ curl --location --request PUT 'localhost:9200/books/book/2d12dd2' \ --header 'Content-Type: application/json' \ --data-raw '{ "_id":"1", "tile": "Nesoy Elastic Guide", "author": "Nesoy", "date": "2019-01-15", "pages": 250 }' { "_index": "books", "_type": "book", "_id": "2d12dd2", "_version": 2, "result": "updated", "_shards": { "total": 2, ".. -
AWS 가용영역별 지원 EC2인스턴스 확인하는 방법 Your requested instance type is not supported in your requested Availability Zone 에러는 해당 가용영역에 ec2인스턴스를 지원하지 않기 때문입니다. 이 경우에는 ec2인스턴스가 가용영역에서 지원하는지 확인해야하는데 아래 단계를 거치면 됩니다. t2.micro는 4개 가용영역에서 지원하지 않는 것을 알 수 있습니다. t3.nano, t3.micro를 비롯한 여러 인스턴스가 4개 가용영역 모두에서지원하는 것을 확인할 수 있습니.. -
Kafka Reactive를 품은 스프링 카프카 시청 정리 자료 아래 영상자료를 보고 정리한 글입니다. 1. 카프카 그리고 스프링 카프카는 현대의 메시지드리븐아키텍처의 핵심 플랫폼. 다양한 종류로 사용 가능 스프링에서 카프카를 사용하는 방법은 아주 쉬워졌음 마치 webMVC에서 request패턴 사용한것처럼 사용. 하지만 동시성문제는 어떻게 해결할까? 파티션을 나눠서 병렬처리는 가능. 리액티브프로그래밍의 본질은 어떤 대상을 Async하게 다루는 것. Async하게 다루는것을 스트림으..
728x90