최신 글
-
AWS EMR 노트북에서 secret manager의 비밀키 조회하기 EMR 노트북에서 pyspark를 실행하는데 암/복호화를 위해 secret manager에 암호화 키를 저장하고 조회해야하는 니즈가 있었습니다. 이를 해결하기 위해 secret manager를 사용하였고 어떤 방식으로 진행했는지 알아보겠습니다. 암호화 키를 코드에 직접 hard coding하는 방식은 보안에 매우 취약합니다. AWS를 사용하는 이상 AWS관련 컴포넌트를 활용하여 비밀 키/값을 관리하고 이를 EMR notebook에서 활용하는 방법을 알아보겠.. -
Java & Scala JVM 기반 애플리케이션 운영시 스레드 덤프를 통한 이슈 해결 JVM기반 애플리케이션을 개발하다가 이슈가 생겼을때 다양한 방식으로 이슈를 확인하고 처리할 수 있습니다. 그중 한가지인 스레드 덤프를 사용하여 이슈를 해결한 사례를 공유하겠습니다. 제가 운영하고 있는 애플리케이션은 Scala로 이루어져 있고 JDK 1.8에서 돌아가는 Multithread application입니다. 카프카 컨슈머를 스레드로 작게는 10개 많게는 100개이상 띄워서 운영하고 있습니다. 이 애플리케이션은 안전하게 중지하.. -
AWS AWS EMR사용시 사용자 지정 파이썬 라이브러리 설치 및 pyspark 사용 AWS EMR은 하둡관련 패키지를 AWS를 통해 설치하고 프로비져닝하는 도구입니다. 이 도구를 활용하면 매우 빠르게 hadoop, spark 등의 빅데이터 클러스터를 구축할 수 있는데요. 오늘은 이렇게 만든 EMR 클러스터에서 3rd party python library사용을 위한 설치 스크립트를 적용해보겠습니다. 저같은 경우는 pyspark를 자주 사용하는데요. pyspark사용할 경우 추가 pip3라이브러리를 사용해야할 때가 있습니다. pip3 라이브러리를.. -
AWS AWS VPC지정을 위한 CIDR 형식 주소값 계산 방법 AWS에서 VPC지정을 위해 내부 사설 IP주소대역을 CIDR방식으로 지정합니다. CIDR방식을 이해하지 못하면 내부에 지정되는 사설 IP값이 어떻게 지정되는지 알지 못합니다. 이번 포스팅에서는 CIDR계산방법을 알아보겠습니다. CIDR 사이더(Classless Inter-Domain Routing, CIDR)는 클래스 없는 도메인 간 라우팅 기법으로 1993년 도입되기 시작한, 최신의 IP 주소 할당방법입니다. IPv4를 내부적으로 효율적으로 사용할 수 있도록.. -
Kafka 스프링 카프카 메시지 리스너 2가지 구현 방법 스프링 카프카에서 메시지 리스너를 구현하는 2가지 방법이 있습니다. 첫번째는 @KafkaListener를 사용하는것이고 두번째는 listenerContainer를 Bean등록하는 것입니다. @KafkaListener로 구현 가장 간단한 방법입니다. @KafkaListener를 통해 선언할 경우 파라미터를 오버로딩해서 알맞는 listenerContainer를 자동으로 주입합니다. package com.example; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import or.. -
Kafka 카프카 컨슈머 파티셔너 종류 및 정리(2.5.0 기준) 카프카 컨슈머는 토픽의 파티션과 매칭하여 레코드를 가져옵니다. 파티션을 매칭하는 기준은 컨슈머 파티션 어사이너의 기준을 따릅니다. 컨슈머 파티션어사이너 인터페이스는 아래 링크에서 확인할 수 있습니다. https://kafka.apache.org/25/javadoc/org/apache/kafka/clients/consumer/ConsumerPartitionAssignor.html ConsumerPartitionAssignor (kafka 2.5.0 API) kafka.apache.org RangeAssignor 기본 설정되는 파티션 어.. -
Kafka 카프카 프로듀서 파티셔너 종류 및 정리(2.5.0 기준) 카프카 프로듀서는 레코드를 전송하기 위해 파티셔너를 제공합니다. 파티셔너 종류와 각 파티셔너에 대한 설명을 정리해보았습니다. 카프카 버젼이 올라감에 따라 파티셔너의 종류도 달라졌는데 여기서는 2.5.0 버젼의 파티셔너를 정리해보겠습니다. 프로듀서 파티셔너 인터페이스에 대한 설명은 아래 링크에서 확인할 수 있습니다. https://kafka.apache.org/25/javadoc/?org/apache/kafka/clients/producer/Partitioner.html k.. -
Kafka 컨슈머 스레드가 많다고 처리량이 높을까? 아닐까? 컨텍스트 스위칭으로 인한 예외 상황 오늘 카프카 컨슈머를 입수하던 도중 매우 신기한 현상을 발견해서 기록하게 되었습니다. 컨슈머스레드를 여러개로 HDFS에 적재하고 있었는데, 일부 파티션의 데이터가 0이 되어 일부 컨슈머 스레드가 쉬는동안 총 처리량이 늘어난 것입니다. 그래프를 보면서 왜 그렇게 되었는지 확인해보겠습니다. 입수 상태 - 24 core, 48G memory 물리장비 - 1 JVM application - 20 consumer thread - sync offset commit - save at Hadoop.. -
Kafka kafka connector distributed 모드로 fileSourceConnector 실행 저번 포스트에 이어 distributed로 동작하는 kafka connector를 실습해보겠습니다. https://blog.voidmainvoid.net/356 Kafka file source connector standalone 모드 실행 Kafka에는 커낵터가 있습니다. 다양한 커낵터 클래스를 사용하여 컨슈머나 프로듀서 작성 없이 source로 부터 데이터를 카프카로 보내거나 받을 수 있습니다. 오늘은 FileStreamSource를 사용해서 file을 blog.voidmainvoid.net 준비물 - 카프카 바이너리.. -
Kafka Kafka file source connector standalone 모드 실행 Kafka에는 커낵터가 있습니다. 다양한 커낵터 클래스를 사용하여 컨슈머나 프로듀서 작성 없이 source로 부터 데이터를 카프카로 보내거나 받을 수 있습니다. 오늘은 FileStreamSource를 사용해서 file을 카프카로 보내보겠습니다. 준비물 - 카프카 바이너리파일 - 카프카 클러스터 Standalone 모드 준비 Standalone모드란 1개의 프로세스로 동작하는 애플리케이션을 뜻합니다. 커낵터는 distribute모드와 standalone모드를 지원..
인기글
-
개발이야기 개발자 유튜버, 구독자 1000명 달성까지의 여정. 그리고 수익창출 2020년 3월 11일 이날은 제가 운영하고 있는 개발 유튜브(데브원영 DevWonYoung)의 구독자 1000명🎉을 달성한 날입니다. 개발관련 영상을 본격적으로 올린지 214일만인데요. 오늘 포스팅에서는 개발 유튜브를 하면서 느낀점에 대해서 이야기해보려고 합니다. 사실, 18년 여름에 Grafana를 소개하는 영상을 올린적이 있었지만 그 당시에는 편집도 서툴렀고, 어떻게 사람들에게 내용을 잘 전달할 수 있을지 크게 고민을 하지 않았.. -
Kafka AWS에 카프카 클러스터 설치하기(ec2, 3 brokers) 보통 테스트할때 맥북 또는 윈도우 컴퓨터의 1대 장비에 설치하곤하는데요. 고 가용성 테스트를 하기 위해서는 반드시 3대 이상의 클러스터를 설치해야 완벽한 카프카클러스터로서 테스트가 가능합니다. 또한 테스트가 아니더라도 운영을 위해 ec2에 설치하는 경우도 있습니다. 이번 포스트에서는 AWS에 카프카 클러스터(3대)를 설치해보겠습니다. 실행 목차 aws에 카프카 클러스터(3대)를 설치하기 위해서는 아래와 같은 단계.. -
Kafka 카프카 컨슈머 멀티쓰레드 애플리케이션 예제코드(for scala) Kafka-client library를 사용하여 JVM위에 올라가는 consumer/producer를 작성할 수 있습니다. 이번 포스팅에서는 scala로 Kafka consumer를 멀티쓰레드로 실행하는 애플리케이션 예제 코드를 공유, 설명 드리겠습니다. 제약조건 - Kafka consumer - Multi thread(2개 이상) 지원 - Scala 코드 Scala를 실행하는 멀티쓰레드 카프카 컨슈머 애플리케이션의 파일은 크게 4개로 나뉘어져 있습니다. 먼저, Scala application을 실행.. -
일상 에어비엔비 CEO가 Airbnb직원들에게 보낸 메일 오늘 airbnb 전직원의 email함에는 CEO가 보내는 메일이 들어왔습니다. 현재 airbnb가 처해진 부정적인 상황과 이에 따른 조치(25% 직원 해고), 그리고 이에 따른 airbnb의 보상(지원)절차에 대한 내용입니다. Global 유니콘기업이 한순간의 상황으로 인해 1/4의 직원을 해고조치할 수 밖에 없는 상황을 자세히 공유하였습니다. 창업자로서 같이 일했던 소중한 직원을 보내야 할 수 밖에 없는 매우 슬픈 상황을 이 메일에서 확.. -
Elasticsearch 엘라스틱서치에서 field 와 field.keyword 의 차이(text와 keyword) 엘라스틱서치와 키바나를 사용하여 데이터를 조회하다보면 아래와 같이 index pattern이 색인되어 있는것을 종종 볼 수 있습니다. field명이 그대로 나타나는 경우와 field.keyword로 나타나는 경우 입니다. 분명히 field명 key와 value(string)으로 넣었는데 둘의 차이가 무었일까요? text와 keyword 엘라스틱서치 5버전 이후로는 string type은 text와 keyword타입으로 변경되었습니다. 따로 명시적으로 mapping을 하지 않았.. -
개발이야기 NAT IP란? NAT는 Network Address Translation의 줄임말 입니다. NAT는 사설 네트워크에 속한 여러 개의 호스트가하나의 공인 IP 주소를 사용하여 인터넷에 접속하기 위해 사용합니다. 쉽게말해서 외부망과 내부망을 나눠주는 기능을 하게 되는 것입니다. NAT 특징 - 내부에서 외부로 통신 가능 - 외부에서 내부로 통신 불가 NAT 장점 - 여러 사설 네트워크를 사용함으로서 인터넷 공인 IP 주소를 절약 가능. - 사내망 IP주소를 외부로 알.. -
Kafka kafka exactly-once delivery를 지원하기 위한 transaction 파이프라인에서 exactly-once처리는 매우 중요합니다. 데이터 파이프라인, 마이크로서비스 파이프라인 구분할것 없이 모든 부분에서 필요한데, 카프카는 0.11.0.0 이후 버젼에 대해서 exactly-once transaction 처리를 지원합니다. 기존에는 적어도 한번 이상 처리할 수 있는 at-least-once를 지원했었는 것에 반해 엄청난 발전이라고 볼 수 있습니다. 카프카 트랜잭션을 사용하기 위한 조건은 브로커가 0.11.0.0 이후 버젼이여.. -
Kafka Kafka-client client.dns.lookup 옵션 정리 Kafka-client 2.1.0 이후 버젼에서는 client.dns.lookup옵션을 사용하여 dns관련 설정을 사용할 수 있습니다. 오늘 포스팅에서는 해당 옵션이 어떤 역할을 하고 어떻게 동작하는지 알아보도록 하겠습니다. 먼저, apache kafka document의 설명을 보도록 하겠습니다. client.dns.lookup document client.dns.lookup: Controls how the client uses DNS lookups. If set to use_all_dns_ips then, when the lookup.. -
Kafka 카프카의 토픽 데이터를 REST api로 주고받자 - Kafka rest proxy 사용 confluent에서는 rest proxy라고 불리는 카프카 클러스터를 위한 RESTful interface application을 오픈소스로 제공하고 있습니다. 기존에 Kafka connect, Kafka client로 데이터를 전달하는 것과는 사뭇 다르게 REST api를 사용한다는점이 독특한데요. 직접 코드를 짜지 않고 범용적으로 사용되는 http을 사용해서 데이터를 넣고 뺄 수 있다는 점이 독특합니다. 오늘은 rest proxy를 local에 설치하고 실행해보겠습니다. 준비.. -
일상 MX MASTER 2s - 맥북에 알맞는 Logitech Option 옵션 설정 MX MASTER과 MX MASTER 2s를 사용하고 있습니다. 맥북을 사용하는 입장에서 이 많은 버튼을 어떻게 설정해서 사용해야 효과적일지 고민됩니다. 저는 저만의 옵션을 찾았고 아래와 같은 버튼을 기능에 mapping하여 사용중에 있습니다. 맥북을 사용하시는 분들에게 유용한 컨텐츠가 되었으면 좋겠습니다. 먼저, 마우스 기본 설정 중 상단 버튼은 아래와 같이 설정하였습니다. 휠 버튼을 클릭하게 되면 맥북의 데스크탑이 보이도록..
Hot posts
-
Kafka kafka exactly-once delivery를 지원하기 위한 transaction 파이프라인에서 exactly-once처리는 매우 중요합니다. 데이터 파이프라인, 마이크로서비스 파이프라인 구분할것 없이 모든 부분에서 필요한데, 카프카는 0.11.0.0 이후 버젼에 대해서 exactly-once transaction 처리를 지원합니다. 기존에는 적어도 한번 이상 처리할 수 있는 at-least-once를 지원했었는 것에 반해 엄청난 발전이라고 볼 수 있습니다. 카프카 트랜잭션을 사용하기 위한 조건은 브로커가 0.11.0.0 이후 버젼이여.. -
개발이야기 '아파치 카프카 입문' 5시간 기술 강의 회고, 느낀점, 아쉬운점 정리. 기술강의를 준비하는 분들이 봐야할 글. 지난 6월 19일(금) SK플래닛 T아카데미(서울대연구공원 단지 내 SK연구동)에서 '아파치 카프카 입문과 활용'이라는 제목으로 카프카강의를 수행하였습니다. 총 강의 시간은 5시간으로서 오후 1시부터 시작하여 오후 6시에 끝나는 꽤나 긴 시간의 강의였습니다. 오늘 포스트에서는 제가 기술 강의를 수행하기 위해 어떤 준비를 했는지, 어떤 과정을 거치고 어려운점은 무엇이었는지, 마지막으로 느낀점에 대해서 정리하겠습니다... -
Kafka 아파치 카프카 입문과 활용 강의자료 슬라이드 강의자료 : https://www.slideshare.net/WonyoungChoi2/ss-236018398 강의코드 : https://github.com/AndersonChoi/tacademy-kafka -
개발이야기 개발자 유튜버, 구독자 1000명 달성까지의 여정. 그리고 수익창출 2020년 3월 11일 이날은 제가 운영하고 있는 개발 유튜브(데브원영 DevWonYoung)의 구독자 1000명🎉을 달성한 날입니다. 개발관련 영상을 본격적으로 올린지 214일만인데요. 오늘 포스팅에서는 개발 유튜브를 하면서 느낀점에 대해서 이야기해보려고 합니다. 사실, 18년 여름에 Grafana를 소개하는 영상을 올린적이 있었지만 그 당시에는 편집도 서툴렀고, 어떻게 사람들에게 내용을 잘 전달할 수 있을지 크게 고민을 하지 않았.. -
Java & Scala JVM 기반 애플리케이션 운영시 스레드 덤프를 통한 이슈 해결 JVM기반 애플리케이션을 개발하다가 이슈가 생겼을때 다양한 방식으로 이슈를 확인하고 처리할 수 있습니다. 그중 한가지인 스레드 덤프를 사용하여 이슈를 해결한 사례를 공유하겠습니다. 제가 운영하고 있는 애플리케이션은 Scala로 이루어져 있고 JDK 1.8에서 돌아가는 Multithread application입니다. 카프카 컨슈머를 스레드로 작게는 10개 많게는 100개이상 띄워서 운영하고 있습니다. 이 애플리케이션은 안전하게 중지하.. -
Java & Scala Java PermGen의 역사 오늘은 Java PermGen에 대해서 알아보겠습니다. PermGen은 JDK 1.7 이하 버젼에서 존재하였습니다. 이곳은 클래스 메타 데이터가 들어갈 곳인데, 이 공간의 크기는 예측하기가 어려웠습니다. 자바에서는 클래스의 메타데이터를 읽고 해당 메타데이터를 통해 객체를 생성할 수 있습니다. 클래스 메타데이터란? : 클래스의 이름, 생성정보, 필드정보, 메서드 정보 등 그 때문에 아래와 같은 에러가 종종 일어나곤 했습니다. java.. -
Kafka 카프카의 토픽 데이터를 REST api로 주고받자 - Kafka rest proxy 사용 confluent에서는 rest proxy라고 불리는 카프카 클러스터를 위한 RESTful interface application을 오픈소스로 제공하고 있습니다. 기존에 Kafka connect, Kafka client로 데이터를 전달하는 것과는 사뭇 다르게 REST api를 사용한다는점이 독특한데요. 직접 코드를 짜지 않고 범용적으로 사용되는 http을 사용해서 데이터를 넣고 뺄 수 있다는 점이 독특합니다. 오늘은 rest proxy를 local에 설치하고 실행해보겠습니다. 준비.. -
Kafka Kafka-client client.dns.lookup 옵션 정리 Kafka-client 2.1.0 이후 버젼에서는 client.dns.lookup옵션을 사용하여 dns관련 설정을 사용할 수 있습니다. 오늘 포스팅에서는 해당 옵션이 어떤 역할을 하고 어떻게 동작하는지 알아보도록 하겠습니다. 먼저, apache kafka document의 설명을 보도록 하겠습니다. client.dns.lookup document client.dns.lookup: Controls how the client uses DNS lookups. If set to use_all_dns_ips then, when the lookup.. -
AWS EMR 노트북에서 secret manager의 비밀키 조회하기 EMR 노트북에서 pyspark를 실행하는데 암/복호화를 위해 secret manager에 암호화 키를 저장하고 조회해야하는 니즈가 있었습니다. 이를 해결하기 위해 secret manager를 사용하였고 어떤 방식으로 진행했는지 알아보겠습니다. 암호화 키를 코드에 직접 hard coding하는 방식은 보안에 매우 취약합니다. AWS를 사용하는 이상 AWS관련 컴포넌트를 활용하여 비밀 키/값을 관리하고 이를 EMR notebook에서 활용하는 방법을 알아보겠.. -
Kafka Kafka-client 사용시 Failed to load class "org.slf4j.impl.StaticLoggerBinder" 에러 해결 방법 kafka-client를 java application에 추가하여 실행하면 아래와 같은 오류와 함께 log가 정상적으로 찍히지 않습니다. SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. 위 에러는 slf4j의 디펜던시 이슈로 StaticLoggerBinder가 없어서 그런것인데요. 아..
