최신 글
-
Kafka 카프카 커넥트 JMX + 로그스태시로 모니터링 하기 카프카 커넥트(분산모드)는 기본 JMX포트를 통해 커넥트 애플리케이션의 상태를 모니터링 수집 애플리케이션에 데이터를 전송할 수 있습니다. 오늘은 카프카 커넥트의 JMX포트를 열고 로그스태시로 JMX로 지표를 수집하는 방법에 대해 알아보겠습니다. 1. 카프카 커넥트 JMX포트 열기 $ export JMX_PORT=10000 우선 JMX포트를 열기위해 환경변수로 선언합니다. 2. 카프카 커넥트 실행 및 JMX 포트 확인 $ bin/connect-distribute.. -
카테고리 없음 로컬에서 엘라스틱서치, 키바나 도커로 실행하기(in macbook) 로컬에서 테스트 용도로 잠깐씩 엘라스티서치, 키바나를 도커로 띄울 니즈가 있을때가 있습니다. docker와 docker-compose를 활용하여 로컬에서 띄우는 방법을 알아봅니다. 1. 도커설치 $ brew cask install docker 도커 설치는 homebrew를 활용합니다. 2. docker-compose.yml 파일 생성 version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:6.3.2 environment: - cluster.name=docker.. -
Kafka kafka connect 로그를 logstash로 수집하기 + grok 설정(multiline) 카프카 커넥트를 운영하다보면 로그를 파일로 쌓고 + 로그스태시를 통해 엘라스틱서치에 쌓고 싶을때가 있습니다. 이를 위해 아래와 같이 설정합니다. 1. connect-log4j.properties router.logs.dir=./connect-logs log4j.rootLogger=INFO, connectAppender log4j.logger.org.apache.zookeeper=ERROR log4j.logger.org.I0Itec.zkclient=ERROR log4j.logger.org.reflections=ERROR log4j.appender.connectAppender=org.apache.log.. -
Java & Scala 인증서란? openJDK의 cacerts 설명 인증서(Certificate) 디지털 인증서라고도 부른다. 유저 -> 브라우저 또는 서버 -> 서버 간에 암호화된 연결을 수립하는데 사용된다. 인증되지 않는 사용자의 네트워크 데이터 탈취를 막기 위한 용도. SSL 인증서는 공개키 방식을 사용한다. 공개키 방식은 공개키와 비밀키 방식이 있다. 공개키 방식으로 암호화하고 비공개키로 복호화한다. 비공개키가 없으면 복호화할 수 없다. CA(Certificate authority) 인증서를 보장하는.. -
AWS openjdk의 cacert 확인 openjdk 설치 [ec2-user@ip-172-31-6-79 ~]$ sudo yum install -y java-1.8.0-openjdk-devel.x86_64 Loaded plugins: extras_suggestions, langpacks, priorities, update-motd Resolving Dependencies --> Running transaction check ---> Package java-1.8.0-openjdk-devel.x86_64 1:1.8.0.252.b09-2.amzn2.0.1 will be installed --> Processing Dependency: java-1.8.0-openjdk(x86-64) = 1:1.8.0.252.b09-2.amzn2.0.1 for p.. -
Java & Scala log4j에서 DailyRollingFileAppender 사용시 반드시 선언 순서를 지켜야한다. log4j는 properties파일을 통해 로깅 파일을 어떻게 활용할 것인지 선언할 수 있습니다. 그런데 이 파일에서 DailyRollingFileAppender를 사용할 경우 순서를 반드시 지켜야합니다. 그 순서란 아래와 같습니다. log4j.appender.outAppender=org.apache.log4j.DailyRollingFileAppender log4j.appender.outAppender.DatePattern='.'yyyy-MM-dd log4j.appender.outAppender.File=${router.logs.dir}/application.log log4j.appende.. -
카테고리 없음 파편화된 데이터 파이프라인의 문제 첫번째는 데이터 적재의 병목현상이다. 서비스의 사용자가 많아지고 애플리케이션의 복잡도가 증가하면 생성 되는 데이터 양도 기하급수적으로 늘어난다. 데이터를 데이터 레이크로 즉시 보내려고 하지만 데이터 레이크로 바로 적재하는 것은 병목현상이 발생할 수 밖에 없다. 또한 엔드 투 엔드방식의 적재로 인해 데이터 레이크로 사용하는 저장소에 장애가 발생할 경우 서비스에 영향도가 전파되어 서비스가 중단되거나 장애.. -
DevOps aws centos6에서 grafana 빌드하기 1. centos6 AMI로 instance 생성 2. root권한 획득 및 유저 변경 $ sudo passwd Changing password for user root. New password: Retype new password: passwd: all authentication tokens updated successfully. $ su root Password: 3. 관련 패키지 설치 $ yum install wget gcc gcc-c++ git 4. golang 다운로드 $ wget https://dl.google.com/go/go1.15.linux-amd64.tar.gz $ tar -C /usr/local -xvzf go1.15.linux-amd64.ta.. -
빅데이터 mac에서 하둡 hdfs 설치 및 실행하기 1. homebrew를 통해 hadoop package 설치 $ brew install hadoop hadoop이 설치된 경로는 아래와 같이 명령하여 확인할 수 있다. $ brew info hadoop hadoop: stable 3.3.0 Framework for distributed processing of large data sets https://hadoop.apache.org/ Conflicts with: yarn (because both install `yarn` binaries) /usr/local/Cellar/hadoop/hdfs (366 files, 40.9MB) Built from source /usr/local/Cellar/hadoop/3.. -
AWS EMR 노트북에서 secret manager의 비밀키 조회하기 EMR 노트북에서 pyspark를 실행하는데 암/복호화를 위해 secret manager에 암호화 키를 저장하고 조회해야하는 니즈가 있었습니다. 이를 해결하기 위해 secret manager를 사용하였고 어떤 방식으로 진행했는지 알아보겠습니다. 암호화 키를 코드에 직접 hard coding하는 방식은 보안에 매우 취약합니다. AWS를 사용하는 이상 AWS관련 컴포넌트를 활용하여 비밀 키/값을 관리하고 이를 EMR notebook에서 활용하는 방법을 알아보겠..
인기글
-
개발이야기 개발자 유튜버, 구독자 1000명 달성까지의 여정. 그리고 수익창출 2020년 3월 11일 이날은 제가 운영하고 있는 개발 유튜브(데브원영 DevWonYoung)의 구독자 1000명🎉을 달성한 날입니다. 개발관련 영상을 본격적으로 올린지 214일만인데요. 오늘 포스팅에서는 개발 유튜브를 하면서 느낀점에 대해서 이야기해보려고 합니다. 사실, 18년 여름에 Grafana를 소개하는 영상을 올린적이 있었지만 그 당시에는 편집도 서툴렀고, 어떻게 사람들에게 내용을 잘 전달할 수 있을지 크게 고민을 하지 않았.. -
Kafka AWS에 카프카 클러스터 설치하기(ec2, 3 brokers) 보통 테스트할때 맥북 또는 윈도우 컴퓨터의 1대 장비에 설치하곤하는데요. 고 가용성 테스트를 하기 위해서는 반드시 3대 이상의 클러스터를 설치해야 완벽한 카프카클러스터로서 테스트가 가능합니다. 또한 테스트가 아니더라도 운영을 위해 ec2에 설치하는 경우도 있습니다. 이번 포스트에서는 AWS에 카프카 클러스터(3대)를 설치해보겠습니다. 실행 목차 aws에 카프카 클러스터(3대)를 설치하기 위해서는 아래와 같은 단계.. -
일상 에어비엔비 CEO가 Airbnb직원들에게 보낸 메일 오늘 airbnb 전직원의 email함에는 CEO가 보내는 메일이 들어왔습니다. 현재 airbnb가 처해진 부정적인 상황과 이에 따른 조치(25% 직원 해고), 그리고 이에 따른 airbnb의 보상(지원)절차에 대한 내용입니다. Global 유니콘기업이 한순간의 상황으로 인해 1/4의 직원을 해고조치할 수 밖에 없는 상황을 자세히 공유하였습니다. 창업자로서 같이 일했던 소중한 직원을 보내야 할 수 밖에 없는 매우 슬픈 상황을 이 메일에서 확.. -
Kafka kafka exactly-once delivery를 지원하기 위한 transaction 파이프라인에서 exactly-once처리는 매우 중요합니다. 데이터 파이프라인, 마이크로서비스 파이프라인 구분할것 없이 모든 부분에서 필요한데, 카프카는 0.11.0.0 이후 버젼에 대해서 exactly-once transaction 처리를 지원합니다. 기존에는 적어도 한번 이상 처리할 수 있는 at-least-once를 지원했었는 것에 반해 엄청난 발전이라고 볼 수 있습니다. 카프카 트랜잭션을 사용하기 위한 조건은 브로커가 0.11.0.0 이후 버젼이여.. -
Kafka 카프카의 토픽 데이터를 REST api로 주고받자 - Kafka rest proxy 사용 confluent에서는 rest proxy라고 불리는 카프카 클러스터를 위한 RESTful interface application을 오픈소스로 제공하고 있습니다. 기존에 Kafka connect, Kafka client로 데이터를 전달하는 것과는 사뭇 다르게 REST api를 사용한다는점이 독특한데요. 직접 코드를 짜지 않고 범용적으로 사용되는 http을 사용해서 데이터를 넣고 뺄 수 있다는 점이 독특합니다. 오늘은 rest proxy를 local에 설치하고 실행해보겠습니다. 준비.. -
일상 MX MASTER 2s - 맥북에 알맞는 Logitech Option 옵션 설정 MX MASTER과 MX MASTER 2s를 사용하고 있습니다. 맥북을 사용하는 입장에서 이 많은 버튼을 어떻게 설정해서 사용해야 효과적일지 고민됩니다. 저는 저만의 옵션을 찾았고 아래와 같은 버튼을 기능에 mapping하여 사용중에 있습니다. 맥북을 사용하시는 분들에게 유용한 컨텐츠가 되었으면 좋겠습니다. 먼저, 마우스 기본 설정 중 상단 버튼은 아래와 같이 설정하였습니다. 휠 버튼을 클릭하게 되면 맥북의 데스크탑이 보이도록.. -
Kafka Kafka-client client.dns.lookup 옵션 정리 Kafka-client 2.1.0 이후 버젼에서는 client.dns.lookup옵션을 사용하여 dns관련 설정을 사용할 수 있습니다. 오늘 포스팅에서는 해당 옵션이 어떤 역할을 하고 어떻게 동작하는지 알아보도록 하겠습니다. 먼저, apache kafka document의 설명을 보도록 하겠습니다. client.dns.lookup document client.dns.lookup: Controls how the client uses DNS lookups. If set to use_all_dns_ips then, when the lookup.. -
책 리뷰 실리콘 벨리와 엔지니어, 유튜브 창업이야기 - [유튜브 이야기] 독후감 유튜브 창업주 중 한명인 스티브 첸의 유튜브 창업이야기를 담은 책, [유튜브 이야기]를 읽었습니다. 최근에 유튜브 개발자 채널(데브원영)을 개설하고 컨텐츠를 만들면서 유튜브라는 플랫폼이 어떻게 만들어졌는지, 유튜브 플랫폼의 미래는 무엇인지 궁금하여 찾아 본 책입니다. 유튜브 이야기 언론에 알려진 유튜브 대박의 비밀은 사실이 아니라는데…?전 재산 200달러 시작한 그가 20개월 만에 2조원을 벌었다?카드로 서버.. -
Kafka 카프카 클러스터 클러스터ip DNS 연동방법. use_all_dns_ips 사용(in AWS, route53) Kafka-client(consumer, producer)를 사용하기 위해서는 다양한 설정이 필요하지만 카프카 브로커와 통신하기 위해서는 bootstrap.servers 옵션은 반드시 필요한 옵션중 하나입니다. Bootstrap.servers 이 옵션은 카프카 클러스터에 연결하기 위해 클라이언트가 사용하는 브로커들의 host:port 목록을 설정해야 합니다. 특이한점은 모든 브로커의 host와 port를 적지 않아도 된다는 점입니다. 왜냐면 최초로 연결된 하나의 brok.. -
개발이야기 '아파치 카프카 입문' 5시간 기술 강의 회고, 느낀점, 아쉬운점 정리. 기술강의를 준비하는 분들이 봐야할 글. 지난 6월 19일(금) SK플래닛 T아카데미(서울대연구공원 단지 내 SK연구동)에서 '아파치 카프카 입문과 활용'이라는 제목으로 카프카강의를 수행하였습니다. 총 강의 시간은 5시간으로서 오후 1시부터 시작하여 오후 6시에 끝나는 꽤나 긴 시간의 강의였습니다. 오늘 포스트에서는 제가 기술 강의를 수행하기 위해 어떤 준비를 했는지, 어떤 과정을 거치고 어려운점은 무엇이었는지, 마지막으로 느낀점에 대해서 정리하겠습니다...
Hot posts
-
Kafka kafka exactly-once delivery를 지원하기 위한 transaction 파이프라인에서 exactly-once처리는 매우 중요합니다. 데이터 파이프라인, 마이크로서비스 파이프라인 구분할것 없이 모든 부분에서 필요한데, 카프카는 0.11.0.0 이후 버젼에 대해서 exactly-once transaction 처리를 지원합니다. 기존에는 적어도 한번 이상 처리할 수 있는 at-least-once를 지원했었는 것에 반해 엄청난 발전이라고 볼 수 있습니다. 카프카 트랜잭션을 사용하기 위한 조건은 브로커가 0.11.0.0 이후 버젼이여.. -
개발이야기 '아파치 카프카 입문' 5시간 기술 강의 회고, 느낀점, 아쉬운점 정리. 기술강의를 준비하는 분들이 봐야할 글. 지난 6월 19일(금) SK플래닛 T아카데미(서울대연구공원 단지 내 SK연구동)에서 '아파치 카프카 입문과 활용'이라는 제목으로 카프카강의를 수행하였습니다. 총 강의 시간은 5시간으로서 오후 1시부터 시작하여 오후 6시에 끝나는 꽤나 긴 시간의 강의였습니다. 오늘 포스트에서는 제가 기술 강의를 수행하기 위해 어떤 준비를 했는지, 어떤 과정을 거치고 어려운점은 무엇이었는지, 마지막으로 느낀점에 대해서 정리하겠습니다... -
개발이야기 개발자 유튜버, 구독자 1000명 달성까지의 여정. 그리고 수익창출 2020년 3월 11일 이날은 제가 운영하고 있는 개발 유튜브(데브원영 DevWonYoung)의 구독자 1000명🎉을 달성한 날입니다. 개발관련 영상을 본격적으로 올린지 214일만인데요. 오늘 포스팅에서는 개발 유튜브를 하면서 느낀점에 대해서 이야기해보려고 합니다. 사실, 18년 여름에 Grafana를 소개하는 영상을 올린적이 있었지만 그 당시에는 편집도 서툴렀고, 어떻게 사람들에게 내용을 잘 전달할 수 있을지 크게 고민을 하지 않았.. -
Kafka 아파치 카프카 입문과 활용 강의자료 슬라이드 강의자료 : https://www.slideshare.net/WonyoungChoi2/ss-236018398 강의코드 : https://github.com/AndersonChoi/tacademy-kafka -
Java & Scala JVM 기반 애플리케이션 운영시 스레드 덤프를 통한 이슈 해결 JVM기반 애플리케이션을 개발하다가 이슈가 생겼을때 다양한 방식으로 이슈를 확인하고 처리할 수 있습니다. 그중 한가지인 스레드 덤프를 사용하여 이슈를 해결한 사례를 공유하겠습니다. 제가 운영하고 있는 애플리케이션은 Scala로 이루어져 있고 JDK 1.8에서 돌아가는 Multithread application입니다. 카프카 컨슈머를 스레드로 작게는 10개 많게는 100개이상 띄워서 운영하고 있습니다. 이 애플리케이션은 안전하게 중지하.. -
Kafka AWS에 카프카 클러스터 설치하기(ec2, 3 brokers) 보통 테스트할때 맥북 또는 윈도우 컴퓨터의 1대 장비에 설치하곤하는데요. 고 가용성 테스트를 하기 위해서는 반드시 3대 이상의 클러스터를 설치해야 완벽한 카프카클러스터로서 테스트가 가능합니다. 또한 테스트가 아니더라도 운영을 위해 ec2에 설치하는 경우도 있습니다. 이번 포스트에서는 AWS에 카프카 클러스터(3대)를 설치해보겠습니다. 실행 목차 aws에 카프카 클러스터(3대)를 설치하기 위해서는 아래와 같은 단계.. -
Kafka AWS MSK 사용시 인스턴스 유형별 최대 토픽 개수 AWS MSK는 카프카를 SaaS형태로 사용가능한 AWS서비스중 하나입니다. 완전관리형 SaaS는 아니지만 다양한 옵션을 지정할 수 있으며, 추가적인 모니터링 도구를 제공해주기 때문에 아주 편리하게 사용할 수 있습니다. MSK에서는 총 7개의 인스턴스유형을 제공하는데, 각 인스턴스 유형별로 생성할 수 있는 토픽의 개수를 살펴보도록 하겠습니다. MSK Bestcase 문서에 따르면 적정크기의 클러스터에 대한 내용이 나와 있습니다... -
Kafka 카프카 커넥트 JMX + 로그스태시로 모니터링 하기 카프카 커넥트(분산모드)는 기본 JMX포트를 통해 커넥트 애플리케이션의 상태를 모니터링 수집 애플리케이션에 데이터를 전송할 수 있습니다. 오늘은 카프카 커넥트의 JMX포트를 열고 로그스태시로 JMX로 지표를 수집하는 방법에 대해 알아보겠습니다. 1. 카프카 커넥트 JMX포트 열기 $ export JMX_PORT=10000 우선 JMX포트를 열기위해 환경변수로 선언합니다. 2. 카프카 커넥트 실행 및 JMX 포트 확인 $ bin/connect-distribute.. -
책 리뷰 실리콘 벨리와 엔지니어, 유튜브 창업이야기 - [유튜브 이야기] 독후감 유튜브 창업주 중 한명인 스티브 첸의 유튜브 창업이야기를 담은 책, [유튜브 이야기]를 읽었습니다. 최근에 유튜브 개발자 채널(데브원영)을 개설하고 컨텐츠를 만들면서 유튜브라는 플랫폼이 어떻게 만들어졌는지, 유튜브 플랫폼의 미래는 무엇인지 궁금하여 찾아 본 책입니다. 유튜브 이야기 언론에 알려진 유튜브 대박의 비밀은 사실이 아니라는데…?전 재산 200달러 시작한 그가 20개월 만에 2조원을 벌었다?카드로 서버.. -
AWS AWS VPC지정을 위한 CIDR 형식 주소값 계산 방법 AWS에서 VPC지정을 위해 내부 사설 IP주소대역을 CIDR방식으로 지정합니다. CIDR방식을 이해하지 못하면 내부에 지정되는 사설 IP값이 어떻게 지정되는지 알지 못합니다. 이번 포스팅에서는 CIDR계산방법을 알아보겠습니다. CIDR 사이더(Classless Inter-Domain Routing, CIDR)는 클래스 없는 도메인 간 라우팅 기법으로 1993년 도입되기 시작한, 최신의 IP 주소 할당방법입니다. IPv4를 내부적으로 효율적으로 사용할 수 있도록..
