최신 글
-
하둡 [local hadoop]localhost port 22: Connection refused 에러 발생시 해결방법 in MacOS 맥북에서 테스트를 위해 local hadoop을 띄우기 위해 테스트를 하다보면 아래와 같은 오류를 발생할 때가 있습니다. $ /usr/local/Cellar/hadoop/3.1.2/sbin/stop-all.sh WARNING: Stopping all Apache Hadoop daemons as a1003855 in 10 seconds. WARNING: Use CTRL-C to abort. Stopping namenodes on [localhost] localhost: ssh: connect to host localhost port 22: Connection refused Stopping datanodes localhost: ssh.. -
Kafka Kafka burrow 모니터링 하지 않는 consumer group 수동제거방법 Kafka burrow를 통해 모니터링 하다보면 더이상 모니터링 해도 되지 않는 consumer group이 남아있는 경우가 있습니다. 이런 경우에는 burrow의 http endpoint를 통해서 특정 consumer group을 제거하여 모니터링 대상에서 제거할 수 있습니다. 이번 포스팅에서는 어떻게 삭제하는지 알려드리도록 하겠습니다. Burrow에서 Consumer group 제거 URL path DELETE /v3/kafka/(cluster)/consumer/(group) CURL 예제 만약 cluster이.. -
AWS AWS MSK(Kafka) 실습 및 예제 코드(Java), 장단점, 가격 Amazon MSK(Managed Streaming for Apache Kafka)는 AWS에서 제공하는 완전 관리형 apache kafka 서비스입니다. 기존에 on-promise에서 사용하던 혹은 EC2로 관리하던 Apache kafka를 SaaS형태로 사용할 수 있습니다. Apache kafka의 특정 버젼을 그대로 사용할 수 있기 때문에 vanila apache kafka의 버젼별 api spec을 따라서 사용할 수 있습니다. 그럼 이번 포스트에서는 AWS MSK cluster를 직접 구성해보고, producer/consu.. -
개발이야기 티스토리 블로그에 눈⛄내리게 하기! 간단한 Javascript, html 편집 티스토리블로그는 js, css, html 등 다양한 확장기능을 가지고 있습니다. 이러한 기능을 토대로 블로그를 더욱 멋지게 꾸밀 수 있는데요. 이번 포스팅에서는 블로그에 눈이 내리게 하는 효과를 적용하는 예제를 설명드리도록 하겠습니다. 준비물 준비물은 아래와 같습니다. 약간의 웹개발 지식과 시간을 약간 가미하여 눈내리는 블로그를 만들어 봅시다. - 티스토리 블로그 - 간단한 js, html 지식 - 5분 적용방법 1) snow.js.. -
AWS AWS kinesis Data stream 실습 및 예제 코드(Java), 장단점, 가격 실시간으로 비디오 및 데이터 스트림을 손쉽게 수집, 처리 및 분석 솔루션 Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis 기능 - Kinesis Video streams : 비디오 스트림을 캡처 처리 및 저장 - Kinesis Data streams : 데이터 스트림을 캡쳐, 처리 및 저장 - Kinesis Data firehose : 데.. -
AWS AWS kinesis Firehose 실습 및 예제 코드(Java), 장단점, 가격 실시간으로 비디오 및 데이터 스트림을 손쉽게 수집, 처리 및 분석 솔루션 Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis 기능 - Kinesis Video streams : 비디오 스트림을 캡처 처리 및 저장 - Kinesis Data streams : 데이터 스트림을 캡쳐, 처리 및 저장 - Kinesis Data firehose : 데.. -
빅데이터 빅데이터에서 사용하는 포멧 종류 및 설명 빅데이터를 다루다보면 다양한 file format을 만나게 됩니다. 오늘 포스팅에서는 file format들에 대해 알아보도록 하겠습니다. Delimiter separated file 가장 많이 쓰이는 raw text기반의 구분문자로 이루어진 배열입니다. 아래와 같이 평문으로도 저장, 조회할 수 있습니다. 아래는 콤마(,)로 구분자를 지정한 CSV(comma-separated values)의 예제를 보여줍니다. 직업,이름,날짜,성별,지역 학생,David,20190204,M,USA 사업가.. -
Kafka Kafka | MirrorMaker2 가 release되었습니다. MirrorMaker 2.0은 KIP-382로 등록되어 있던 주제였으며, 2018년 10월 12일에 최초로 jira(KAFKA-7500)가 생성되었습니다. release될 때까지 약 1년이 걸렸는데요. 이번 포스팅에서는 MirrorMaker2.0이 왜 나왔고, 어떤 기능을 포함하고 있는지 살펴보겠습니다. 개발동기 MirrorMaker1은 꽤 오랜기간 사용되어 왔지만 몇가지 이슈가 있었습니다. Legacy MirrorMaker1의 문제점: - Topic들이 kafka default configuration기준으로.. -
DevOps Grafana 알람 사용시 Image Renderer 사용 이슈 정리 그라파나는 모니터링 대시보드로 많이 쓰이는 웹 애플리케이션입니다. 다양한 기능을 제공하는데 그 중 하나는 Alert기능이 있습니다. 이 기능에는 graph이미지를 추가로 전송할 수 있는데, slack, email 등에 noti를 보낼때 매우 유용하게 사용할 수 있습니다. 이미지를 전달하기 위한 Redering은 grafana의 Grafana Image Renderer플러그인이 chromium(headless browser)을 통해서 수행합니다. Grafana Image Renderer을 사.. -
유용한 사이트 Shutterstock - 2020 컬러 트렌드 셔터스톡에서 2020 컬러트랜드를 발표하였습니다. https://www.shutterstock.com/blog/trends/ko/2020-color-trends 스펙트럼은 아래와 같습니다. 러시라바 - #FF4500 아쿠아민트 - #7FFFD4 팬텀블루 - #191970 이외에도 여러 지역별 색상을 소개하였습니다. 각 컬러의 color조합을 보고싶다면 아래 링크에서 확인할 수 있습니다. https://www.shutterstock.com/colors 100s of color combinations, schemes, palettes - Shutte..
인기글
-
Kafka 카프카를 쿠버네티스 위에 올리는게 좋은 선택일까? 아래 포스트는 confluent 블로그 글을 토대로 제 의견과 함께 정리한 글입니다. 위 블로그글은 Gwen Shapira(하둡 애플리케이션 아키텍처, 카프카핵심가이드 저자이자 confluent PM)이 작성한 글입니다. 쿠버네티스위에 카프카를 올려야하나? 쿠버네티스를 사용하는 주요 이유 2가지는 아래와 같습니다. - 개발자와 운영자 모두에게 workflow의 효율을 높임으로서 생산성이 높아짐 - "bin packing(1개 가상/물리 장비에서 여러 a.. -
개발이야기 [Python서버] Django vs Flask Django, Flask모두 python에서 사용가능한 웹 프레임워크이다. Django는 MVC모델로 만들 수 있고 Flask는 micro-framework라는 특성을 가진다. Flask는 ORM을 지원하지 않지만 간단하게 서버를 만들 수 있다는 점에서 강점을 가진다. Django Django가 추구하는바는 복잡한 database기반의 서버를 간단하게 만드는 것이다. component들을 재사용하고 code를 줄이고 coupling을 줄이면서도 빠르게 개발할 수 있도록 만들어져 있다.. -
AWS AWS MSK(Kafka) 실습 및 예제 코드(Java), 장단점, 가격 Amazon MSK(Managed Streaming for Apache Kafka)는 AWS에서 제공하는 완전 관리형 apache kafka 서비스입니다. 기존에 on-promise에서 사용하던 혹은 EC2로 관리하던 Apache kafka를 SaaS형태로 사용할 수 있습니다. Apache kafka의 특정 버젼을 그대로 사용할 수 있기 때문에 vanila apache kafka의 버젼별 api spec을 따라서 사용할 수 있습니다. 그럼 이번 포스트에서는 AWS MSK cluster를 직접 구성해보고, producer/consu..
-
빅데이터 데이터파이프라인이란 무엇인가? 아래 포스팅은 DZone의 What Is a Data Pipeline? 을 번역하였습니다. url : https://dzone.com/articles/what-is-a-data-pipeline 이번 포스팅에서는 데이터파이프라인에 대해서 정의하고 데이터파이프라인을 통해 추구하는 바를 알아보고자 한다. 데이터를 효과적으로 가져오는 것은 오늘날 Data-driven enterprise의 큰 숙제이다. 데이터를 어느 한 지점에서 특정공간까지 가져오는 데에 많은 장애물들(중복 유실 등)이 있으.. -
빅데이터 Fluentd로 데이터파이프라인 구축하기 kafka→kafka→s3 Fluentd개요 fluentd는 대용량 데이터처리에 있어 input/output plugin들을 사용해서 파이프라인을 생성할 수 있다. 이 파이프라인은 데이터처리에 적합한데 다양한 플러그인을 폭넓게 개발할수 있을 뿐만아니라 제공되고 있다. fluentd는 다른 fluentd에 전달도 가능한데, 이를 통해 fluentd의 트래픽을 조정하거나 라우팅할 수도 있다. 아키텍쳐 단순성과 안정성으로 인해 많은 IT기업들에서 사용된다. 파이프라인 아키텍쳐 구.. -
Java & Scala DateTimeFormatter에서 년도표시에 yyyy대신 uuuu를 사용해야하는 이유? DateTimeFormatter는 Java에서 datetime을 표시할때 가장 많이 사용하는 코드중 하나입니다. 보통 아래와 같은 코드로 표기하여 사용하는데요. LocalDate m = LocalDate.of(2018,12,31); String str = m.format(DateTimeFormatter.ofPattern("yyyy-MM"); //2018-12 선언한 pattern에 따라 LocalDate가 변경되어 String으로 반환되는 모습을 볼 수 있습니다. 위 pattern은 아래와 같은 특징을 가지는데요. 위 특징에 따라 보통.. -
Kafka 아파치 카프카 Lag 모니터링 대시보드 만들기 kafka-lag-dashboard Kafka lag을 모니터링하는 확실한 방법 Kafka Consumer의 처리시간이 지연되면 topic 내부의 partition lag이 증가합니다. lag 모니터링을 통해 어느 partition이 lag이 증가하고 있는지, 어느 컨슈머가 문제가 있는지 확인하기 위해서는 consumer단위의 metric 모니터링으로는 해결하기 쉽지 않습니다. 그렇기 때문에 카프카 컨슈머 모니터링을 위해서는 burrow와 같은 외부 모니터링 tool 사용을 권장합니.. -
Kafka 아파치 카프카 테스트용 data generator 소개 - ksql-datagen 아파치 카프카는 대규모 분산 스트리밍 플랫폼으로서 데이터파이프라인을 만들때 주로 사용이 가능하다. 데이터파이프라인을 만듦에 있어서 어떤 용도로 어떻게 동작하는지 확인하기 위해서는 직접 consumer로 데이터를 넣어주어 producer을 개발하거나 혹은 처음엔 cli producer/consumer을 사용하여 data를 topic에 넣어준다. Confluent사에서 제공하는 ksql-datagen을 사용한다면 여러 format으로 data를 auto generate하여.. -
AWS AWS kinesis Firehose 실습 및 예제 코드(Java), 장단점, 가격 실시간으로 비디오 및 데이터 스트림을 손쉽게 수집, 처리 및 분석 솔루션 Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis 기능 - Kinesis Video streams : 비디오 스트림을 캡처 처리 및 저장 - Kinesis Data streams : 데이터 스트림을 캡쳐, 처리 및 저장 - Kinesis Data firehose : 데..
-
개발이야기 TED 자막으로 영어 공부 - 웨일확장앱 TED는 세상을 좀 더 나은 곳으로 만들기 위해 고민하는 사람들의 학술장의 중 하나입니다. TED는 여러 좋은 강의들이 많습니다. 대부분 영상이 영어자막을 지원하며 유튜브, 네이버TV 기타 여러 스트리밍에서도 무료로 볼 수 있습니다. 대부분 매우 좋은 퀄리티의 강의로서 짧으면서도 명료하기 때문에 영어공부를 겸하기에 아주 좋습니다. TED를 통해 영어자막으로 공부하려고 하다보니 반복재생이나 이미 지나간 자막에 대해서..
