최신글 리스트
-
Kafka 카프카를 쿠버네티스 위에 올리는게 좋은 선택일까? 아래 포스트는 confluent 블로그 글을 토대로 제 의견과 함께 정리한 글입니다. 위 블로그글은 Gwen Shapira(하둡 애플리케이션 아키텍처, 카프카핵심가이드 저자이자 confluent PM)이 작성한 글입니다. 쿠버네티스위에 카프카를 올려야하나? 쿠버네티스를 사용하는 주요 이유 2가지는 아래와 같습니다. - 개발자와 운영자 모두에게 workflow의 효율을 높임으로서 생산성이 높아짐 - "bin packing(1개 가상/물리 장비에서 여러 a.. -
Kafka 아파치 카프카 Lag 모니터링 대시보드 만들기 kafka-lag-dashboard Kafka lag을 모니터링하는 확실한 방법 Kafka Consumer의 처리시간이 지연되면 topic 내부의 partition lag이 증가합니다. lag 모니터링을 통해 어느 partition이 lag이 증가하고 있는지, 어느 컨슈머가 문제가 있는지 확인하기 위해서는 consumer단위의 metric 모니터링으로는 해결하기 쉽지 않습니다. 그렇기 때문에 카프카 컨슈머 모니터링을 위해서는 burrow와 같은 외부 모니터링 tool 사용을 권장합니.. -
Kafka Kafka client 2.0 부터 KafkaConsumer.poll(long)은 deprecated됩니다. Kafka client 2.0부터는 KafkaConsumer.poll(long timoutMs)는 deprecated되었다. KafkaConsumer.poll(long timeoutMs)를 기존처럼 long type parameter로 사용할 경우 poll(Duration timout)으로 redirect된다. 이 수정사항은 KIP-266에 의해서 수정되었고 수정된 사유를 아래와 같이 적어보고자 한다. KafkaConsumer.poll(long) poll method는 consumer에서 빠트릴 수 없는 중요한 메서드이다. 데이터를 가져오는 역할을 하며.. -
Kafka 아파치 카프카 강의 #2 - 토픽이란? 토픽의 기능 소개 이번영상에서는 아파치 카프카 토픽에 대해서 알아보았습니다. 카프카 토픽은 데이터가 저장되는 곳인데요. 토픽은 카프카에서 가장 기본적이고 필수로 알아야 합니다. -
Kafka 아파치 카프카 강의 #1 - 소개 및 개요 빅데이터🤩에서 가장 많이 쓰이는 아파치 카프카에 대해서 알아보았습니다. 카프카는 정말 많은 기업에서 빅데이터처리에 사용하고 있습니다. -
Kafka KSQL 소개 ppt KSQL - 효과적이고 간편한 스트리밍 프로세스 SQL엔진 from Won young Choi KSQL은 스트리밍 application을 SQL 쿼리를 사용하여 만들 수 있습니다. KSQL에 대한 전반적인 내용을 슬라이드에 담아보았습니다. - Kafka environment - KSQL Examples - KSQL and stream - KSQL format - KSQL data types - KSQL architecture - KSQL 하위호환성 - Custom KSQL(UDF, UDAF) - Wh.. -
Kafka KSQL에러 extraneous input 'properties' expecting KSQL에서 stream을 생성하다가 아래와 같은 오류를 만났다. line 3:3: extraneous input 'properties' expecting {'INTEGER', 'DATE', 'TIME', 'TIMESTAMP', 'INTERVAL', 'YEAR', 'MONTH', 'DAY', 'HOUR', 'MINUTE', 'SECOND', 'ZONE', 'PARTITION', 'STRUCT', 'EXPLAIN', 'ANALYZE', 'TYPE', 'SHOW', 'TABLES', 'COLUMNS', 'COLUMN', 'PARTITIONS', 'FUNCTIONS', 'FUNCTION', 'ARRAY', 'MAP', 'SET', 'RESET', 'SESSION', 'IF'.. -
Kafka 링크드인에서 사용중인 커스텀 Kafka 공개 아래 포스트는 엔지니어 블로그를 번역하였습니다. 2019년 10월 8일 Linkedin이 엔지니어 블로그를 통해 내부에서 사용중인 kakfa를 공개하였다. blog : https://engineering.linkedin.com/blog/2019/apache-kafka-trillion-messages github : https://github.com/linkedin/kafka 아파치 카프카는 링크드인의 인프라에서 중요한 부분을 차지한다. 아파치 카프카는 처음에 in-house 스트림 프로세싱 플랫폼으로 개발하다가 오픈소.. -
Kafka Airbnb에서 Kafka의 활용 아래 포스트는 airbnb의 kafka meetup 발표내용을 토대로 정리하였습니다. youtube url : https://www.youtube.com/watch?v=-PmKeOpfE54 Kafka at Airbnb AWS에서 0.11 버젼의 kafka를 사용하고 있으며 10개 이상의 cluster과 500개 이상의 broker로 구성되어 있다. 3000개 이상의 topic들이 사용되어지고 있으며 모든 데이터의 양의 PB단위 이상이다. 아직 0.11버전이지만 다음달(2019년 11월)에는 그 이상의 버젼을 사용할 것.. -
Kafka Kafka의 KSQL 컨셉, 아키텍쳐, 용어, 커스텀 function 적용하는 방법 KSQL은 스트리밍 application을 SQL 쿼리를 사용하여 만들 수 있다. KSQL은 Kafka stream으로 만들어져 있다. KSQL은 Kafka 클러스터와 연동되는데 이는 기본적인 Kafka stream application동작구조와 동일하다. KSQL 아키텍쳐와 주변 application들 KSQL은 아래와 같은 구성요소로 이루어져 있다. KSQL 아키텍쳐 - KSQL 엔진 : KSQL 쿼리가 실행되고 있는 곳 - REST 인터페이스 : ksql 엔진에 client로 access할 수 있는 인터페.. -
DevOps Grafana와 엘라스틱서치 사용시 각종 query 조건 사용 방법(and, or, regex 등) 엘라스틱서치는 분산형 RESTful 검색 및 분석엔진이다. ELK라는 스택을 통해서 여러 데이터를 모으고 시각화하여 활용하는데 많이 쓰인다. 데이터를 모아서 Kibana로 사용하는 것도 좋지만 Grafana를 사용하면 미려한 그래프 디자인과 함께 alert기능등 여러 기능을 사용할 수 있다. 이번 포스팅에서는 엘라스틱서치와 Grafana를 사용하여 그래프를 그릴 때 Query를 사용하는 방법에 대해서 이야기해보고자 한다. 그라파나에 엘.. -
Kafka 아파치 카프카 테스트용 data generator 소개 - ksql-datagen 아파치 카프카는 대규모 분산 스트리밍 플랫폼으로서 데이터파이프라인을 만들때 주로 사용이 가능하다. 데이터파이프라인을 만듦에 있어서 어떤 용도로 어떻게 동작하는지 확인하기 위해서는 직접 consumer로 데이터를 넣어주어 producer을 개발하거나 혹은 처음엔 cli producer/consumer을 사용하여 data를 topic에 넣어준다. Confluent사에서 제공하는 ksql-datagen을 사용한다면 여러 format으로 data를 auto generate하여.. -
개발이야기 [Python서버] Django vs Flask Django, Flask모두 python에서 사용가능한 웹 프레임워크이다. Django는 MVC모델로 만들 수 있고 Flask는 micro-framework라는 특성을 가진다. Flask는 ORM을 지원하지 않지만 간단하게 서버를 만들 수 있다는 점에서 강점을 가진다. Django Django가 추구하는바는 복잡한 database기반의 서버를 간단하게 만드는 것이다. component들을 재사용하고 code를 줄이고 coupling을 줄이면서도 빠르게 개발할 수 있도록 만들어져 있다.. -
Kafka KSQL - Docker을 사용한 KSQL server, cli 설치 및 실행 KSQL은 SQL을 사용하여 Kafka topic으로 들어오는 record들에 대해 query문을 작성하여 transform하거나 aggregation등을 수행할 수 있게 만들어준다. KSQL을 작성하고 사용하기 위해서는 KSQL 서버가 반드시 필요한데, 이번 포스팅에서는 KSQL 서버를 Docker를 사용하여 설치 및 실행해보고자 한다. 1. KSQL 서버 설치 및 실행 본인의 macbook에서 docker image로 실행하기 때문에 아래와 같이 command를 실행한다. $ docker ru.. -
Kafka [빅데이터]Kafka stream과 KSQL 소개 및 설명, 차이점 출처 : slideshare-Kafka Streams vs. KSQL for Stream Processing on top of Apache Kafka Kafka는 Bigdata를 처리하고 운영함에 있어서 필수불가결하다. 이미 많은 IT기업들(카카오, 네이버 등)에서는 kafka로 동작하는 실서비스를 운영하고 있으며 그에 대한 know-how도 상당히 많이 공유되고 있다. Kafka는 단순히 produce, consumer 구조로 사용가능하지만, KSQL이나 kafka stream을 사용하여 더욱 효과적이고 유연하게 데..
해커톤 참가 후기
-
2019 SKT Ideathon 참가 후기 SKT IDEATHON 2019 Data/AI로 새로운 가치를 찾는 여정 2019년 6월 19일(수) SKT 5G 스마트오피스에서 Ideathon(이하 아이디어톤)이 열렸다. SKT의 Data/AI 역량을 기반으로한 신규 사업/BM 아이디어를 발표하는 것이 이번 아이디어톤의 주제였다. SK ICT Family(SKT, SK플래닛, SK브로드밴드 등)의 다양한 직군(개발자, 기획자, 디자이너, 사업 등)의 구성원이 골고루 팀원으로 구성되었다. 제한된 시간(12시간) 내에 어떻게 SK.. 더보기 -
홍콩 해커톤 Smartone 참가 후기 Smartone Hackathon 2018 홍콩에서 스마트한 삶을 꿈꾸다 페이스북의 '좋아요' 버튼이 사내 해커톤에서 개발되어 상용화된 사례라는 점은 이미 널리 알려진 사실이다. 페이스북이 해커톤을 통해 새로운 비즈니스 모델을 개발한 이후 IT기업들 사이에서 해커톤 개최는 일종의 트렌드로 자리잡았다. 국내에서도 우리 회사를 비롯하여 네이버, 삼성전자 등의 기업이 해마다 해커톤을 개최하고 있으며, 최근에는 그 의미가 확장되어.. 더보기
세미나 후기
-
세미나 SK ICT Tech Summit 2017 - 오프닝 및 전시회 SK ICT Tech Summit 2017 위치 : 워커힐호텔 워커힐 씨어터 날짜 : 2017년 11월 23일 다양한 전시가 진행됨. CCTV 영상 분석을 통한 범죄 감지 시스템 - 사람을 인식하여 부딪히는 척도 등을 통해 범죄여부 판단가능 영중문 11번가 - 다국어 기반의 Global 11st, 영문base의 영<->중문 SK플래닛 자체API를 통해 실시간 커머스번역으로 효과적인 커머스 시장을 선도하고 있음.
-
google io 구글 Machine Learning API 기술의 활용 - 조용균차장/강정구 대리 SPH 이번 Google I/O의 주제는 ‘인공지능 우선(AI first)’였습니다. Google은 TensorFlow를 오픈소스로 공개하고 Machine Learning API를 제공하여 인공지능 기술의 접근성을 크게 높였는데요. 로케이션 인텔리전스라는 맥락에서 머신러닝 기술이 갖는 의미는 무엇일까요? SPH R&D 팀 조용균 과장이 알아봤습니다. Context Awareness Service Google Awareness API : 위치, 날씨, 사용자 액티비티, 근처의 비콘 정보를 포함..
일상이야기
-
일상 저렴하고 사용하기 쉬운 영상편집툴 filmora9(for 개발유튜브) 유튜브 시작 - 개발블로그와 개발유튜브채널을 같이하게 되었습니다 안녕하세요. 원영's블로그를 운영하는 최원영입니다. 지난 2017년 2월 20일 "[Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라." 라는 글을 처음 작성한 이후로 2년 6개월동안 총 225개의.. blog.voidmainvoid.net 지난 포스트에서 개발 유튜브를 시작한다고 공유했는데, 유튜브에 영상을 올리기 위해서는 영상 편집이 반드시 필요하다... -
일상 유튜브 시작 - 개발블로그와 개발유튜브채널을 같이하게 되었습니다 안녕하세요. 원영's블로그를 운영하는 최원영입니다. 지난 2017년 2월 20일 "[Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라." 라는 글을 처음 작성한 이후로 2년 6개월동안 총 225개의 개발 포스팅을 작성하였습니다. 첫 포스팅 : https://blog.voidmainvoid.net/2 [Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라. 규칙 2 생성자 인자가 많을 때는 Builder 패턴 적용을 고려.. -
일상 자전거를 구입하지 않고 카카오T바이크를 타는 5가지 이유 19년 3월 9일 카카오T바이크(이하 카카오바이크)를 처음 탄 이후 20번이 넘게 자전거를 이용했고 더 이상 나의 생활과 카카오바이크는 땔수없는 필수적인 요소로 자리잡았다. 올해 초 저렇게 허접한 노랑 검정색의 자전거를 누가 탈까 생각 했던 나였지만, 이제 카카오바이크에 누구보다 빠르게 달려가서 QR코드를 찍고 탑승하는 나의 모습을 보면 사람이 이렇게 바뀔 수 있구나 생각도 든다. 판교, 분당 근처가 주 생활권인 나.. -
Hackathon 2019 SKT Ideathon 참가 후기 SKT IDEATHON 2019 Data/AI로 새로운 가치를 찾는 여정 2019년 6월 19일(수) SKT 5G 스마트오피스에서 Ideathon(이하 아이디어톤)이 열렸다. SKT의 Data/AI 역량을 기반으로한 신규 사업/BM 아이디어를 발표하는 것이 이번 아이디어톤의 주제였다. SK ICT Family(SKT, SK플래닛, SK브로드밴드 등)의 다양한 직군(개발자, 기획자, 디자이너, 사업 등)의 구성원이 골고루 팀원으로 구성되었다. 제한된 시간(12시간) 내에 어떻게 SK.. -
일상 [카카오바이크] 판교에서 고장 난 자전거 타고난 뒤 환불받은 후기 판교역에서 걸어서 23분(1.53km)이 걸리는 회사에 다니는 입장에서 카카오 T바이크는 가뭄에 단비이다. 분당지역을 중심으로 운영중인 T바이크는 카카오모빌리티에서 운영중인 서비스이다. 기본 서비스 이용시 첫 15분 미만은 기본 요금 1,000원이며, 이 후 5분당 500원의 요금이 부과되는데, 처음 듣는 사람들은 모두 이런 반응이다. 왜 그렇게 비싼거야? 환승도 안되자나? 굳이? 하지만, 판교내에 지옥같은 602-1, 602-2 만원..
