최신글 리스트
-
Kafka Kafka의 KSQL 컨셉, 아키텍쳐, 용어, 커스텀 function 적용하는 방법 KSQL은 스트리밍 application을 SQL 쿼리를 사용하여 만들 수 있다. KSQL은 Kafka stream으로 만들어져 있다. KSQL은 Kafka 클러스터와 연동되는데 이는 기본적인 Kafka stream application동작구조와 동일하다. KSQL 아키텍쳐와 주변 application들 KSQL은 아래와 같은 구성요소로 이루어져 있다. KSQL 아키텍쳐 - KSQL 엔진 : KSQL 쿼리가 실행되고 있는 곳 - REST 인터페이스 : ksql 엔진에 client로 access할 수 있는 인터페.. -
DevOps Grafana와 엘라스틱서치 사용시 각종 query 조건 사용 방법(and, or, regex 등) 엘라스틱서치는 분산형 RESTful 검색 및 분석엔진이다. ELK라는 스택을 통해서 여러 데이터를 모으고 시각화하여 활용하는데 많이 쓰인다. 데이터를 모아서 Kibana로 사용하는 것도 좋지만 Grafana를 사용하면 미려한 그래프 디자인과 함께 alert기능등 여러 기능을 사용할 수 있다. 이번 포스팅에서는 엘라스틱서치와 Grafana를 사용하여 그래프를 그릴 때 Query를 사용하는 방법에 대해서 이야기해보고자 한다. 그라파나에 엘.. -
Kafka 아파치 카프카 테스트용 data generator 소개 - ksql-datagen 아파치 카프카는 대규모 분산 스트리밍 플랫폼으로서 데이터파이프라인을 만들때 주로 사용이 가능하다. 데이터파이프라인을 만듦에 있어서 어떤 용도로 어떻게 동작하는지 확인하기 위해서는 직접 consumer로 데이터를 넣어주어 producer을 개발하거나 혹은 처음엔 cli producer/consumer을 사용하여 data를 topic에 넣어준다. Confluent사에서 제공하는 ksql-datagen을 사용한다면 여러 format으로 data를 auto generate하여.. -
개발이야기 [Python서버] Django vs Flask Django, Flask모두 python에서 사용가능한 웹 프레임워크이다. Django는 MVC모델로 만들 수 있고 Flask는 micro-framework라는 특성을 가진다. Flask는 ORM을 지원하지 않지만 간단하게 서버를 만들 수 있다는 점에서 강점을 가진다. Django Django가 추구하는바는 복잡한 database기반의 서버를 간단하게 만드는 것이다. component들을 재사용하고 code를 줄이고 coupling을 줄이면서도 빠르게 개발할 수 있도록 만들어져 있다.. -
Kafka KSQL - Docker을 사용한 KSQL server, cli 설치 및 실행 KSQL은 SQL을 사용하여 Kafka topic으로 들어오는 record들에 대해 query문을 작성하여 transform하거나 aggregation등을 수행할 수 있게 만들어준다. KSQL을 작성하고 사용하기 위해서는 KSQL 서버가 반드시 필요한데, 이번 포스팅에서는 KSQL 서버를 Docker를 사용하여 설치 및 실행해보고자 한다. 1. KSQL 서버 설치 및 실행 본인의 macbook에서 docker image로 실행하기 때문에 아래와 같이 command를 실행한다. $ docker ru..
해커톤 참가 후기
-
2019 SKT Ideathon 참가 후기 SKT IDEATHON 2019 Data/AI로 새로운 가치를 찾는 여정 2019년 6월 19일(수) SKT 5G 스마트오피스에서 Ideathon(이하 아이디어톤)이 열렸다. SKT의 Data/AI 역량을 기반으로한 신규 사업/BM 아이디어를 발표하는 것이 이번 아이디어톤의 주제였다. SK ICT Family(SKT, SK플래닛, SK브로드밴드 등)의 다양한 직군(개발자, 기획자, 디자이너, 사업 등)의 구성원이 골고루 팀원으로 구성되었다. 제한된 시간(12시간) 내에 어떻게 SK.. 더보기 -
홍콩 해커톤 Smartone 참가 후기 Smartone Hackathon 2018 홍콩에서 스마트한 삶을 꿈꾸다 페이스북의 '좋아요' 버튼이 사내 해커톤에서 개발되어 상용화된 사례라는 점은 이미 널리 알려진 사실이다. 페이스북이 해커톤을 통해 새로운 비즈니스 모델을 개발한 이후 IT기업들 사이에서 해커톤 개최는 일종의 트렌드로 자리잡았다. 국내에서도 우리 회사를 비롯하여 네이버, 삼성전자 등의 기업이 해마다 해커톤을 개최하고 있으며, 최근에는 그 의미가 확장되어.. 더보기
인기글 리스트
-
nosql NoSQL강의) mongoDB 개요 및 설명 한페이지에 끝내기(mapReduce, aggregate 예제 포함) Humongous DB ▪ Document DB : BSON(Binary JSON) ▪ Auto Sharding ▪ Replica Set ▪ Index : Geospatial(위치정보 처리 index), Hashed, Unique, Spars, Compound - Embedded Document, Array 필드도 인덱싱 가능 - 구체(Sphere) 모델 적용한 위치 데이터 인덱싱 지원 → 지구는 둥그니까.. - Full Text Search Index(한글 형태소 분석x), elasticsearch 사용을 권장 - Index를 사용한 TTL Collection ▪ Map/Reduce, A.. -
빅데이터 Fluentd로 데이터파이프라인 구축하기 kafka→kafka→s3 Fluentd개요 fluentd는 대용량 데이터처리에 있어 input/output plugin들을 사용해서 파이프라인을 생성할 수 있다. 이 파이프라인은 데이터처리에 적합한데 다양한 플러그인을 폭넓게 개발할수 있을 뿐만아니라 제공되고 있다. fluentd는 다른 fluentd에 전달도 가능한데, 이를 통해 fluentd의 트래픽을 조정하거나 라우팅할 수도 있다. 아키텍쳐 단순성과 안정성으로 인해 많은 IT기업들에서 사용된다. 파이프라인 아키텍쳐 구.. -
일상 [카카오바이크] 판교에서 고장 난 자전거 타고난 뒤 환불받은 후기 판교역에서 걸어서 23분(1.53km)이 걸리는 회사에 다니는 입장에서 카카오 T바이크는 가뭄에 단비이다. 분당지역을 중심으로 운영중인 T바이크는 카카오모빌리티에서 운영중인 서비스이다. 기본 서비스 이용시 첫 15분 미만은 기본 요금 1,000원이며, 이 후 5분당 500원의 요금이 부과되는데, 처음 듣는 사람들은 모두 이런 반응이다. 왜 그렇게 비싼거야? 환승도 안되자나? 굳이? 하지만, 판교내에 지옥같은 602-1, 602-2 만원.. -
Kafka Kafka Burrow에서 consumer의 lag을 정의하는(평가하는) 방법 - Consumer Lag Evaluation Rules 이전 포스팅(https://blog.voidmainvoid.net/243)에서 Burrow가 나오게된 배경에 대해 알아보았다. 이 포스팅에서는 burrow가 lag의 상태에 따라 상태를 정의하는 방법에 대해 알아보자. Consumer Lag Evaluation Rules Burrow에 있는 consumer group의 상태는 group이 consume하고 있는 각 partitin에 대한 offset의 규칙에 따라 결정된다. 분리된 threshold를 정하지 않더라도 이 kafka consumer들이 '정상'적으로 작동중인지.. -
nosql NoSQL강의) HBase 개요, 특징, client 설명 + Apache Phoenix HBase의 특징 Apache HBase – Apache HBase™ Home Welcome to Apache HBase™ Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™ when you need random, realtime read/write access to your Big Data. This project's goal is the hosting of very large tables -- billions hbase.apache.org HBase 저장 아키텍처 ▪ HMaster : HRegionServer.. -
nosql NoSQL강의) Redis 개요, 기본사용법, command 설명 및 Jedis 예제 Redis Key/Value database, In memory database. Message Queue, Shared Memory Data store 용도로 사용. 다양한 데이터 타입(String, Set, List 등) 지원하며 셔버 shutdown/restart 될때를 대비하여 디스크 저장기능(RDB, AOF)을 가지고 있다. Scale out을 위한 application side sharding 지원하며 Master/Slave Replication을 지원. Instagram(수만개의 단순 Key-value pair저장), 네이버 라인, Blizzard 등에서 사용 사례가.. -
일상 자전거를 구입하지 않고 카카오T바이크를 타는 5가지 이유 19년 3월 9일 카카오T바이크(이하 카카오바이크)를 처음 탄 이후 20번이 넘게 자전거를 이용했고 더 이상 나의 생활과 카카오바이크는 땔수없는 필수적인 요소로 자리잡았다. 올해 초 저렇게 허접한 노랑 검정색의 자전거를 누가 탈까 생각 했던 나였지만, 이제 카카오바이크에 누구보다 빠르게 달려가서 QR코드를 찍고 탑승하는 나의 모습을 보면 사람이 이렇게 바뀔 수 있구나 생각도 든다. 판교, 분당 근처가 주 생활권인 나.. -
Hackathon 2019 SKT Ideathon 참가 후기 SKT IDEATHON 2019 Data/AI로 새로운 가치를 찾는 여정 2019년 6월 19일(수) SKT 5G 스마트오피스에서 Ideathon(이하 아이디어톤)이 열렸다. SKT의 Data/AI 역량을 기반으로한 신규 사업/BM 아이디어를 발표하는 것이 이번 아이디어톤의 주제였다. SK ICT Family(SKT, SK플래닛, SK브로드밴드 등)의 다양한 직군(개발자, 기획자, 디자이너, 사업 등)의 구성원이 골고루 팀원으로 구성되었다. 제한된 시간(12시간) 내에 어떻게 SK.. -
소프트웨어공학 마틴파울러의 마이크로서비스의 정의(Micro Service Architecture by Martin folwer) 2014년 마틴파울러는 마이크로서비스에 대한 정의를 자신의 블로그(바로가기)에 올렸다. 이를 바탕으로 나의 생각과 함께 정리해보았다. 개요 "마이크로 서비스 (Microservices)"- 소프트웨어 아키텍처에 대한 또 다른 새로운 용어다. 지난 몇 년 동안 많은 프로젝트에서이 스타일을 사용 해왔고 지금까지의 결과는 긍정적이었다. 많은 동료가 엔터프라이즈 application 구축의 기본 스타일이되었지만 슬프게도 마이크로 서비스.. -
Kafka 아파치 카프카 테스트용 data generator 소개 - ksql-datagen 아파치 카프카는 대규모 분산 스트리밍 플랫폼으로서 데이터파이프라인을 만들때 주로 사용이 가능하다. 데이터파이프라인을 만듦에 있어서 어떤 용도로 어떻게 동작하는지 확인하기 위해서는 직접 consumer로 데이터를 넣어주어 producer을 개발하거나 혹은 처음엔 cli producer/consumer을 사용하여 data를 topic에 넣어준다. Confluent사에서 제공하는 ksql-datagen을 사용한다면 여러 format으로 data를 auto generate하여..
세미나 후기
-
세미나 SK ICT Tech Summit 2017 - 오프닝 및 전시회 SK ICT Tech Summit 2017 위치 : 워커힐호텔 워커힐 씨어터 날짜 : 2017년 11월 23일 다양한 전시가 진행됨. CCTV 영상 분석을 통한 범죄 감지 시스템 - 사람을 인식하여 부딪히는 척도 등을 통해 범죄여부 판단가능 영중문 11번가 - 다국어 기반의 Global 11st, 영문base의 영<->중문 SK플래닛 자체API를 통해 실시간 커머스번역으로 효과적인 커머스 시장을 선도하고 있음.
-
google io 구글 Machine Learning API 기술의 활용 - 조용균차장/강정구 대리 SPH 이번 Google I/O의 주제는 ‘인공지능 우선(AI first)’였습니다. Google은 TensorFlow를 오픈소스로 공개하고 Machine Learning API를 제공하여 인공지능 기술의 접근성을 크게 높였는데요. 로케이션 인텔리전스라는 맥락에서 머신러닝 기술이 갖는 의미는 무엇일까요? SPH R&D 팀 조용균 과장이 알아봤습니다. Context Awareness Service Google Awareness API : 위치, 날씨, 사용자 액티비티, 근처의 비콘 정보를 포함..
여행이야기
-
도쿄 도쿄에 갔던 음식점(와규, 덴뿌라 등) 정리 지난 2018년 3월 도쿄여행을 짧게 갔다와서 갔던 음식점을 정리하였습니다. 아래에 있는 모든 사진은 본인이 찍은 사진이고, 리뷰는 매우 주관적이니 참고바랍니다. 츠키지시장 안쪽 해산물 요리 전문 식당 Kakigoya 가 격 : ★★☆☆☆ 서비스 : ★★★★☆ 음 식 : ★★★☆☆ 리 뷰 : 방문객이 많은 츠키지시장에 독특하지 않은 일반 해산물 음식점, 다소 비싼 가격에 신선한 해산물을 바로 쪄서 먹을 수 있다. 굴이 아주..
-
하와이 하와이의 숨겨진 명소에 가봤더니 놀라워 - Pu'u O Mahuka Heiau State Historic Site 하와이는 아주 매력적인 곳이다. 쇼핑, 관광, 해변 빠지는 곳이 없다. 그러나 오래 머물다 보면 도시적인 풍경에 질리게 된다. 그럴즈음에 사람이 드물고 풍경이 멋진 북쪽의 하와이 유적지를 찾아가보자. 이름 Pu'u O Mahuka Heiau State Historic Site 위치 와이키키 해변에서 차로 1시간 (North shore 근처로, 쉬림프트럭 등을 먹고 찾아가면 좋다) 소개 Pu'u O Mahuka Heiau State Historic Site는 1600년대에 하와이 원주..
-
하와이 하와이에서 카카오택시처럼 UBER 사용하기 ALOHA~ 하와이에서 카카오택시보다 편하게 Uber 사용하기 하와이에서 즐거운 여행을 즐기고자 오면 한국보다(상대적으로) 열악한 교통상황때문에 기겁하게 된다. 공항에서 와이키키해변으로 갈때 혹은 와이키키해변에서 공항으로 갈때 선택할수 있는 선택지는 많지 않다. 공항 <-> 와이키키해변 버스 : 약 30분의 배차간격. 현금만 가능, 매우 저렴. 백팩이 아닌 캐리어는 가지고 못 탐(자전거 가능). 비용 : $5 택시 : 매우 편..
-
하와이 하와이 여행 후기(FDR-X3000, MDR-1000x, Galaxy tab s3, 스카이다이빙 후기) 한국시간으로 8월 26일 오후 7시에 출발하여 9월 1일 오후 3시에 도착하는 일정의 하와이 여행 이였습니다. 아는 동생들과 같이(총 남자 3명) 이서 갔고, 여행 컨셉은 힐링, 스카이다이빙이였습니다. 준비물 기본적인 여행준비물(세면도구, 여권 등) SONY FDR-X3000(액션캠), 긴 셀카봉(소니정품), 삼각대 셀카봉(소니정품), 플로팅 셀카봉(비정품), 소니정품베터리1, 비정품베터리4, 16G micro sandisc Galaxy tab S3 wifi ver..
-
하와이 서울 국제운제면허증 발급 방법 2017.8.23 | 지도 크게 보기 © NAVER Corp. 국제 운전면허증이란? 해외 여행시 렌터카 이용을 하려면, 국제 운전 면허증을 발급받아야 운전할 수 있다. 국제 운전 면허증은 제네바 협약국에서 운전가능하다고 하다. 제네바 협약국 리스트 대륙 나라 아시아 (16개국) 한국, 뉴질랜드, 라오스, 말레이시아, 방글라데시, 베트남, 스리랑카, 싱가포르, 오스트레일리아, 인도, 일본, 캄보디아, 태국, 파푸아뉴기니, 피지, 필리핀, <..
일상이야기
-
일상 저렴하고 사용하기 쉬운 영상편집툴 filmora9(for 개발유튜브) 유튜브 시작 - 개발블로그와 개발유튜브채널을 같이하게 되었습니다 안녕하세요. 원영's블로그를 운영하는 최원영입니다. 지난 2017년 2월 20일 "[Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라." 라는 글을 처음 작성한 이후로 2년 6개월동안 총 225개의.. blog.voidmainvoid.net 지난 포스트에서 개발 유튜브를 시작한다고 공유했는데, 유튜브에 영상을 올리기 위해서는 영상 편집이 반드시 필요하다... -
일상 유튜브 시작 - 개발블로그와 개발유튜브채널을 같이하게 되었습니다 안녕하세요. 원영's블로그를 운영하는 최원영입니다. 지난 2017년 2월 20일 "[Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라." 라는 글을 처음 작성한 이후로 2년 6개월동안 총 225개의 개발 포스팅을 작성하였습니다. 첫 포스팅 : https://blog.voidmainvoid.net/2 [Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라. 규칙 2 생성자 인자가 많을 때는 Builder 패턴 적용을 고려.. -
일상 자전거를 구입하지 않고 카카오T바이크를 타는 5가지 이유 19년 3월 9일 카카오T바이크(이하 카카오바이크)를 처음 탄 이후 20번이 넘게 자전거를 이용했고 더 이상 나의 생활과 카카오바이크는 땔수없는 필수적인 요소로 자리잡았다. 올해 초 저렇게 허접한 노랑 검정색의 자전거를 누가 탈까 생각 했던 나였지만, 이제 카카오바이크에 누구보다 빠르게 달려가서 QR코드를 찍고 탑승하는 나의 모습을 보면 사람이 이렇게 바뀔 수 있구나 생각도 든다. 판교, 분당 근처가 주 생활권인 나.. -
Hackathon 2019 SKT Ideathon 참가 후기 SKT IDEATHON 2019 Data/AI로 새로운 가치를 찾는 여정 2019년 6월 19일(수) SKT 5G 스마트오피스에서 Ideathon(이하 아이디어톤)이 열렸다. SKT의 Data/AI 역량을 기반으로한 신규 사업/BM 아이디어를 발표하는 것이 이번 아이디어톤의 주제였다. SK ICT Family(SKT, SK플래닛, SK브로드밴드 등)의 다양한 직군(개발자, 기획자, 디자이너, 사업 등)의 구성원이 골고루 팀원으로 구성되었다. 제한된 시간(12시간) 내에 어떻게 SK.. -
일상 [카카오바이크] 판교에서 고장 난 자전거 타고난 뒤 환불받은 후기 판교역에서 걸어서 23분(1.53km)이 걸리는 회사에 다니는 입장에서 카카오 T바이크는 가뭄에 단비이다. 분당지역을 중심으로 운영중인 T바이크는 카카오모빌리티에서 운영중인 서비스이다. 기본 서비스 이용시 첫 15분 미만은 기본 요금 1,000원이며, 이 후 5분당 500원의 요금이 부과되는데, 처음 듣는 사람들은 모두 이런 반응이다. 왜 그렇게 비싼거야? 환승도 안되자나? 굳이? 하지만, 판교내에 지옥같은 602-1, 602-2 만원..
