최신글 리스트
-
빅데이터 Fluentd로 데이터파이프라인 구축하기 kafka→kafka→s3 Fluentd개요 fluentd는 대용량 데이터처리에 있어 input/output plugin들을 사용해서 파이프라인을 생성할 수 있다. 이 파이프라인은 데이터처리에 적합한데 다양한 플러그인을 폭넓게 개발할수 있을 뿐만아니라 제공되고 있다. fluentd는 다른 fluentd에 전달도 가능한데, 이를 통해 fluentd의 트래픽을 조정하거나 라우팅할 수도 있다. 아키텍쳐 단순성과 안정성으로 인해 많은 IT기업들에서 사용된다. 파이프라인 아키텍쳐 구.. -
빅데이터 Fluentd vs Telegraf 차이점 알아보기 Telegraf와 fluentd는 아주 유사해보인다. 둘다 configuration파일 기반으로 작동하며 plugin을 통해 개발자가 custom하게 만든 input, filter, output 플러그인들을 사용하여 데이터를 처리, 전송 가능하다. 이 둘은 어떤 차이가 있는 것일까? Fluentd Star count(9/16) : 8,295 Github url : https://github.com/fluent/fluentd Fluentd는 C와 루비로 작성된 로그 수집기(log aggregator)의 한 종류이다. 여러 데이터 소스에.. -
Kafka enable.auto.commit 일 때 Kafka consumer close() method 동작분석 Kafka의 consumer를 사용할 때 offset에 대한 commit offset timing에 대해 여러가지 방법이 있다. 만약 enable.auto.commit=true 로 사용시 consumer에서 close()를 호출한다면 어떻게 kafka 내부에서 offset을 처리하는지 확인해보려고 한다. (아래는 kafka consumer 2.1.0 기준으로 작성되었습니다) 1. close() 호출 @Override public void close() { close(Duration.ofMillis(DEFAULT_CLOSE_TIMEOUT_MS)); } Kafka의 consum.. -
nosql mongodb shell에서 printjson을 사용하여 BSON을 text로 보기 mongodb shell에서 print()는 javascript의 method로서 사용가능하여 bson과 같은 데이터를 text로 표현하지 못한다. 그러므로 bson을 데이터로 보기 위해서는 mognodb에서 제공하는 printjson() method를 사용하면 된다. Example 1 > var dblist=["server01","server02"]; > dblist.forEach(function(e){ var serviceCollectionData = db.getSiblingDB(e).service.findOne(); print(serviceCollectionData); // print method.. -
nosql mongodb shell에서 array로 정의한 multi db 검색하기 이전 포스팅(mongoDB 개요 및 설명 한페이지에 끝내기)에서 언급한것 처럼 mongodb내에 js script를 적용할 수 있다. 이를 활용해서 여러 db의 값을 동시에 조회할 수 있다 요구사항 DB list : server01, server02, server03 Collection : service -> 각 DB의 service collection에 있는 데이터를 모두 조회하라 Code > var dblist=["server01","server02","server03"]; > dblist.forEach(function(e){ var serviceCollectionDa..
해커톤 참가 후기
-
2019 SKT Ideathon 참가 후기 SKT IDEATHON 2019 Data/AI로 새로운 가치를 찾는 여정 2019년 6월 19일(수) SKT 5G 스마트오피스에서 Ideathon(이하 아이디어톤)이 열렸다. SKT의 Data/AI 역량을 기반으로한 신규 사업/BM 아이디어를 발표하는 것이 이번 아이디어톤의 주제였다. SK ICT Family(SKT, SK플래닛, SK브로드밴드 등)의 다양한 직군(개발자, 기획자, 디자이너, 사업 등)의 구성원이 골고루 팀원으로 구성되었다. 제한된 시간(12시간) 내에 어떻게 SK.. 더보기 -
홍콩 해커톤 Smartone 참가 후기 Smartone Hackathon 2018 홍콩에서 스마트한 삶을 꿈꾸다 페이스북의 '좋아요' 버튼이 사내 해커톤에서 개발되어 상용화된 사례라는 점은 이미 널리 알려진 사실이다. 페이스북이 해커톤을 통해 새로운 비즈니스 모델을 개발한 이후 IT기업들 사이에서 해커톤 개최는 일종의 트렌드로 자리잡았다. 국내에서도 우리 회사를 비롯하여 네이버, 삼성전자 등의 기업이 해마다 해커톤을 개최하고 있으며, 최근에는 그 의미가 확장되어.. 더보기
인기글 리스트
-
개발이야기 결혼식 청첩장 Github blog로 세련되게 만들기. 후기! 2019년 5월 18일. 이날은 여자친구와 4년 그리고 1일 되는날, 그리고 결혼식이 열렸던 날이다. 결혼식을 준비하면서 만든 github.io blog기반 모바일 청첩장을 만들게 된 이유와 만들기까지의 과정에 대해 이야기 하고자 한다. 결혼식을 위해 뼈발자(뼈속까지 개발자)인 나는 어떻게 결혼식을 준비하는데 있어 실력을 발휘할까 고민하던 도중 모바일 청첩장을 직접! 만들어보면 어떨까 아이디어를 생각하였다. 모바일 청첩장을.. -
Java & Scala Java gc log 분석, 시각화하는 무료 사이트 추천 gceasy.io Java 개발과 운영을 하다보면 gc log에 대한 분석이 반드시 필요할 때가 있다. application운영을 통해 남겨진 gc log를 막상 볼려고 하면 어디서 부터 봐야할지 막막하다. 이때 gceasy.io 사이트를 사용한다면 그 걱정이 말끔히 사라진다. https://gceasy.io/ gceasy.io Training Our easy to understand, fun filled training programs is a preferred choice for several enterprises to transform their engineers in to pe.. -
Java & Scala Android studio에서 gradle upgrade시 deprecated feature 확인 옵션 켜는 방법 Android를 개발하면서 gradle plugin과 gradle wrapper의 version을 지속해서 업그레이드해야한다. Gradle version upgrade를 하면 여러 feature들이 추가되고 Deprecated되는데 gradle build를 할때 아래와 같이 경고를 할 때가 있다. Deprecated Gradle features were used in this build, making it incompatible with Gradle 6.0. Use '--warning-mode all' to show the individual deprecation warnings. See https://docs... -
Android Android Q 부터 비 SDK 인터페이스 제한 하는 이유와 비 SDK 인터페이스 제한 확인하는 방법 android Q targetSdkVerison부터 공개된 SDK API만 사용가능하다. 이에 따라 android Q를 targetSdkVersion으로 하는 application은 공식 SDK인터페이스가 아닌 기능에는 접근하지 못하도록 제한한다.(공식홈페이지 참고) 왜 비 SDK를 제한하게 되었나? 안드로이드에서 @hide annotation으로 선언한 여러 sdk(android.xxx.xxx 같은 package)의 method들이 존재한다. @hide 구문을 사용하면 android내부에서만 접근 가능하고, 외.. -
nosql NoSQL강의) mongoDB 개요 및 설명 한페이지에 끝내기(mapReduce, aggregate 예제 포함) Humongous DB ▪ Document DB : BSON(Binary JSON) ▪ Auto Sharding ▪ Replica Set ▪ Index : Geospatial(위치정보 처리 index), Hashed, Unique, Spars, Compound - Embedded Document, Array 필드도 인덱싱 가능 - 구체(Sphere) 모델 적용한 위치 데이터 인덱싱 지원 → 지구는 둥그니까.. - Full Text Search Index(한글 형태소 분석x), elasticsearch 사용을 권장 - Index를 사용한 TTL Collection ▪ Map/Reduce, A.. -
Java & Scala Java8이상에서 MaxMetaspaceSize 설정, 반드시 해야할까? 지난글(Java 8 에서 사라진 maxPermSize, PermSize을 대체하는 옵션?)에서 Class의 Meta정보, Method의 Meta정보, Static변수와 상수정보를 저장하는 공간인 Permanent Heap에 대해서 이야기해 보았다. Java8부터 해당 Heap은 Native Memory영역으로 넘어갔으며 Native Memory상한까지 영역을 차지할 수 있으며, 그렇기에 Metaspace에 대한 옵션은 크게 주의를 가지고 설정할 필요가 없다고 적었다. 하지만, MaxMetaspaceSize를.. -
Kafka Kafka Burrow에서 consumer의 lag을 정의하는(평가하는) 방법 - Consumer Lag Evaluation Rules 이전 포스팅(https://blog.voidmainvoid.net/243)에서 Burrow가 나오게된 배경에 대해 알아보았다. 이 포스팅에서는 burrow가 lag의 상태에 따라 상태를 정의하는 방법에 대해 알아보자. Consumer Lag Evaluation Rules Burrow에 있는 consumer group의 상태는 group이 consume하고 있는 각 partitin에 대한 offset의 규칙에 따라 결정된다. 분리된 threshold를 정하지 않더라도 이 kafka consumer들이 '정상'적으로 작동중인지.. -
일상 [카카오바이크] 판교에서 고장 난 자전거 타고난 뒤 환불받은 후기 판교역에서 걸어서 23분(1.53km)이 걸리는 회사에 다니는 입장에서 카카오 T바이크는 가뭄에 단비이다. 분당지역을 중심으로 운영중인 T바이크는 카카오모빌리티에서 운영중인 서비스이다. 기본 서비스 이용시 첫 15분 미만은 기본 요금 1,000원이며, 이 후 5분당 500원의 요금이 부과되는데, 처음 듣는 사람들은 모두 이런 반응이다. 왜 그렇게 비싼거야? 환승도 안되자나? 굳이? 하지만, 판교내에 지옥같은 602-1, 602-2 만원.. -
유용한 사이트 맥북, 인터넷 웹에서 hwp파일 무료로 업로드, 수정, 저장하기. hwp파일(한글파일)은 애증의 관계이다. 한국에서는 없어서도 안되고 없어지지도 않는 독특한 문서 포멧이자, 이만큼 다루기 편한 한글 포맷도 없다. 이런 hwp파일을 열고, 수정하고, 저장하려면 한글 sw를 반드시 구매해야하는데, HANCOM에서 운영하는 말랑말랑 Platform의 한컴스페이스를 사용하면 무료로 열고, 수정하고 저장할 수 있다. 말랑 Platform - 한컴스페이스 https://space.malangmalang.com/?_ga=2.190243947.1302.. -
빅데이터 Fluentd로 데이터파이프라인 구축하기 kafka→kafka→s3 Fluentd개요 fluentd는 대용량 데이터처리에 있어 input/output plugin들을 사용해서 파이프라인을 생성할 수 있다. 이 파이프라인은 데이터처리에 적합한데 다양한 플러그인을 폭넓게 개발할수 있을 뿐만아니라 제공되고 있다. fluentd는 다른 fluentd에 전달도 가능한데, 이를 통해 fluentd의 트래픽을 조정하거나 라우팅할 수도 있다. 아키텍쳐 단순성과 안정성으로 인해 많은 IT기업들에서 사용된다. 파이프라인 아키텍쳐 구..
세미나 후기
-
세미나 SK ICT Tech Summit 2017 - 오프닝 및 전시회 SK ICT Tech Summit 2017 위치 : 워커힐호텔 워커힐 씨어터 날짜 : 2017년 11월 23일 다양한 전시가 진행됨. CCTV 영상 분석을 통한 범죄 감지 시스템 - 사람을 인식하여 부딪히는 척도 등을 통해 범죄여부 판단가능 영중문 11번가 - 다국어 기반의 Global 11st, 영문base의 영<->중문 SK플래닛 자체API를 통해 실시간 커머스번역으로 효과적인 커머스 시장을 선도하고 있음.
-
google io 구글 Machine Learning API 기술의 활용 - 조용균차장/강정구 대리 SPH 이번 Google I/O의 주제는 ‘인공지능 우선(AI first)’였습니다. Google은 TensorFlow를 오픈소스로 공개하고 Machine Learning API를 제공하여 인공지능 기술의 접근성을 크게 높였는데요. 로케이션 인텔리전스라는 맥락에서 머신러닝 기술이 갖는 의미는 무엇일까요? SPH R&D 팀 조용균 과장이 알아봤습니다. Context Awareness Service Google Awareness API : 위치, 날씨, 사용자 액티비티, 근처의 비콘 정보를 포함..
여행이야기
-
도쿄 도쿄에 갔던 음식점(와규, 덴뿌라 등) 정리 지난 2018년 3월 도쿄여행을 짧게 갔다와서 갔던 음식점을 정리하였습니다. 아래에 있는 모든 사진은 본인이 찍은 사진이고, 리뷰는 매우 주관적이니 참고바랍니다. 츠키지시장 안쪽 해산물 요리 전문 식당 Kakigoya 가 격 : ★★☆☆☆ 서비스 : ★★★★☆ 음 식 : ★★★☆☆ 리 뷰 : 방문객이 많은 츠키지시장에 독특하지 않은 일반 해산물 음식점, 다소 비싼 가격에 신선한 해산물을 바로 쪄서 먹을 수 있다. 굴이 아주..
-
하와이 하와이의 숨겨진 명소에 가봤더니 놀라워 - Pu'u O Mahuka Heiau State Historic Site 하와이는 아주 매력적인 곳이다. 쇼핑, 관광, 해변 빠지는 곳이 없다. 그러나 오래 머물다 보면 도시적인 풍경에 질리게 된다. 그럴즈음에 사람이 드물고 풍경이 멋진 북쪽의 하와이 유적지를 찾아가보자. 이름 Pu'u O Mahuka Heiau State Historic Site 위치 와이키키 해변에서 차로 1시간 (North shore 근처로, 쉬림프트럭 등을 먹고 찾아가면 좋다) 소개 Pu'u O Mahuka Heiau State Historic Site는 1600년대에 하와이 원주..
-
하와이 하와이에서 카카오택시처럼 UBER 사용하기 ALOHA~ 하와이에서 카카오택시보다 편하게 Uber 사용하기 하와이에서 즐거운 여행을 즐기고자 오면 한국보다(상대적으로) 열악한 교통상황때문에 기겁하게 된다. 공항에서 와이키키해변으로 갈때 혹은 와이키키해변에서 공항으로 갈때 선택할수 있는 선택지는 많지 않다. 공항 <-> 와이키키해변 버스 : 약 30분의 배차간격. 현금만 가능, 매우 저렴. 백팩이 아닌 캐리어는 가지고 못 탐(자전거 가능). 비용 : $5 택시 : 매우 편..
-
하와이 하와이 여행 후기(FDR-X3000, MDR-1000x, Galaxy tab s3, 스카이다이빙 후기) 한국시간으로 8월 26일 오후 7시에 출발하여 9월 1일 오후 3시에 도착하는 일정의 하와이 여행 이였습니다. 아는 동생들과 같이(총 남자 3명) 이서 갔고, 여행 컨셉은 힐링, 스카이다이빙이였습니다. 준비물 기본적인 여행준비물(세면도구, 여권 등) SONY FDR-X3000(액션캠), 긴 셀카봉(소니정품), 삼각대 셀카봉(소니정품), 플로팅 셀카봉(비정품), 소니정품베터리1, 비정품베터리4, 16G micro sandisc Galaxy tab S3 wifi ver..
-
하와이 서울 국제운제면허증 발급 방법 2017.8.23 | 지도 크게 보기 © NAVER Corp. 국제 운전면허증이란? 해외 여행시 렌터카 이용을 하려면, 국제 운전 면허증을 발급받아야 운전할 수 있다. 국제 운전 면허증은 제네바 협약국에서 운전가능하다고 하다. 제네바 협약국 리스트 대륙 나라 아시아 (16개국) 한국, 뉴질랜드, 라오스, 말레이시아, 방글라데시, 베트남, 스리랑카, 싱가포르, 오스트레일리아, 인도, 일본, 캄보디아, 태국, 파푸아뉴기니, 피지, 필리핀, <..
일상이야기
-
일상 저렴하고 사용하기 쉬운 영상편집툴 filmora9(for 개발유튜브) 유튜브 시작 - 개발블로그와 개발유튜브채널을 같이하게 되었습니다 안녕하세요. 원영's블로그를 운영하는 최원영입니다. 지난 2017년 2월 20일 "[Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라." 라는 글을 처음 작성한 이후로 2년 6개월동안 총 225개의.. blog.voidmainvoid.net 지난 포스트에서 개발 유튜브를 시작한다고 공유했는데, 유튜브에 영상을 올리기 위해서는 영상 편집이 반드시 필요하다... -
일상 유튜브 시작 - 개발블로그와 개발유튜브채널을 같이하게 되었습니다 안녕하세요. 원영's블로그를 운영하는 최원영입니다. 지난 2017년 2월 20일 "[Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라." 라는 글을 처음 작성한 이후로 2년 6개월동안 총 225개의 개발 포스팅을 작성하였습니다. 첫 포스팅 : https://blog.voidmainvoid.net/2 [Effective Java]생성자 인자가 많을 때는 Builder 패턴 적용을 고려하라. 규칙 2 생성자 인자가 많을 때는 Builder 패턴 적용을 고려.. -
일상 자전거를 구입하지 않고 카카오T바이크를 타는 5가지 이유 19년 3월 9일 카카오T바이크(이하 카카오바이크)를 처음 탄 이후 20번이 넘게 자전거를 이용했고 더 이상 나의 생활과 카카오바이크는 땔수없는 필수적인 요소로 자리잡았다. 올해 초 저렇게 허접한 노랑 검정색의 자전거를 누가 탈까 생각 했던 나였지만, 이제 카카오바이크에 누구보다 빠르게 달려가서 QR코드를 찍고 탑승하는 나의 모습을 보면 사람이 이렇게 바뀔 수 있구나 생각도 든다. 판교, 분당 근처가 주 생활권인 나.. -
Hackathon 2019 SKT Ideathon 참가 후기 SKT IDEATHON 2019 Data/AI로 새로운 가치를 찾는 여정 2019년 6월 19일(수) SKT 5G 스마트오피스에서 Ideathon(이하 아이디어톤)이 열렸다. SKT의 Data/AI 역량을 기반으로한 신규 사업/BM 아이디어를 발표하는 것이 이번 아이디어톤의 주제였다. SK ICT Family(SKT, SK플래닛, SK브로드밴드 등)의 다양한 직군(개발자, 기획자, 디자이너, 사업 등)의 구성원이 골고루 팀원으로 구성되었다. 제한된 시간(12시간) 내에 어떻게 SK.. -
일상 [카카오바이크] 판교에서 고장 난 자전거 타고난 뒤 환불받은 후기 판교역에서 걸어서 23분(1.53km)이 걸리는 회사에 다니는 입장에서 카카오 T바이크는 가뭄에 단비이다. 분당지역을 중심으로 운영중인 T바이크는 카카오모빌리티에서 운영중인 서비스이다. 기본 서비스 이용시 첫 15분 미만은 기본 요금 1,000원이며, 이 후 5분당 500원의 요금이 부과되는데, 처음 듣는 사람들은 모두 이런 반응이다. 왜 그렇게 비싼거야? 환승도 안되자나? 굳이? 하지만, 판교내에 지옥같은 602-1, 602-2 만원..
