본문 바로가기

2018/09

728x90
반응형
Kafka opensource 분석을 통한 replication assignment 로직 확인 2018. 9. 28. Replication과 partition 개념은 Apache Kafka에서 fault tolerance 동작을 위한 핵심개념이다. 각 broker에 어떻게 partition들이 replication 되는지 github에 올라가 있는 Kafka의 opensource를 분석하여 알아 보자. Partition과 Replication # Partition : 어떤 토픽에 대해서 producer/consumer가 병렬처리방식으로 분산저장되는 단위 # Replication : 높은 가용성(High Availibility)을 얻기 위해 각각의 partition을 각기 다른 브로커에 복제하는 역할 Kafka에서 Topic을 생성하게 되면, 설정 한 partition, replication의 각각 개수에 따라 parti..
가격 최적화를 위해 맞춤형 회귀 분석 모델을 활용한 airbnb 2018. 9. 19. Introairbnb는 게스트와 호스트의 연결해주는 서비스이다. 호스트는 자신의 집의 전체 혹은 일부를 website에 올려놓으면 게스트는 호스트에게 연락하여 계약이 이루어지는 방식이다. 여기서 중요한 포인트는 airbnb는 제공자(호스트)/소비자(게스트)로 이루어진 two-sided marketplace이기 때문에, 가격이 적절하지 않으면 예약율이 떨어지게 된다. airbnb의 플랫폼 사업이라는 특성상 호스트, 게스트의 균형을 맞추는 것이 중요했다. airbnb는 위와 같은 문제를 풀기 위해 적절한 가격책정을 위해 빅데이터를 통한 분석을 사용하였고 해당 결과에 대한 논문(Customized Regression Model for Airbnb Dynamic Pricing)을 발표하였다. 관련 논문 - Ho..
HDFS(Hadoop Distributed File System) 아키텍쳐 개요 및 설명 2018. 9. 17. IntroductionHDFS(Hadoop Distributed File System)는 분산 파일시스템을 하드웨어에 저장하고, 읽는 역할을 한다. 여타 다른 분산 파일 시스템과 비슷해 보이지만, HDFS는 아래와 같은 특징을 가진다. # Highly fault-tolerant# Deployed on low-cost hardware 상기와 같은 두개의 장점으로 인해 HDFS는 대용량 데이터에 대해 저장 및 조회 용으로 적절하게 사용 가능하다. HDFS의 GoalHardware Failure1개의 node가 365일 중 하루동안 고장이 난다고 가정하자, HDFS의 data node가 1000대라면, 확률적으로 하루에 3대가 고장난다. HDFS는 이러한 물리적 고장에 대해서 신속한 detection과 aut..
app의 강제종료로 인해 FCM cloud messaging 푸시를 받지 못하는 이유? 2018. 9. 12. FCM cloud messaging을 사용하면 google의 푸시서버를 활용하여 각 기기에 push를 날릴 수 있다. 그런데 QA를 하던도중 흥미롭게도 push를 받지 못하는 단말이 생겼다. # 단말 재시작 후# 안드로이드 settings에서 force kill(강제종료) 흥미로운 사실은, 카카오톡이나 라인과 같은 App들은 단말기를 껐다 켜도, 그리고 강제종료 하더라도 잘 된다는 사실이다. 이를 해결하기 위해 FCM 공식문서를 찾아봤지만 뚜렷하게 나올만한 해결책이 없었고 stackoverflow에서 아래와 같은 정보를 얻게 되었다. 원본 글 : Android app not receiving Firebase Notification when app is stopped from multi-task tray ..
IaC(Infrastructure as Code)를 통한 Enterprise환경에서 Infra 운영프로세스의 한계 해결방안 2018. 9. 7. Enterprise환경의 infra 운영프로세스 지옥 - 사례1개발자 A씨는 운영하고 있는 5개의 서버에 대해 X라고 하는 네트워크 정책을 가져가려고 한다. 이때, 거쳐야 하는 과정은 아래와 같다. 1) 5개 서버에 대한 X 정책에 대해 정의하고 티켓을 만들고 보안담당자에게 할당한다.2) 해당 티켓을 보안담당자가 검토한다.3) 보안 확인 후 네트워크담당자에게 할당한다.4) 네트워크 담당자는 X 정책에 대해 확인하고 5개 서버에 적용한다.5) 적용이 되면 네트워크 담당자는 A씨에게 적용되었음을 알린다.6) A씨는 적용이 되었음을 확인하고 계속 일을 진행한다. Enterprise환경의 infra 운영프로세스 지옥 - 사례2사례1이 일어나고 5년뒤(이미 A씨는 퇴사) 개발자 B씨는 5개의 서버를 추가(scal..
Rest api에서 Content-Type 헤더의 역할 및 Spring boot 예제 2018. 9. 4. Rest api를 개발할 때 사용하는 Content-Type의 역할, 그리고 예제를 통해 어떻게 헤더의 정보를 활용하는지 알아보자. Content-Type Header? The purpose of the Content-Type field is to describe the data contained in the body fully enough that the receiving user agent can pick an appropriate agent or mechanism to present the data to the user, or otherwise deal with the data in an appropriate manner. - w3.org Http request를 통해 data가 전달될 때, 데이터..
728x90

티스토리툴바