gettingstarted 2

빅 데이터 처리를 위한 아파치 Kafka 개요 및 설명

Apache Kafka LinkedIn에서 최초로 만들고 opensource화 한 확장성이 뛰어난 분산 메시지 큐(FIFO : First In First Out) → 분산 아키텍쳐 구성, Fault-tolerance한 architecture(with zookeeper), 데이터 유실 방지를 위한 구성이 잘되어 있음→ AMQP, JMS API를 사용하지 않은 TCP기반 프로토콜 사용→ Pub / Sub 메시징 모델을 채용→ 읽기 / 쓰기 성능을 중시 → Producer가 Batch형태로 broker로 메시지 전송이 가능하여 속도 개선→ 파일 시스템에 메시지를 저장하므로, 데이터의 영속성 보장→ Consume된 메시지를 곧바로 삭제하지 않고 offset을 통한 consumer-group별 개별 consume..

빅데이터/Kafka 2018.12.24
Java 시큐어 코딩 - 개론 및 보안사례

개요 및 단어 설명시큐어 코딩에 앞서 단어설명을 한다. 보안약점(weakness) - 개발자가 개발을 하는 단계, 구현을 하는 단계에서 나타나는 bug - 코드 리뷰를 통해 보안약점을 찾겠다. - But, LOC(Line of code)가 너무 많으므로 정적분석도구를 사용한다. - ex) findBug, findSecurity plugin - Secure coding이 필요한 단계 보안취약점(vulnerability) - 서비스가 나가고 난 뒤 침해관련 사고 - 실제 침해사고로 일어난 사례 - 공격자(해커)가 의도하는 공격(해킹)이 일어나는 곳 Secure coding(보안 약점 구간)에서 이슈를 알아 낼 수 없는 경우도 있다. 예를 들어 논리적인 & 구조적인 이슈(ex. sms를 통한 인증)로 인해 보..