데브원영

  • 프로그래밍언어
  • 쿠버네티스
  • 오픈소스
  • 빅데이터
  • DevOps
  • 세미나
  • 일상이야기
  • 여행이야기
프로필사진

데브원영

life is short

300x250
  • 분류 전체보기 (477)
    • 빅데이터 (210)
      • nosql (19)
      • Kafka (125)
      • 하둡 (11)
      • Elasticsearch (6)
      • cassandra (12)
    • DevOps (46)
      • Project management (8)
      • 소프트웨어공학 (5)
      • 쿠버네티스 (23)
      • CI & CD (4)
    • Programming Language (57)
      • Kotlin (1)
      • Java & Scala (33)
      • JS & JQuery (6)
      • golang (12)
      • R (2)
    • 개발이야기 (38)
      • Effective Java (15)
      • open source (8)
      • Android (10)
      • 리펙토링 (1)
      • 스프링 프레임워크 (4)
      • UI & UX (1)
      • React (4)
      • ibatis (2)
      • Front-end (2)
      • Docker (3)
      • Library (1)
      • Infrastructure (2)
      • servlet container (3)
      • web programming (1)
      • AWS (21)
      • GCP (0)
      • macbook (1)
      • 개발책 집필 (1)
    • 세미나 (12)
      • 디지털 실크로드 (6)
      • google io (3)
    • 일상 (30)
      • 유용한 사이트 (7)
      • 인테리어이야기 (0)
      • Hackathon (3)
      • 집이야기 (0)
      • 사진이야기 (3)
      • 책 리뷰 (2)
      • 리뷰 (2)
    • 여행이야기 (0)
      • 하와이 (0)
      • 도쿄 (0)

Tag

Apache java 안드로이드 빅데이터 카프카 kafka mongoDB BigData ksql 자바
250x250

s3 1

Fluentd로 데이터파이프라인 구축하기 kafka→kafka→s3

Fluentd개요 fluentd는 대용량 데이터처리에 있어 input/output plugin들을 사용해서 파이프라인을 생성할 수 있다. 이 파이프라인은 데이터처리에 적합한데 다양한 플러그인을 폭넓게 개발할수 있을 뿐만아니라 제공되고 있다. fluentd는 다른 fluentd에 전달도 가능한데, 이를 통해 fluentd의 트래픽을 조정하거나 라우팅할 수도 있다. 아키텍쳐 단순성과 안정성으로 인해 많은 IT기업들에서 사용된다. 파이프라인 아키텍쳐 구상 및 준비 앞서 말했듯이 강력한 input/output 플러그인 기능을 가지고 있는데, 실제로 어떤 configuration으로 사용 가능할지 알아보기 위해 아래와 같은 아키텍쳐를 구현해보기로 하였다. 상기 아키텍쳐에서 파이프라인은 2개로 나뉘어져 있다. 1)..

빅데이터 2019.09.17
이전
1
다음
더보기

티스토리툴바