데브원영

  • 프로그래밍언어
  • 쿠버네티스
  • 오픈소스
  • 빅데이터
  • DevOps
  • 세미나
  • 일상이야기
  • 여행이야기
프로필사진

데브원영

life is short

  • 분류 전체보기 (477)
    • 빅데이터 (210)
      • nosql (19)
      • Kafka (125)
      • 하둡 (11)
      • Elasticsearch (6)
      • cassandra (12)
    • DevOps (46)
      • Project management (8)
      • 소프트웨어공학 (5)
      • 쿠버네티스 (23)
      • CI & CD (4)
    • Programming Language (57)
      • Kotlin (1)
      • Java & Scala (33)
      • JS & JQuery (6)
      • golang (12)
      • R (2)
    • 개발이야기 (38)
      • Effective Java (15)
      • open source (8)
      • Android (10)
      • 리펙토링 (1)
      • 스프링 프레임워크 (4)
      • UI & UX (1)
      • React (4)
      • ibatis (2)
      • Front-end (2)
      • Docker (3)
      • Library (1)
      • Infrastructure (2)
      • servlet container (3)
      • web programming (1)
      • AWS (21)
      • GCP (0)
      • macbook (1)
      • 개발책 집필 (1)
    • 세미나 (12)
      • 디지털 실크로드 (6)
      • google io (3)
    • 일상 (30)
      • 유용한 사이트 (7)
      • 인테리어이야기 (0)
      • Hackathon (3)
      • 집이야기 (0)
      • 사진이야기 (3)
      • 책 리뷰 (2)
      • 리뷰 (2)
    • 여행이야기 (0)
      • 하와이 (0)
      • 도쿄 (0)

Tag

ksql 자바 Apache java 카프카 BigData kafka mongoDB 빅데이터 안드로이드
250x250

hadoop-aws 1

Java로 AWS s3에 간단히 file write하기(hadoop-aws 라이브러리 사용, NativeS3FileSystem)

S3는 Simple Storage Service의 약자로 AWS의 강력한 object storage이다. 요구사항에 따라 Java code를 사용하여 aws s3에 file을 write해야할 때가 있다. aws-java-sdk를 사용해도 되지만 apache hadoop에서 제공하는 hadoop-aws를 사용하여 간단하게 file write가 가능하다. 단계 1) 디펜던시 추가 org.apache.hadoop hadoop-aws 2.7.3 org.apache.commons commons-io ${commons-io.version} 단계 2) AWS에서 secretawsAccessKeyId, awsSecretAccessKey 발급 단계 3) 코딩 import org.apache.hadoop.conf.Conf..

빅데이터/하둡 2019.07.11
이전
1
다음
더보기

티스토리툴바