데브원영

  • 프로그래밍언어
  • 쿠버네티스
  • 오픈소스
  • 빅데이터
  • DevOps
  • 세미나
  • 일상이야기
  • 여행이야기
프로필사진

데브원영

life is short

  • 분류 전체보기 (477)
    • 빅데이터 (210)
      • nosql (19)
      • Kafka (125)
      • 하둡 (11)
      • Elasticsearch (6)
      • cassandra (12)
    • DevOps (46)
      • Project management (8)
      • 소프트웨어공학 (5)
      • 쿠버네티스 (23)
      • CI & CD (4)
    • Programming Language (57)
      • Kotlin (1)
      • Java & Scala (33)
      • JS & JQuery (6)
      • golang (12)
      • R (2)
    • 개발이야기 (38)
      • Effective Java (15)
      • open source (8)
      • Android (10)
      • 리펙토링 (1)
      • 스프링 프레임워크 (4)
      • UI & UX (1)
      • React (4)
      • ibatis (2)
      • Front-end (2)
      • Docker (3)
      • Library (1)
      • Infrastructure (2)
      • servlet container (3)
      • web programming (1)
      • AWS (21)
      • GCP (0)
      • macbook (1)
      • 개발책 집필 (1)
    • 세미나 (12)
      • 디지털 실크로드 (6)
      • google io (3)
    • 일상 (30)
      • 유용한 사이트 (7)
      • 인테리어이야기 (0)
      • Hackathon (3)
      • 집이야기 (0)
      • 사진이야기 (3)
      • 책 리뷰 (2)
      • 리뷰 (2)
    • 여행이야기 (0)
      • 하와이 (0)
      • 도쿄 (0)

Tag

자바 카프카 kafka Apache 빅데이터 java ksql BigData 안드로이드 mongoDB
250x250

jar 1

Hadoop에서 hadoop job은 어떻게 각 data node에서 job을 수행할까?

Hadoop에서 가장 많이 쓰이는 명령어로 아래와 같이 job을 수행하는 것이 있다. /bin/hadoop jar [jar file] [arguments..]상기와 같이 jar를 실행하게되면 hadoop은 어떤 node로 어떤 job을 보내게 되는걸까? Client 혹은 interface server에서 hadoop jar와 함께 command를 입력Client는 실행에 대한 신규 application Id를 발급받. 그리고 jar file은 HDFS의 job resource로 복사(by default 10 on large clusters)Cluster(각 데이터노드)에서 실행됨. (다만 hadoop config에 local 설정을 하게 되면 해당 호스트에서 실행됨)

빅데이터/하둡 2018.12.17
이전
1
다음
더보기

티스토리툴바