빅데이터/하둡
Hadoop에서 hadoop job은 어떻게 각 data node에서 job을 수행할까?
AndersonChoi
2018. 12. 17. 21:53
Hadoop에서 가장 많이 쓰이는 명령어로 아래와 같이 job을 수행하는 것이 있다.
/bin/hadoop jar [jar file] [arguments..]
상기와 같이 jar를 실행하게되면 hadoop은 어떤 node로 어떤 job을 보내게 되는걸까?
- Client 혹은 interface server에서 hadoop jar와 함께 command를 입력
- Client는 실행에 대한 신규 application Id를 발급받. 그리고 jar file은 HDFS의 job resource로 복사(by default 10 on large clusters)
- Cluster(각 데이터노드)에서 실행됨.
(다만 hadoop config에 local 설정을 하게 되면 해당 호스트에서 실행됨)
반응형