본문 바로가기

하둡

728x90
HDFS cilent 사용시 HA구성된 node 연결하기 2020. 3. 11. HDFS client를 사용하여 hdfs data를 직접 접근하곤 합니다. // HDFS 설정 Configuration conf = new Configuration(); conf.set("fs.default.name", "hdfs://172.1.2.3:8020"); // FileSystem 설정 FileSystem dfs = FileSystem.get(conf); Path filenamePath = new Path("/data/test.txt"); System.out.println("File Exists : " + dfs.exists(filenamePath)); // Write data FSDataOutputStream out = dfs.create(filenamePath); out.write("TEST..
Hadoop에서 hadoop job은 어떻게 각 data node에서 job을 수행할까? 2018. 12. 17. Hadoop에서 가장 많이 쓰이는 명령어로 아래와 같이 job을 수행하는 것이 있다. /bin/hadoop jar [jar file] [arguments..]상기와 같이 jar를 실행하게되면 hadoop은 어떤 node로 어떤 job을 보내게 되는걸까? Client 혹은 interface server에서 hadoop jar와 함께 command를 입력Client는 실행에 대한 신규 application Id를 발급받. 그리고 jar file은 HDFS의 job resource로 복사(by default 10 on large clusters)Cluster(각 데이터노드)에서 실행됨. (다만 hadoop config에 local 설정을 하게 되면 해당 호스트에서 실행됨)
Hdfs dfs 명령어 정리 및 설명(ls, cat, du, count, copyFromLocal 등) 2018. 12. 11. Hadoop을 적절히 사용하기 위해서는 hdfs 명령어를 알아야 한다. 아래에 정리를 해 보았다. ※ 2.6.0 version을 기준으로 정리함 Hadoop 명령어 Hadoop filesystem command를 사용하기 위함. Usage : hdfs dfs [GENERIC_OPTIONS] [COMMAND_OPTIONS] HDFS 명령어 File System(FS) shell은 Hadoop Distributed File System(HDFS)를 여타 파일시스템처럼 관리하기 위한 목적으로 command를 사용할 수 있다. Hadoop-2.6.0에서는 총 33개의 HDFS 명령어를 지원한다. 1) appendToFile Local 파일들을 hdfs에 append 저장하기 위한 목적 Usage: hdfs df..
728x90

티스토리툴바