main/resources 디렉터리는 Apache Maven이나 SBT와 같은 빌드 도구를 사용하는 프로젝트에서 애플리케이션의 리소스 파일을 저장하는 표준 위치이다. 이 디렉터리에 배치된 파일들은 컴파일된 클래스와 함께 JAR 파일에 포함되며, 런타임에 애플리케이션에서 사용될 수 있다.
HDFS 설정 파일 (hdfs-site.xml)
hdfs-site.xml 파일은 Hadoop 분산 파일 시스템(HDFS)의 설정을 정의한다. 이 파일에는 HDFS 클러스터의 동작을 제어하는 다양한 구성 옵션이 포함되어 있다. 예를 들어, 네임노드의 주소, 데이터 디렉터리, 복제 수 등의 정보가 포함될 수 있다.
main/resources 디렉터리에 배치하는 이유
main/resources는 애플리케이션의 모든 리소스 파일(예: 설정 파일, 정적 파일, 템플릿 등)을 저장하는 표준 위치다. 이러한 파일들은 컴파일된 애플리케이션의 클래스패스에 자동으로 포함되므로, 애플리케이션 코드에서 손쉽게 접근할 수 있다. Spark 애플리케이션이 실행될 때, main/resources에 있는 hdfs-site.xml 파일이 자동으로 클래스패스에 포함되므로, 별도의 설정 없이도 Spark 애플리케이션이 해당 파일을 로드하고 사용할 수 있다.
반응형
'빅데이터 > 하둡' 카테고리의 다른 글
| macOS 로컬에서 스파크 실행하기 (0) | 2021.04.21 |
|---|---|
| 하둡 맵리듀스 동작방법 (0) | 2020.11.26 |
| 하둡 맵리듀스 접근법 (0) | 2020.11.24 |
| HDFS cilent 사용시 HA구성된 node 연결하기 (0) | 2020.03.11 |
| pyspark에서 gzip으로 압축되어 있는 파일 읽는 방법 (0) | 2020.02.11 |
| pyspark에러 ImportError: No module named XXXX (1) | 2020.02.10 |
