데브원영

AWS CDK를 로컬에서 테스트를 하다보면 deploy시 change에 대한 y/n 선택이 나오게 된다. ....│ └───┴─────────────────────────────────────────┴─────┴────────────┴─────────────────┘ (NOTE: There may be security-related changes not in this list. See https://github.com/aws/aws-cdk/issues/1299) Do you wish to deploy these changes (y/n)? y 이 선택을 건너뛰려면 다음 옵션을 사용하면 된다. $ cdk deploy --all --require-approval never cdk 명령어는 --reqire-ap..

참고영상 : IAM 정책을 잘 알아야 AWS 보안도 쉬워진다. 이것은 꼭 알고 가자! - 신은수 솔루션즈 아키텍트(AWS) IAM이란? AWS 서비스 및 리소스에 대한 액세스를 안전하게 관리하기 위한 수단. 서비스와 리소스란 S3에 대한 접근, ECR의 이미지에 대한 접근과 같은 AWS내 서비스를 사용할 수 있는 권한을 뜻한다. IAM Policy 종류와 사용 목적 - AWS SCP(Service Control Policies) : 어카운트 내의 특정 Principal에 대한 서비스 제어 - AWS IAM(Permission Policies, Permission Boundaries) : IAM Principal(Users, Roles)에 대한 상세 권한 설정 및 사용 가능 권한 경계 - AWS STS(S..

퍼블릭에서 EC2에 접속하기 위해서는 VPC생성, 퍼블릭 서브넷이 필요합니다. 위 내용을 실습하는 내용을 진행해보겠습니다. 주의해야하는 부분은 강조체, 붉은글씨로 변환하였습니다. 1. VPC 생성 특정 CIDR 블록을 포함한 형태로 이름을 작성하고 VPC를 생성합니다. VPC생성이 완료되면 처음에는 DNS 호스트 이름이 비활성화됨 으로 설정되어 있습니다. 변경을 위해 작업>DNS호스트 이름 편집으로 이동합니다. DNS 호스트 이름을 활성화 선택하고 변경 사항을 저장합니다. 2. 서브넷 생성 생성한 VPC에 속한 서브넷을 생성합니다. 3. IGW 생성 인터넷 게이트웨이를 생성합니다. 생성한 인터넷 게이트웨이는 반드시 VPC에 연결합니다. 작업>VPC에 연결 로 이동합니다. 4. 라우트 테이블 생성 및 설정..

AWS를 벗어나지 않고 EC2 인스턴스를 VPC 외부서비스와 프라이빗 하게 연결하기 위해서 사용됩니다. 이 경우 퍼블릭으로 해당 서비스를 노출하지 않더라도 연동할 수 있습니다. 즉, IGW, VPN, NAT, 프로시 등을 사용할 필요없이 연결할 수 있습니다. 여기서 외부 서비스란 AWS의 서비스를 뜻합니다. 예를 들어 VPC에 있는 EC2(프라이빗 서브넷)가 존재하고 S3가 존재한다면 EC2와 S3를 연동할때 퍼블릭으로 열지 않아도 됩니다. VPC 엔드포인트를 활용하여 연결할 수 있습니다. 특징 - 인터넷을 통해 통과할 필요가 없습니다. - 동일한 리전에 있어야 합니다. - 가용성이 뛰어나고 중복적이고 수평적으로 확장됩니다.

docs.aws.amazon.com/ko_kr/vpc/latest/peering/what-is-vpc-peering.html VPC 피어링이란? - Amazon Virtual Private Cloud 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com AWS는 VPC의 기존 인프라를 사용하여 VPC 피어링 연결을 생성합니다. 이는 게이트웨이도, VPN 연결도 아니며 물리적 하드웨어 각각에 의존하지 않습니다. 그러므로 통신 또는 대역폭 병목에 대한 단일 지점 장애가 없습니다. 특징 - 인터넷 게이트웨이 또는 가상 게이트웨이가 필요없음 - 고 가용성 연결, SPO..

EC2 인스턴스를 실행할 때 사용자가 스크립트를 작성하고 실행하기 전에 지정한 스크립트를 자동으로 실행하도록 설정할 수 있습니다. 사용자 데이터의 설명은 다음과 같습니다. 시작 시 인스턴스를 구성하거나 구성 스크립트를 실행할 때 사용할 사용자 데이터를 지정할 수 있습니다. 한 번에 두 개 이상의 인스턴스를 시작하는 경우 해당 동일 시작 인스턴스의 모든 인스턴스에서 사용자 데이터를 이용할 수 있습니다. 즉, 스크립트를 넣으면 실행이 되는 것입니다. 예를 들어 wget으로 카프카 바이너리 파일을 다운받거나 java를 설치하고 싶다면 아래와 같이 코드를 추가하면 됩니다. #!/bin/bash yum install -y java-1.8.0-openjdk-devel.x86_64 wget https://downlo..

Your requested instance type is not supported in your requested Availability Zone 에러는 해당 가용영역에 ec2인스턴스를 지원하지 않기 때문입니다. 이 경우에는 ec2인스턴스가 가용영역에서 지원하는지 확인해야하는데 아래 단계를 거치면 됩니다. t2.micro는 4개 가용영역에서 지원하지 않는 것을 알 수 있습니다. t3.nano, t3.micro를 비롯한 여러 인스턴스가 4개 가용영역 모두에서지원하는 것을 확인할 수 있습니다.

EC2에 있는 파일을 로컬에 다운받기 위해 아래와 같은 절차를 진행합니다. 준비물 - EC2 가상서버 - pem파일(접속 키) 1. 파일 확인 EC2에 접속해서 다운로드할 파일을 확인합니다. $ ll test.log $ pwd /tmp 2. 파일 권한 변경 권한을 변경하여 로컬에서 가져갈수있도록 합니다. $ chomod 777 /tmp/test.log 3. scp를 사용하여 다운로드 파일이 있는 경로를 지정하여 다운로드 진행 합니다. $ scp -i genesis-test.pem centos@13.125.173.119:/tmp/test.log . test.log 100% 78MB 21.2MB/s 00:03

openjdk 설치 [ec2-user@ip-172-31-6-79 ~]$ sudo yum install -y java-1.8.0-openjdk-devel.x86_64 Loaded plugins: extras_suggestions, langpacks, priorities, update-motd Resolving Dependencies --> Running transaction check ---> Package java-1.8.0-openjdk-devel.x86_64 1:1.8.0.252.b09-2.amzn2.0.1 will be installed --> Processing Dependency: java-1.8.0-openjdk(x86-64) = 1:1.8.0.252.b09-2.amzn2.0.1 for pac..

EMR 노트북에서 pyspark를 실행하는데 암/복호화를 위해 secret manager에 암호화 키를 저장하고 조회해야하는 니즈가 있었습니다. 이를 해결하기 위해 secret manager를 사용하였고 어떤 방식으로 진행했는지 알아보겠습니다. 암호화 키를 코드에 직접 hard coding하는 방식은 보안에 매우 취약합니다. AWS를 사용하는 이상 AWS관련 컴포넌트를 활용하여 비밀 키/값을 관리하고 이를 EMR notebook에서 활용하는 방법을 알아보겠습니다. 관련 AWS 컴포넌트 - EMR - EMR notebook - AMI - secret manager EMR 생성시 EC2 인스턴스 프로파일 설정 EMR notebook은 서버리스 주피터/주피터랩입니다. EMR notebook에서 pyspark,..

AWS EMR은 하둡관련 패키지를 AWS를 통해 설치하고 프로비져닝하는 도구입니다. 이 도구를 활용하면 매우 빠르게 hadoop, spark 등의 빅데이터 클러스터를 구축할 수 있는데요. 오늘은 이렇게 만든 EMR 클러스터에서 3rd party python library사용을 위한 설치 스크립트를 적용해보겠습니다. 저같은 경우는 pyspark를 자주 사용하는데요. pyspark사용할 경우 추가 pip3라이브러리를 사용해야할 때가 있습니다. pip3 라이브러리를 pyspark로 실행할 경우 스파크가 배포되는 모든 인스턴스에 해당 라이브러리가 설치되어 있어야합니다. EMR에는 bootstrap action이라고 하는 인스턴스 생성할때 실행할 수 있는 스크립트를 지정할 수 있습니다. 여기에 스크립트를 추가하여..

AWS에서 VPC지정을 위해 내부 사설 IP주소대역을 CIDR방식으로 지정합니다. CIDR방식을 이해하지 못하면 내부에 지정되는 사설 IP값이 어떻게 지정되는지 알지 못합니다. 이번 포스팅에서는 CIDR계산방법을 알아보겠습니다. CIDR 사이더(Classless Inter-Domain Routing, CIDR)는 클래스 없는 도메인 간 라우팅 기법으로 1993년 도입되기 시작한, 최신의 IP 주소 할당방법입니다. IPv4를 내부적으로 효율적으로 사용할 수 있도록 지정할 수 있습니다. /를 기준으로 앞은 host ID, 뒤는 network ID가 됩니다. 그런데 주의할 점은 CIDR의 / 뒤쪽 숫자를 잘못 적으면 올바른 CIDR이 아닐 수 있으므로 주의해야합니다. 예제 10.0.1.0/24 앞쪽 24비트를..

EMR노트북은 이미 생성된 EMR클러스터를 활용할 수 있게 만든 주피터 노트북입니다. EMR클러스터에 직접 인스턴스 접속하여 각종 빅데이터 처리를 해도되지만 주피터를 사용한다면 좀더 편리한 환경에서 R, Python 등을 사용할 수 있습니다. 오늘은 이전에 생성한 스파크 EMR클러스터에 노트북을 연결하여 사용해보는 시간을 가지도록 하겠습니다. 스파크만 가지고 있는 소규모 EMR클러스터 생성은 아래 링크에서 확인하실 수 있습니다. https://blog.voidmainvoid.net/351 소규모 스파크 사용을 위한 AWS EMR 클러스터 생성하기 AWS에는 EMR이라고 불리는 빅데이터 플랫폼이 있습니다. EMR을 통해 스파크, 하이프, HBASE, 플링크 등 다양한 오픈소스 도구 셋트를 생성할 수 있습니..

AWS에는 EMR이라고 불리는 빅데이터 플랫폼이 있습니다. EMR을 통해 스파크, 하이프, HBASE, 플링크 등 다양한 오픈소스 도구 셋트를 생성할 수 있습니다. 온프로미스로 직접 구축하는 것에 비해 매우 빠른 속도로 구축할 수 있으며 AWS에 따르면 온프로미스에서 구축하는 비용에 50%로 사용할 수 있다고 합니다. 오늘은 S3에 저장된 데이터를 스파크로 처리하기 위해 소규모 스파크로만 구성된 EMR클러스터를 생성해보겠습니다. 준비물 - AWS계정 S3 저장소 생성 S3 저장소를 생성하는 것은 쉽습니다. S3 콘솔화면으로 가셔서 버킷을 신규로 생성하면 됩니다. EMR 클러스터 생성 emr클러스터는 aws의 emr콘솔 화면에서 생성할 수 있습니다. 콘솔로 가셔서 아래와 같은 단계를 따라 하시면 됩니다. ..

AWS EC2에서 Amazon Linux 2 AMI를 사용할 경우 java가 설치되어 있지 않아 진행하는데 어려움을 겪으시는 분들이 많습니다. 이번 포스팅에서는 EC2(Amazon Linux 2 AMI) 사용시 1.8 openJDK를 설치하는 실습을 보여드리겠습니다. 1. EC2 발급 가장 기본적인 EC2 발급입니다. 기본 AMI를 사용해서 openJDK 설치하는 방법을 보여드릴것이므로, Amazon Linux 2 AMI를 선택합니다. 2. openjdk yum 설치 설치가 완료되고나면 pem을 통해 ec2로 ssh 접속을 시도합니다. $ ssh -i local-test.pem ec2-user@52.79.140.222 Last login: Mon Jun 1 03:48:09 2020 from 210.211..

EC2는 amazon에서 제공하는 인스턴스(서버) 단위입니다. AWS를 사용하는 가장 기본적인 단위라고 볼 수 있는데요. EC2는 아래와 같이 SLA(서비스 수준 계약)을 제공하고 있습니다. SLA(서비스 수준 계약) Q: Amazon EC2 서비스 수준 계약에서 보장하는 내용은 무엇입니까? SLA는 리전 내 Amazon EC2 및 Amazon EBS에 대해 최소 99.99%의 월간 가동률을 보장합니다. Q: SLA 서비스 크레딧 자격에 부합하는지 어떻게 알 수 있습니까? 운영 중인 지역의 월간 가동률이 매월 결제 주기 동안 99.95% 미만일 경우 Amazon EC2 또는 Amazon EBS(둘 중 하나가 사용 가능하지 않은 경우 또는 둘 다 사용 가능하지 않은 경우)에 대해 SLA 크레딧이 제공됩니다..

elasticbeanstalk와 route53을 통해 443이나 SSL 설정을 하지 않은 Flask application을 route53을 통해 접속할 수 있도록 설정 할 수 있습니다. 준비물 - AWS 계정 - route53으로 등록된 DNS 1개 1. ACM 인증서 등록 ACM(AWS Certificate Manage)을 통해 aws에서 무료 ssl 인증서를 등록할 수 있습니다. 2. elasticbeanstalk 설정 443 ssl 설정을 하지않은 flask에 ssl을 연동하기 위해서는 아래와 같은 형태로 작업할 수 있습니다. 굳이 application에 ssl을 붙이는 힘든 과정이 없더라도 load balancing 앞단에서 443을 받도록 하는 것입니다. 이제 아래와 같이 elasticbeans..

Amazon MSK(Managed Streaming for Apache Kafka)는 AWS에서 제공하는 완전 관리형 apache kafka 서비스입니다. 기존에 on-promise에서 사용하던 혹은 EC2로 관리하던 Apache kafka를 SaaS형태로 사용할 수 있습니다. Apache kafka의 특정 버젼을 그대로 사용할 수 있기 때문에 vanila apache kafka의 버젼별 api spec을 따라서 사용할 수 있습니다. 그럼 이번 포스트에서는 AWS MSK cluster를 직접 구성해보고, producer/consumer을 만들어 테스트해보겠습니다. MSK Cluster 생성 Cluster을 생성하기 위해서 AWS CLI를 사용하거나 혹은 AWS console을 사용할 수도 있습니다.이번 ..

실시간으로 비디오 및 데이터 스트림을 손쉽게 수집, 처리 및 분석 솔루션 Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis 기능 - Kinesis Video streams : 비디오 스트림을 캡처 처리 및 저장 - Kinesis Data streams : 데이터 스트림을 캡쳐, 처리 및 저장 - Kinesis Data firehose : 데이터스트림을 AWS데이터 스토어로 로드 - Kinesis Data analytics : SQL 또는 Java를 통해 스트림 데이터를 분석 이번 포스팅에서 주요하게 볼 서비스는 Data streams 입니다. Data s..

실시간으로 비디오 및 데이터 스트림을 손쉽게 수집, 처리 및 분석 솔루션 Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis 기능 - Kinesis Video streams : 비디오 스트림을 캡처 처리 및 저장 - Kinesis Data streams : 데이터 스트림을 캡쳐, 처리 및 저장 - Kinesis Data firehose : 데이터스트림을 AWS데이터 스토어로 로드 - Kinesis Data analytics : SQL 또는 Java를 통해 스트림 데이터를 분석 이번 포스팅에서 주요하게 볼 서비스는 Data firehose 입니다. Data ..

Elasticbeanstalk란? Elasticbeanstalk는 Java, .NET, PHP, Node.js, Python, Ruby, Go, Docker를 사용하여 Apache, Nginx, Passenger, IIS와 같은 친숙한 서버에서 개발된 웹 애플리케이션 및 서비스를 간편하게 배포하고 조정할 수 있는 서비스이다. Tomcat 배포시 web server configuration?Spring boot MVC를 war package하여 Elasticbeanstalk(tomcat)을 통해 배포하면 자동으로 WAS, WEB 서버가 프로비져닝되어 배포된다. 아주 간편하고 쉬운 배포지만 was control 뿐만아니라 web server을 어떻게 컨트롤 할지 의문이든다. 이 때를 위하여 Elasticbe..