개발이야기 728x90 반응형 EC2 에 있는 파일 로컬로 다운로드 받기 2020. 10. 27. EC2에 있는 파일을 로컬에 다운받기 위해 아래와 같은 절차를 진행합니다. 준비물 - EC2 가상서버 - pem파일(접속 키) 1. 파일 확인 EC2에 접속해서 다운로드할 파일을 확인합니다. $ ll test.log $ pwd /tmp 2. 파일 권한 변경 권한을 변경하여 로컬에서 가져갈수있도록 합니다. $ chomod 777 /tmp/test.log 3. scp를 사용하여 다운로드 파일이 있는 경로를 지정하여 다운로드 진행 합니다. $ scp -i genesis-test.pem centos@13.125.173.119:/tmp/test.log . test.log 100% 78MB 21.2MB/s 00:03 openjdk의 cacert 확인 2020. 9. 16. openjdk 설치 [ec2-user@ip-172-31-6-79 ~]$ sudo yum install -y java-1.8.0-openjdk-devel.x86_64 Loaded plugins: extras_suggestions, langpacks, priorities, update-motd Resolving Dependencies --> Running transaction check ---> Package java-1.8.0-openjdk-devel.x86_64 1:1.8.0.252.b09-2.amzn2.0.1 will be installed --> Processing Dependency: java-1.8.0-openjdk(x86-64) = 1:1.8.0.252.b09-2.amzn2.0.1 for pac.. EMR 노트북에서 secret manager의 비밀키 조회하기 2020. 7. 30. EMR 노트북에서 pyspark를 실행하는데 암/복호화를 위해 secret manager에 암호화 키를 저장하고 조회해야하는 니즈가 있었습니다. 이를 해결하기 위해 secret manager를 사용하였고 어떤 방식으로 진행했는지 알아보겠습니다. 암호화 키를 코드에 직접 hard coding하는 방식은 보안에 매우 취약합니다. AWS를 사용하는 이상 AWS관련 컴포넌트를 활용하여 비밀 키/값을 관리하고 이를 EMR notebook에서 활용하는 방법을 알아보겠습니다. 관련 AWS 컴포넌트 - EMR - EMR notebook - AMI - secret manager EMR 생성시 EC2 인스턴스 프로파일 설정 EMR notebook은 서버리스 주피터/주피터랩입니다. EMR notebook에서 pyspark,.. AWS EMR사용시 사용자 지정 파이썬 라이브러리 설치 및 pyspark 사용 2020. 7. 29. AWS EMR은 하둡관련 패키지를 AWS를 통해 설치하고 프로비져닝하는 도구입니다. 이 도구를 활용하면 매우 빠르게 hadoop, spark 등의 빅데이터 클러스터를 구축할 수 있는데요. 오늘은 이렇게 만든 EMR 클러스터에서 3rd party python library사용을 위한 설치 스크립트를 적용해보겠습니다. 저같은 경우는 pyspark를 자주 사용하는데요. pyspark사용할 경우 추가 pip3라이브러리를 사용해야할 때가 있습니다. pip3 라이브러리를 pyspark로 실행할 경우 스파크가 배포되는 모든 인스턴스에 해당 라이브러리가 설치되어 있어야합니다. EMR에는 bootstrap action이라고 하는 인스턴스 생성할때 실행할 수 있는 스크립트를 지정할 수 있습니다. 여기에 스크립트를 추가하여.. AWS VPC지정을 위한 CIDR 형식 주소값 계산 방법 2020. 7. 28. AWS에서 VPC지정을 위해 내부 사설 IP주소대역을 CIDR방식으로 지정합니다. CIDR방식을 이해하지 못하면 내부에 지정되는 사설 IP값이 어떻게 지정되는지 알지 못합니다. 이번 포스팅에서는 CIDR계산방법을 알아보겠습니다. CIDR 사이더(Classless Inter-Domain Routing, CIDR)는 클래스 없는 도메인 간 라우팅 기법으로 1993년 도입되기 시작한, 최신의 IP 주소 할당방법입니다. IPv4를 내부적으로 효율적으로 사용할 수 있도록 지정할 수 있습니다. /를 기준으로 앞은 host ID, 뒤는 network ID가 됩니다. 그런데 주의할 점은 CIDR의 / 뒤쪽 숫자를 잘못 적으면 올바른 CIDR이 아닐 수 있으므로 주의해야합니다. 예제 10.0.1.0/24 앞쪽 24비트를.. AWS EMR클러스터에서 사용할 수있는 주피터 생성하기(EMR 노트북) 2020. 7. 9. EMR노트북은 이미 생성된 EMR클러스터를 활용할 수 있게 만든 주피터 노트북입니다. EMR클러스터에 직접 인스턴스 접속하여 각종 빅데이터 처리를 해도되지만 주피터를 사용한다면 좀더 편리한 환경에서 R, Python 등을 사용할 수 있습니다. 오늘은 이전에 생성한 스파크 EMR클러스터에 노트북을 연결하여 사용해보는 시간을 가지도록 하겠습니다. 스파크만 가지고 있는 소규모 EMR클러스터 생성은 아래 링크에서 확인하실 수 있습니다. https://blog.voidmainvoid.net/351 소규모 스파크 사용을 위한 AWS EMR 클러스터 생성하기 AWS에는 EMR이라고 불리는 빅데이터 플랫폼이 있습니다. EMR을 통해 스파크, 하이프, HBASE, 플링크 등 다양한 오픈소스 도구 셋트를 생성할 수 있습니.. 소규모 스파크 사용을 위한 AWS EMR 클러스터 생성하기 2020. 7. 9. AWS에는 EMR이라고 불리는 빅데이터 플랫폼이 있습니다. EMR을 통해 스파크, 하이프, HBASE, 플링크 등 다양한 오픈소스 도구 셋트를 생성할 수 있습니다. 온프로미스로 직접 구축하는 것에 비해 매우 빠른 속도로 구축할 수 있으며 AWS에 따르면 온프로미스에서 구축하는 비용에 50%로 사용할 수 있다고 합니다. 오늘은 S3에 저장된 데이터를 스파크로 처리하기 위해 소규모 스파크로만 구성된 EMR클러스터를 생성해보겠습니다. 준비물 - AWS계정 S3 저장소 생성 S3 저장소를 생성하는 것은 쉽습니다. S3 콘솔화면으로 가셔서 버킷을 신규로 생성하면 됩니다. EMR 클러스터 생성 emr클러스터는 aws의 emr콘솔 화면에서 생성할 수 있습니다. 콘솔로 가셔서 아래와 같은 단계를 따라 하시면 됩니다. .. '아파치 카프카 입문' 5시간 기술 강의 회고, 느낀점, 아쉬운점 정리. 기술강의를 준비하는 분들이 봐야할 글. 2020. 6. 29. 지난 6월 19일(금) SK플래닛 T아카데미(서울대연구공원 단지 내 SK연구동)에서 '아파치 카프카 입문과 활용'이라는 제목으로 카프카강의를 수행하였습니다. 총 강의 시간은 5시간으로서 오후 1시부터 시작하여 오후 6시에 끝나는 꽤나 긴 시간의 강의였습니다. 오늘 포스트에서는 제가 기술 강의를 수행하기 위해 어떤 준비를 했는지, 어떤 과정을 거치고 어려운점은 무엇이었는지, 마지막으로 느낀점에 대해서 정리하겠습니다. 강의를 제안받다 제가 초청받은 강의는 토크ON세미나입니다. SK플래닛 T아카데미에서 주최하는 이 세미나는 ICT분야의 커리어 설계를 준비하는 대학생을 위한 Interactive세미나로서, 다양한 ICT주제로 매달 세미나를 열고 있습니다. SK플래닛의 사내/외 전문가를 초청하여 세미나를 열고 있.. python에서 json data다룰때 key가 존재하는지 확인하는 가장 간단한 방법 2020. 6. 23. python에서는 json타입을 다룰 때가 많습니다. json의 key가 존재하는지도 확인할 때가 많은데요 이를 확인하기 위해 아래와 같은 function을 활용하면 아주 쉽게 처리할 수 있습니다. def is_json_key_present(json, key): try: buf = json[key] except KeyError: return False return True 원문 - stackoverflow.com/a/59288397/9634545 Tab delimiter(\t)이 포함된 파일 grep으로 매칭/검색하기 2020. 6. 23. 아래와 같이 tab이 포함된 파일의 경우 grep으로 특정 row만 데이터를 추출하기 위해 grep의 옵션을 사용할 수 있습니다. 예시 데이터(tab delimiter로 구분됨) test-data.log 2019seoulkorea0809 2020newyorkusa3251 2021brisbaneaustralia23222 만약 위 데이터에서 2020\tnewtork을 검색하고 싶다면 아래와 같이 grep명령어를 활용합니다. $ test-data.log | grep -e $'2020\tnewyork' -e 옵션을 통해 확장된 정규 표현식패턴으로 검색이 가능합니다. 추가로 $(달러표시)를 함께 활용하면 bash에서 tab escape를 interprete하여 검색에 활용할 수 있습니다. 위 명령어의 결과물은 아.. aws ec2에 openJDK 1.8 설치하기 실습 예제 2020. 6. 1. AWS EC2에서 Amazon Linux 2 AMI를 사용할 경우 java가 설치되어 있지 않아 진행하는데 어려움을 겪으시는 분들이 많습니다. 이번 포스팅에서는 EC2(Amazon Linux 2 AMI) 사용시 1.8 openJDK를 설치하는 실습을 보여드리겠습니다. 1. EC2 발급 가장 기본적인 EC2 발급입니다. 기본 AMI를 사용해서 openJDK 설치하는 방법을 보여드릴것이므로, Amazon Linux 2 AMI를 선택합니다. 2. openjdk yum 설치 설치가 완료되고나면 pem을 통해 ec2로 ssh 접속을 시도합니다. $ ssh -i local-test.pem ec2-user@52.79.140.222 Last login: Mon Jun 1 03:48:09 2020 from 210.211.. EC2 SLA(서비스 계약 수준) 에 따른 uptime, downtime 시간 계산 2020. 5. 28. EC2는 amazon에서 제공하는 인스턴스(서버) 단위입니다. AWS를 사용하는 가장 기본적인 단위라고 볼 수 있는데요. EC2는 아래와 같이 SLA(서비스 수준 계약)을 제공하고 있습니다. SLA(서비스 수준 계약) Q: Amazon EC2 서비스 수준 계약에서 보장하는 내용은 무엇입니까? SLA는 리전 내 Amazon EC2 및 Amazon EBS에 대해 최소 99.99%의 월간 가동률을 보장합니다. Q: SLA 서비스 크레딧 자격에 부합하는지 어떻게 알 수 있습니까? 운영 중인 지역의 월간 가동률이 매월 결제 주기 동안 99.95% 미만일 경우 Amazon EC2 또는 Amazon EBS(둘 중 하나가 사용 가능하지 않은 경우 또는 둘 다 사용 가능하지 않은 경우)에 대해 SLA 크레딧이 제공됩니다.. elasticbeanstalk + route53 으로 SSL(443) 접속 flask application 생성하는 가장 간단한 방법 2020. 5. 15. elasticbeanstalk와 route53을 통해 443이나 SSL 설정을 하지 않은 Flask application을 route53을 통해 접속할 수 있도록 설정 할 수 있습니다. 준비물 - AWS 계정 - route53으로 등록된 DNS 1개 1. ACM 인증서 등록 ACM(AWS Certificate Manage)을 통해 aws에서 무료 ssl 인증서를 등록할 수 있습니다. 2. elasticbeanstalk 설정 443 ssl 설정을 하지않은 flask에 ssl을 연동하기 위해서는 아래와 같은 형태로 작업할 수 있습니다. 굳이 application에 ssl을 붙이는 힘든 과정이 없더라도 load balancing 앞단에서 443을 받도록 하는 것입니다. 이제 아래와 같이 elasticbeans.. 로드밸런서란? OSI 계층별 로드밸런서 2020. 3. 19. 오늘은 로드밸런서와 로드밸런서 종류에 대해서도 아래와 같이 알아보도록 하겠습니다. 로드밸런싱 로드밸런싱은 컴퓨터 네트워크 기술의 일종으로 둘 혹은 셋이상의 서버로 분산하는것을 뜻합니다. 쉽게 말해 n개의 서버를 특정 기준으로 분산시켜 처리하는 것이라 볼 수 있습니다. 로드밸런싱을 실제로 수행하는 주체가 로드밸런서(Load Balanceer) 입니다. 로드 밸런싱은 다양한 알고리즘으로 수행합니다. 로드밸런싱 알고리즘 - 라운드 로빈 : 분배의 가장 기본적인 방식. 각 서버별로 돌아가면서 할당 - 가중 라운드 로빈 : 각 서버별로 돌아가면서 할당하지만 일부 서버는 큰 트래픽을 몰아받는 방식 - 랜덤 : 랜덤하게 분배되는 방식 - URL 해쉬 : 접속하는 IP 주소와 동일한 서버주소에 매칭 - 기타 등등.. .. 개발자 유튜버, 구독자 1000명 달성까지의 여정. 그리고 수익창출 2020. 3. 12. 2020년 3월 11일 이날은 제가 운영하고 있는 개발 유튜브(데브원영 DevWonYoung)의 구독자 1000명🎉을 달성한 날입니다. 개발관련 영상을 본격적으로 올린지 214일만인데요. 오늘 포스팅에서는 개발 유튜브를 하면서 느낀점에 대해서 이야기해보려고 합니다. 사실, 18년 여름에 Grafana를 소개하는 영상을 올린적이 있었지만 그 당시에는 편집도 서툴렀고, 어떻게 사람들에게 내용을 잘 전달할 수 있을지 크게 고민을 하지 않았습니다. 이후에 어떤 방향으로 유튜브영상을 올릴지 고민을 거듭한 끝에 2019년 8월 11일에 hombrew를 소개하는 영상을 시작으로 본격적으로 업로드를 시작하였습니다. 구독자 100명이 되기전까지 초반에는 유튜브 채널의 방향성에 대해서 많은 고민을 하였습니다. 영상이 몇개.. 이전 1 2 3 4 5 ··· 8 다음 728x90
