개발이야기 728x90 반응형 NAT IP란? 2020. 3. 8. NAT는 Network Address Translation의 줄임말 입니다. NAT는 사설 네트워크에 속한 여러 개의 호스트가하나의 공인 IP 주소를 사용하여 인터넷에 접속하기 위해 사용합니다. 쉽게말해서 외부망과 내부망을 나눠주는 기능을 하게 되는 것입니다. NAT 특징 - 내부에서 외부로 통신 가능 - 외부에서 내부로 통신 불가 NAT 장점 - 여러 사설 네트워크를 사용함으로서 인터넷 공인 IP 주소를 절약 가능. - 사내망 IP주소를 외부로 알리지 않음으로서 외부로 부터의 침입/공격 차단 NAT 단점 - 네트워크 복잡성 증가 - 네트워크 지연 영향 NAT 종류 - Static NAT : 사설IP와 공인 IP를 1:1 매핑 - Dynamic NAT : 다수 공인 IP와 다수 사설 IP 매핑 - PAT.. system call이란? 2020. 3. 8. OS는 크게 커널모드와 사용자모드로 나뉘어 집니다. - 커널모드 : 모든 시스템 메모리 접근 가능. 모든 CPU명령 실행 가능 - 사용자모드 : 사용자 애플리케이션 실행. 하드웨어 직접 접근 불가. System call 호출시 일시적으로 커널모드로 전환. 커널영역의 기능을 사용자모드가 접근하게 도와주는 기능을 System call이라고 부릅니다.. System call을 사용하는 이유? 가장 큰 이유는 유저 애플리케이션(ex. 우리가 흔히 개발하여 실행하는 자바 애플리케이션)이 운영체제의 치명적인 데이터를 수정/삭제하는 권한을 막기 위해서 입니다. 직접적인 하드웨어 요청이나 기타 시스템요청은 OS가 제공하는 System call을 통해 호출하도록 제공해줍니다. 만약 유저 애플리케이션이 System cal.. 공개 키 암호방식이란? 2020. 3. 7. 공개키 암호화 방식은 암호방식중 한종류로 사전에 비밀키를 나눠가지지 않은 사용자들이 안전하게 통신할 수 있도록 설계된 것입니다. 공개키 알고리즘은 비대칭 암호라고 부르기도 합니다. 왜냐면 공개키 암호화 방식은 암/복호화에 다른 암호키를 사용하기 때문입니다. 통신을 위해 필요한 키 종류는 2가지입니다. 1) 공개 키 : 누구나 알 수 있음 2) 비밀(개인) 키 : 소유자만 알 수 있음 공개키 암호 방식은 2가지로 나뉩니다. 1) 공개 키 암호 : 비밀키를 가지고 있는 사람만 내용을 확인 가능 2) 공개 키 서명 : 특정한 비밀키로 만들었다는 것을 누구나 확인 가능 공개 키 암호방식 통신 예제 A사용자에게서 B사용자에게로 데이터를 전달하고 싶을 때, Destination인 B사용자 이외 사람은 해독이 불가능.. Docker application이 host machine의 application(localhost)에 접근하도록 하는 방법 2020. 1. 28. Docker로 감싼 application이 host machine에 떠 있는 web application에 접근하려고 하면 어떤 현상이 일어날까요? 호출하기 위해 시도한 방법은 아래와 같습니다. 시도방법 : Docker application(alpine linux)에서 http://localhost:3000 호출 결과 : connection refuse 발생 사유 : Docker application이 자기자신의 docker container내부에 떠 있는 localhost를 호출함(not host machine) 당연히 Docker container내부의 localhost를 호출하다보니 timeout으로 인해 connection refuse가 일어날 수 밖에 없습니다. 이를 해결하기 위한 방법은 Doc.. AWS MSK(Kafka) 실습 및 예제 코드(Java), 장단점, 가격 2019. 12. 26. Amazon MSK(Managed Streaming for Apache Kafka)는 AWS에서 제공하는 완전 관리형 apache kafka 서비스입니다. 기존에 on-promise에서 사용하던 혹은 EC2로 관리하던 Apache kafka를 SaaS형태로 사용할 수 있습니다. Apache kafka의 특정 버젼을 그대로 사용할 수 있기 때문에 vanila apache kafka의 버젼별 api spec을 따라서 사용할 수 있습니다. 그럼 이번 포스트에서는 AWS MSK cluster를 직접 구성해보고, producer/consumer을 만들어 테스트해보겠습니다. MSK Cluster 생성 Cluster을 생성하기 위해서 AWS CLI를 사용하거나 혹은 AWS console을 사용할 수도 있습니다.이번 .. 티스토리 블로그에 눈⛄내리게 하기! 간단한 Javascript, html 편집 2019. 12. 24. 티스토리블로그는 js, css, html 등 다양한 확장기능을 가지고 있습니다. 이러한 기능을 토대로 블로그를 더욱 멋지게 꾸밀 수 있는데요. 이번 포스팅에서는 블로그에 눈이 내리게 하는 효과를 적용하는 예제를 설명드리도록 하겠습니다. 준비물 준비물은 아래와 같습니다. 약간의 웹개발 지식과 시간을 약간 가미하여 눈내리는 블로그를 만들어 봅시다. - 티스토리 블로그 - 간단한 js, html 지식 - 5분 적용방법 1) snow.js 다운로드 적용할 javascript는 zmfe유저의 snow.js 입니다. fure javascript와 canvas로 구현한 오픈소스입니다. - url : https://github.com/zmfe/snow.js 위 url에서 source를 다운로드 할 수 있습니다. 그러나.. AWS kinesis Data stream 실습 및 예제 코드(Java), 장단점, 가격 2019. 12. 23. 실시간으로 비디오 및 데이터 스트림을 손쉽게 수집, 처리 및 분석 솔루션 Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis 기능 - Kinesis Video streams : 비디오 스트림을 캡처 처리 및 저장 - Kinesis Data streams : 데이터 스트림을 캡쳐, 처리 및 저장 - Kinesis Data firehose : 데이터스트림을 AWS데이터 스토어로 로드 - Kinesis Data analytics : SQL 또는 Java를 통해 스트림 데이터를 분석 이번 포스팅에서 주요하게 볼 서비스는 Data streams 입니다. Data s.. AWS kinesis Firehose 실습 및 예제 코드(Java), 장단점, 가격 2019. 12. 20. 실시간으로 비디오 및 데이터 스트림을 손쉽게 수집, 처리 및 분석 솔루션 Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis 기능 - Kinesis Video streams : 비디오 스트림을 캡처 처리 및 저장 - Kinesis Data streams : 데이터 스트림을 캡쳐, 처리 및 저장 - Kinesis Data firehose : 데이터스트림을 AWS데이터 스토어로 로드 - Kinesis Data analytics : SQL 또는 Java를 통해 스트림 데이터를 분석 이번 포스팅에서 주요하게 볼 서비스는 Data firehose 입니다. Data .. Udacity 데이터 스트리밍 강의정리 - Faust python module 소개 2019. 11. 21. # Python Streams ٩(◕‿◕)۶ # Forever scalable event processing & in-memory durable K/V store; # w/ asyncio & static typing. import faust Faust는 python의 stream processing library이다. kafka stream의 python버젼이라고 볼수 있습니다. Faust는 stream processing과 event processing 둘다 지원합니다. DSL언어를 사용하지 않고 pytthon library로서 동작합니다. 그렇기 때문에 Flask, NumPy, PyTorch 등과 함께 사용 할 수 있습니다. - Faust url : https://faust.readthedocs.io.. Udacity 데이터 스트리밍 강의정리 - 데이터 스트리밍 기초 2019. 11. 20. 데이터 스트리밍 이론 목차 - Strategies for Application Design - Combining Streams - Filtering Streams - Remapping Streams - Aggregating Streams - Handling Time and Windowing - Streams vs Tables 들어가기 전에 -Join (Streams) 1개 이상의 output stream의 조합. 보통 연관된 key로 조합하는 것 -Filtering (Streams) 데이터 스트림에서 일정 조건에 따라 데이터를 제거하는것 -Aggregating (Streams) 데이터 스트림에서 더하거나 빼거나 key를 기반으로 group을 만드는 것 -Remapping (Streams) 데이터 스트림에.. Udacity 데이터 스트리밍 강의 후기- Apache Kafka 2019. 11. 18. Udacity의 Data streaming Nanodegree program을 듣고 난 후기를 공유하고자 합니다. Nanodegree program은 udacity의 certification program입니다.다. 강의를 모두 수강하고 난 뒤에는 Nanodegree(나노디그리) 라고 하는 학위는 아니고 증명서를 발급받을 수 있습니다. 이번에 들은 강의는 Udacity의 데이터스트리밍 강의입니다. 기본적으로 2달의 수강기간을 예상치로 잡고 있으며 Python, SQL, ETL에 대한 기본적인 개념을 가지고 있어야만 수강하는데 문제가 없다고합니다. 가격은 1달에 한화 약 47만원입니다.(2달에 약 80만원) 데이터 스트리밍은 현대의 빅데이터 비즈니스모델을 실시간으로 분석하고 처리하기 위해 사용됩니다. 이 .. TED 자막으로 영어 공부 - 웨일확장앱 2019. 11. 15. TED는 세상을 좀 더 나은 곳으로 만들기 위해 고민하는 사람들의 학술장의 중 하나입니다. TED는 여러 좋은 강의들이 많습니다. 대부분 영상이 영어자막을 지원하며 유튜브, 네이버TV 기타 여러 스트리밍에서도 무료로 볼 수 있습니다. 대부분 매우 좋은 퀄리티의 강의로서 짧으면서도 명료하기 때문에 영어공부를 겸하기에 아주 좋습니다. TED를 통해 영어자막으로 공부하려고 하다보니 반복재생이나 이미 지나간 자막에 대해서 한번더 볼려고 하면 다시 영상을 되돌려야 하기도 합니다. 웨일 브라우저에서 TED를 공부하기에 좋은 앱이 있어서 소개하고자 합니다. 안봐도 비디오 안봐도 비디오는 웨일브라우저의 확장앱입니다. 동영상기반 일부 웹페이지와 연동되어 사용가능하며 반복재생 등과 같은 기능을 통해 학습이 가능합니다. 다.. [Python서버] Django vs Flask 2019. 10. 10. Django, Flask모두 python에서 사용가능한 웹 프레임워크이다. Django는 MVC모델로 만들 수 있고 Flask는 micro-framework라는 특성을 가진다. Flask는 ORM을 지원하지 않지만 간단하게 서버를 만들 수 있다는 점에서 강점을 가진다. Django Django가 추구하는바는 복잡한 database기반의 서버를 간단하게 만드는 것이다. component들을 재사용하고 code를 줄이고 coupling을 줄이면서도 빠르게 개발할 수 있도록 만들어져 있다. 웹 애플리케이션이 제공되어야하는 사용자 인증, 관리 등을 기본적으로 기능이 구현되어 있다. 인스타그램, 핀터레스트같이 성공적인 도입사례도 있다. HelloWorld Django Django의 가장 기본적인 directory.. shell script - apache access log에서 접근 url top 10 추출하기 2019. 8. 30. 아래와 같은 apache access log가 존재한다고 가정하자 테스트 데이터 127.0.0.1 - - [10/Feb/2019:11:11:55 +0000] "GET / HTTP/1.1" 10.10.30.3 - - [10/Oct/2018:13:55:36 -0700] "GET /apache_pb.gif" 10.10.30.2 - - [10/Oct/2019:13:55:36 -0100] "GET /two.html" ... ... 상기 apache access log 중 log 앞에 있는 access ip를 뽑아서 top 10을 script로 뽑으려면 어떻게 해야할까? 1. cat과 awk로 ip만 추출 명령어 $ cat test_apache_log.txt|awk '{print $1}' cat과 awk를 통해 아.. Intellij에서 줄바꿈 간격 화면에 맞게 custom 조정하기 꿀팁 2019. 8. 8. Intellij를 사용하여 개발을 하다보면 code가 너무 길어서 가로스크롤(horizontal scroll)을 해야할 때가 있는데 이때 스트레스가 이만저만이 아니다. 이때 줄바꿈 간격을 화면에 맞게 줄인다면 한눈에(혹은 한 스크린에) 코드를 볼 수있고 줄간격도 조절된다. 문제점 아래는 github에 올라가 있는 kafka source 중 ConsumerConfig.java file의 code인데 너무 길어서 가로 스크롤이 생긴 것이 보인다. 해결방법 Intellij → cmd + , → search 'hard wrap' → change value hard wrap 셋팅이 완료되면 cmd + option + l (macOS 기준)을 눌러 자동 줄바꿈을 실행한다. 이전 1 2 3 4 5 6 ··· 8 다음 728x90
