최신 글
-
Kafka 커넥트 REST API 확장 플러그인 : Connect Rest Extension Plugin Connect Framework offers REST API that is used to mange the lifecycle of the connector. Its imperative in most enterprises to secure the API and also add authorization to the end points. We could add the ability for authentication and authorization in the framework. But the security requirements are so broad that it's not practical to support all of them in the framework. Hence we must provide a.. -
Kafka 카프카 커넥터의 태스크에 Priority를 부여할 수 없을까? 관련 지라 : KAFKA-5741 https://issues.apache.org/jira/browse/KAFKA-5741 [KAFKA-5741] Prioritize threads in Connect distributed worker process - ASF JIRA Connect's distributed worker process uses the DistributedHerder to perform all administrative operations, including: starting, stopping, pausing, resuming, reconfiguring connectors; rebalancing; etc. The DistributedHerder uses a single threaded exec.. -
Kafka 토픽을 GlobalKTable 구체화된 뷰(view) 키-값 저장소로 사용시 특이점 및 주의사항 https://blog.voidmainvoid.net/442 카프카 스트림즈 KTable로 선언한 토픽을 key-value 테이블로 사용하기 카프카 스트림즈의 KTable은 토픽의 데이터를 key-value형태로 사용할 수 있도록 구체화된 뷰(Materialized View)를 제공합니다. 구현방법은 다음과 같습니다. 0. 카프카 스트림즈 디펜던시 추가 dependencies blog.voidmainvoid.net 토픽의 데이터를 키-값 저장소로 사용하여 데이터를 조회할 수 있는 방법을 앞서 다루어 보았습니다. 아래는 응용하여 만든 GlobalKTable의 뷰 입니다. StreamsBuilder builder = new StreamsBuilder(); GlobalKTable addressTable = b.. -
Java & Scala 현재 시간을 특정 포맷 yyyyMMdd HH:mm:ss 로 String 출력하기 public class Main { public static void main(String[] args) throws Exception { DateFormat dateFormat = new SimpleDateFormat("yyyyMMdd HH:mm:ss"); String dateTime = dateFormat.format(new Date()); System.out.println(dateTime); } } 현재 시간을 특정 포맷 yyyyMMdd HH:mm:ss 로 String 출력하기 아래는 출력물 20220914 00:19:07 -
개발이야기 Blink LED - python raspberry pi 3 import RPi.GPIO as GPIO from time import sleep GPIO.setmode(GPIO.BCM) GPIO.setwarnings(False) GPIO.setup(17, GPIO.OUT, initial=GPIO.LOW) while True: GPIO.output(17, GPIO.HIGH) print("LED on") sleep(1) GPIO.output(17, GPIO.LOW) print("LED off") sleep(1) -
개발이야기 raspberry pi의 vim에서 화살표, delete key 사용하기 $ cat ~/.vimrc set backspace=indent,eol,start set nocompatible $ source ~/.vimrc vim사용편리하게 만들기 -
Kafka 카프카 커넥트/커넥터 내부 살펴보기 - 2.8기준, sinkTask 위주로 카프카 커넥트는 data sink/source를 위한 파이프라인을 운영하기 위해 만들어진 모듈입니다. 크게 두가지 Connect 타입을 지원하고 있습니다. standalone부터 distributed까지 코드를 보면서 내부 구조를 살펴보겠습니다. 우선 살펴봐야할 것은 cli입니다. ConnectDistributed.java 또는 ConnectStandalone.java에서 시작합니다. 커넥트를 실행할 때는 다음과 같은 명령어로 실행하기 때문에 위 자바 파일이 시작점이라 볼 수 있습니다. // standalone일 경우 $ bin/connect-standalone worker.properties connector1.properties [connector2.properties connector3.proper.. -
Kafka ConnectException: Exiting WorkerSinkTask due to unrecoverable exception 이슈란? org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception. at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:609) at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:329) at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:232) at org.apache.kafka.connect.runtim.. -
Kafka WINDOW STORE CHANGE LOG ADDITIONAL RETENTION MS CONFIG 옵션 분석 /** {@code windowstore.changelog.additional.retention.ms} */ @SuppressWarnings("WeakerAccess") public static final String WINDOW_STORE_CHANGE_LOG_ADDITIONAL_RETENTION_MS_CONFIG = "windowstore.changelog.additional.retention.ms"; private static final String WINDOW_STORE_CHANGE_LOG_ADDITIONAL_RETENTION_MS_DOC = "Added to a windows maintainMs to ensure data is not deleted from the log prematurely. A.. -
Kafka 초급자를 위한 [아파치 카프카 애플리케이션 개발]온라인 강의를 출시하였습니다. 2022년 5월! 온라인 교육 사이트인 인프런에서 [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! 강의를 출시하였습니다. 강의 링크 : https://bit.ly/3PsEAt8 [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! - 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그래밍 지식들을 모았습니다! 데이터 파이프라인을 구축하는데 핵심이 되는 아파치 카프카의 각종 기능들을 살펴보고 실습하는 시간 www.inflearn.com - 강의 이름 : [아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지! - 강의 설명 : 실전 환경에서 사용하는 아파치 카프카 애플리케이션 프로그..
인기글
-
하둡 Hdfs dfs 명령어 정리 및 설명(ls, cat, du, count, copyFromLocal 등) Hadoop을 적절히 사용하기 위해서는 hdfs 명령어를 알아야 한다. 아래에 정리를 해 보았다. ※ 2.6.0 version을 기준으로 정리함 Hadoop 명령어 Hadoop filesystem command를 사용하기 위함. Usage : hdfs dfs [GENERIC_OPTIONS] [COMMAND_OPTIONS] HDFS 명령어 File System(FS) shell은 Hadoop Distributed File System(HDFS)를 여타 파일시스템처럼 관리하기 위한 목적으로 command를 사용할 수 있다. Hadoop-2.6.0에서는 총 33개의 HDFS 명령어를 지원한다. 1) appendToFile Local 파일들을 hdfs에 append 저장하기 위한 목적 Usage: hdfs df..
-
servlet container [linux] netstat 명령어 설명 및 예제 netstat 소개netstat(network statistics)는 전송 제어 프로토콜, 라우팅 테이블, 수많은 네트워크 인터페이스(네트워크 인터페이스 컨트롤러 또는 소프트웨어 정의 네트워크 인터페이스), 네트워크 프로토콜 통계를 위한 네트워크 연결을 보여주는 명령 줄 도구이다. OS X, 리눅스, 솔라리스, BSD를 포함한 유닉스 계열 운영 체제와 윈도우 XP, 윈도우 비스타, 윈도우 7, 윈도우 8, 윈도우 10을 포함한 윈도우 NT 기반 운영 체제에서 이용이 가능하다. 네트워크의 문제를 찾아내고 성능 측정으로서 네트워크 상의 트래픽의 양을 결정하기 위해 사용된다.리눅스에서 net-tools의 일부인 netstat은 시대에 뒤쳐진 것으로 간주되며, iproute2의 일부인 ss를 대신 사용하여야 한..
-
JS & JQuery jqeury 스크롤 내리다가 특정 영역(부분) 이벤트 발생시키기 웹을 개발하다가 보면 스크롤을 내리다가 특정부분이 되면 혹은 특정 div가 나오게 되면 이벤트를 발생시키고 싶어 할 때도 있다. 아닐때도 있고, 갑자기 하고싶을 때도 있다. 이때 아래와 같이 사용하게 되면 이벤트를 딱 한번만 발생을 시킬 수 있다. HTML scroll down to see the div CSS body, html { height: 100%; } #wrapper { height: 400%; background: none repeat scroll 0 0 #f99ccc ; text-align:center; padding-top:20px; font-size:22px; } #tester { padding-top:1200px; height: 600px; background: none repeat ..
-
JS & JQuery [JavaScript]변수내용이 json인지 확인하는 method(check valid json) js에서 사용하고 있는 variable이 json인지 여부를 확인하고 싶을때가 있다. npm을 사용한 여러 library를 사용하는 방법도 있지만 아래와 같이 간단한 method를 활용하는 방법도 있다. function IsJsonString(str) { try { var json = JSON.parse(str); return (typeof json === 'object'); } catch (e) { return false; } } JSON.parse(str) 메서드 ECMAScript 2015의 standard method이다. JSON.parse(str)는 json의 문자열 구문을 분석하고 들어온 파라미터를 js값이나 객체로 생성한다. 이때 정상적인 json type이 아닌경우 exception을 반.. -
CI & CD 젠킨스 파이프라인 문법(Pipeline Syntax) 총정리 젠킨스 파이프라인을 구성하기 위해서는 파이프라인 문법을 작성하는게 중요하다. 단순히 groovy에 대한 문법 뿐만아니라 jenkins에서 사용가능한 준비된 function들(혹은 block들)을 잘 익히고 사용하는 것이 매우 중요하다!(ex. timeout) [개발이야기/Jenkins] - Jenkins Pipeline 개요 및 파이프라인 스크립트 예제 에서 간단한 파이프라인에 대한 개요를 확인 할 수 있다. 파이프라인 선언 파이프라인 선언은 간단하게 아래와 같은 block으로 이루어 진다. 모든 파이프라인은 반드시 pipeline block으로 감싸져야 한다. 파이프라인 안쪽의 statement, expression은 groovy 언어를 따른다. pipeline { /* insert Declarativ..
-
스프링 프레임워크 Spring boot application.properties 설명 스프링 프레임 워크는 자바앤터프라이즈 애플리케이션을 구동하기 위한 취적의 프레임 워크이다. 한국 정부에서는 애초에 전자정부의 프레임 워크를 이 스프링 프레임워크를 채용하여 사용하고 있으며 많은 대기업들이 거대한 서비스를 제공하기 위해서 스프링 프레임 워크를 사용하고 있다. 스프링 프레임 워크는 스프링 부트, JPA, 배치 등 여러가지 편리하고 유용한 서비스들을 만들수 있도록 도와준다. 그 중 스프링 부트(Spring boot)는 스프링 프레임워크를 빠르게 개발할 수 있도록 도와주는 유용한 기능이다. 이전에 스프링에서 사용하고, 써야 했던 xml파일들을 간단히 java파일에서 annotation으로 선언만 하면 자동으로 bean 등이 등록이 되어 이해하기도 쉽고 개발도 한결 쉬워진다. Spring-Boot..
-
JS & JQuery [Vue.JS] button 클릭시 다른 홈페이지로 redirect하는 방법 VueJS를 개발하다보면 button click시에 특정 홈페이지로 redirect하기를 원할 때가 있다. 그때는 아래와 같이 정의하면 된다. Redirect to Google click event를 받는 method에서 window.open method를 호출! -
개발이야기 NAT IP란? NAT는 Network Address Translation의 줄임말 입니다. NAT는 사설 네트워크에 속한 여러 개의 호스트가하나의 공인 IP 주소를 사용하여 인터넷에 접속하기 위해 사용합니다. 쉽게말해서 외부망과 내부망을 나눠주는 기능을 하게 되는 것입니다. NAT 특징 - 내부에서 외부로 통신 가능 - 외부에서 내부로 통신 불가 NAT 장점 - 여러 사설 네트워크를 사용함으로서 인터넷 공인 IP 주소를 절약 가능. - 사내망 IP주소를 외부로 알리지 않음으로서 외부로 부터의 침입/공격 차단 NAT 단점 - 네트워크 복잡성 증가 - 네트워크 지연 영향 NAT 종류 - Static NAT : 사설IP와 공인 IP를 1:1 매핑 - Dynamic NAT : 다수 공인 IP와 다수 사설 IP 매핑 - PAT.. -
AWS AWS MSK(Kafka) 실습 및 예제 코드(Java), 장단점, 가격 Amazon MSK(Managed Streaming for Apache Kafka)는 AWS에서 제공하는 완전 관리형 apache kafka 서비스입니다. 기존에 on-promise에서 사용하던 혹은 EC2로 관리하던 Apache kafka를 SaaS형태로 사용할 수 있습니다. Apache kafka의 특정 버젼을 그대로 사용할 수 있기 때문에 vanila apache kafka의 버젼별 api spec을 따라서 사용할 수 있습니다. 그럼 이번 포스트에서는 AWS MSK cluster를 직접 구성해보고, producer/consumer을 만들어 테스트해보겠습니다. MSK Cluster 생성 Cluster을 생성하기 위해서 AWS CLI를 사용하거나 혹은 AWS console을 사용할 수도 있습니다.이번 .. -
nosql NoSQL강의) mongoDB에서 data 모델링하는 방법. 예제포함. MongoDB 주요 특징 Secondary Index ▪ 다른 NOSQL 보다 secondary index 기능이 발달되어 있음 샤드키 지정 ▪ _id : 키 필드 ▪ Shard Key _id - 대부분의 NOSQL은 Row Key = Shard Key 임 Document 기반 ▪ JSON Style의 Document : BSON(Binary JSON) Modelling 주요 적용 모델링 기법 ▪ 비정규화(Denormalization) ▪ 집합(Aggregation) 기타 mongoDB에 대한 정보 → https://blog.voidmainvoid.net/239 NoSQL강의) mongoDB 개요 및 설명 한페이지에 끝내기(mapReduce, aggregate 예제 포함) Humongous DB ▪ Do..
728x90