분류 전체보기 728x90 반응형 Compacted topic에 null key 레코드를 전송하면? 2023. 6. 30. Compacted topic에 null key를 전송(produce)하면 어떻게 될까요? 1) Compacted 토픽 생성 $ ./kafka-topics.sh --bootstrap-server localhost:9092 --topic compact-test --config "cleanup.policy=compact" --create Created topic compact-test. $ ./kafka-topics.sh --bootstrap-server localhost:9092 --topic compact-test --describe Topic: compact-testPartitionCount: 1ReplicationFactor: 1Configs: cleanup.policy=compact,segment.b.. 아파치 카프카 Exactly-once 처리의 진실과 거짓 2023. 6. 20. 아파치 카프카와 같은 분산 이벤트 스트리밍 플랫폼을 사용하거나 메시지 브로커를 활용하다 보면 항상 마주치는 문제는 마로 메시지 전달 시멘틱(message delivery semantic)입니다. 메시지 전달 시멘틱은 A지점에서 B지점으로 데이터를 전송할 때 어느 만큼의 신뢰도로 데이터를 전송하는지에 대한 정의입니다. 즉, 특정한 장애 상황(또는 임계치를 벗어난 상황)에서도 보증하는 데이터 전달 신뢰도라고 볼 수 있습니다. 메시지 전달 시멘틱은 크게 세가지로 나뉩니다. 적어도 한번(at least once), 많아도 한번(at most once), 정확히 한번(exactly once). '적어도 한번'은 데이터가 전달될 때 유실이 발생하지는 않지만 중복이 발생할 가능성이 있음을 뜻합니다. 아파치 카프카는 .. [개발자를 넘어 기술 리더로 가는 길]읽고 정리 2023. 6. 19. 타냐 라일리 https://www.linkedin.com/in/tanyareilly/ 타냐 라일리는 중간급 엔지니어가 되었을 때 매니저가 되고 싶지 않았고 '스태프 엔지니어의 길'로 가고 싶었다. 기술 전략 수립, 조직을 성공적으로 이끌기 위한 방법에 대해 고민했고 이에 대한 내용을 정리했다. 두 가지 진로 개발자는 크게 두가지 진로가 있다. 1) 매니저 - 명확하게 소통 - 위기 상황에서 침착함 유지 - 동료들이 더 나은 일을 할 수 있도록 도움 - 많은 사례들이 나와 있음 2) 스태프 엔지니어(기술 리더) - 불분명한 길 타냐 라일리가 생각하는 스태프 엔지니어의 필요한 역할 3가지 1) 빅 픽처 관점의 사고력 : 현재 상황에 대해 인지하고 기업에 필요한 것이 무엇인지 파악하여 n년 단위 프로젝트 진행.. 모던 데이터 플로우: 데이터 파이프라인을 잘 운영하는 방법 2023. 6. 12. https://www.confluent.io/events/kafka-summit-london-2022/modern-data-flow-data-pipelines-done-right/ Kafka Summit London 2022 Keynote | Jay Kreps, CEO, Confluent featuring Avi Perez, Wix.com Confluent is building the foundational platform for data in motion so any organization can innovate and win in a digital-first world. www.confluent.io 메이븐에서 카프카 자바 라이브러리의 사용율이 급격하게 올라가는 것을 볼 수 있음. 그만큼 카프카의 사.. golang struct type을 JSON으로 Print 하기 2023. 3. 29. package main import ( "encoding/json" "fmt" ) type Person struct { Name string Age int } func main() { myStruct := Person{"dvwy", 145} fmt.Println("=======") fmt.Println(myStruct) fmt.Println(prettyPrint(myStruct)) } func prettyPrint(i interface{}) string { s, _ := json.MarshalIndent(i, "", "\t") return string(s) } 결과는 다음과 같습니다. {dvwy 145} { "Name": "dvwy", "Age": 145 } 출처 : https://stackoverflo.. 아파치 카프카 브로커 설정에서 listener와 advertised.isteners의 차이? 2023. 3. 26. Kafka 브로커의 설정에서 listener와 advertised.listeners 옵션은 다음과 같은 특징이 있다. listener는 Kafka 브로커가 클라이언트로부터 듣고있는 네트워크 인터페이스와 포트를 나타낸다. 예를 들어, listener를 PLAINTEXT://localhost:9092로 설정하면 브로커는 localhost의 9092 포트에서 PLAINTEXT 프로토콜을 사용하여 들어오는 클라이언트 연결을 수신한다. advertised.listeners는 Kafka 브로커가 클라이언트에게 알려주는 네트워크 인터페이스와 포트를 나타낸다. 클라이언트는 이 정보를 사용하여 브로커에 연결한다. 이 정보는 일반적으로 브로커가 외부에 노출되는 경우 사용된다. 예를 들어, advertised.listene.. spring boot HttpServletRequest 사용 쿠키 구현시 HttpSession.getAttribute(String) is null 에러 발생 대응 2023. 3. 14. spring boot에서 쿠키/세션 로그인 기능 구현시 다음과 같은 에러를 만났습니다 ...HttpSession.getAttribute(String)" is null 분명히 다음과 같이 attribute를 제대로 설정했는데 왜그랬을까요? HttpSession session = request.getSession(true); session.setAttribute("LOGIN_MEMBER", 123); 이유는 다음과 같습니다. 제가 가진 특수한 상황 때문이였는데요. - server : localhost:8080 - client : localhost:3000 - client는 server로 axios 요청을 함 위 상황은 여러가지 문제가 있었고 해결방안은 다음과 같습니다. 1) CORS 문제 크로스 도메인에 대.. golang prviate repository에서 디펜던시 가져오는 방법 2023. 3. 6. golang private repository를 하위 모듈로 가져올 때 그냥 import를 실행하고 나면 다음과 같은 이슈가 종종 발생하곤합니다. $ go get github.com/AndersonChoi/my-private-repo go: downloading github.com/AndersonChoi/my-private-repo v0.0.0-20230306053459-dec1333da9d3 go: github.com/AndersonChoi/my-private-repo@v0.0.0-20230306053459-dec1333da9d3: verifying module: github.com/AndersonChoi/my-private-repo@v0.0.0-20230306053459-dec1333da9d3: re.. goroutine 함수 여러번 실행 결과값 기다리는 2가지 방법 - js callback 처럼 2023. 3. 3. WaitGroup을 사용하는 방법 1) sync.WaitGroup을 사용하여 대기 2) go func 사용하여 goroutine 함수 호출 위 2가지 방법을 사용하면 여러번 실행된 결과값을 병렬 처리한 뒤 한개의 결과값으로 추출할 수 있습니다. 예제 코드는 다음과 같습니다. package main import ( "fmt" "math/rand" "strconv" "sync" "time" ) func main() { result := 0 count := 10 var wg sync.WaitGroup // WaitGroup 선언 wg.Add(count) // Wait 개수 지정 for i := 1; i go gin framework graceful shutdown 예제 2023. 3. 3. https://gin-gonic.com/docs/examples/graceful-restart-or-stop/ Graceful restart or stop Do you want to graceful restart or stop your web server? There are some ways this can be done. We can use fvbock/endless to replace the default ListenAndServe. Refer issue #296 for more details. router := gin.Default() router.GET("/", handler) // [...] end gin-gonic.com gin은 golang에서 많이 쓰이는 웹프레임워크입니다. graceful.. windows의 WSL환경에서 아파치 카프카 설치, 실행하는 방법 2023. 2. 24. 1) git 설치 https://git-scm.com/download/win Git - Downloading Package Download for Windows Click here to download the latest (2.39.2) 32-bit version of Git for Windows. This is the most recent maintained build. It was released 10 days ago, on 2023-02-14. Other Git for Windows downloads Standalone Installer 32-bit Git for Win git-scm.com 상기 URL에서 windows용 git을 설치합니다. 2) WSL 환경 설치 Windows Subsystem.. intellij에서 golang 프로젝트 인식이 잘 안될때 2023. 2. 22. intellij에서 golang을 최초로 실행 시키고 난뒤에 $ go mod init myapplication 프로젝트가 정상적으로 라이브러리들을 Import시키지 못할 때가 있습니다. 그럴 경우에는 cmd + , 를 눌러서 Preferences로 간 뒤 Go Modules의 Enable Go modules integration을 체크하면 싱크됩니다. 싱크가 완료된 go.mod 파일 모습 module myapplication go 1.19 require ( github.com/gin-gonic/gin v1.9.0 github.com/prometheus/client_golang v1.14.0 ) require ( github.com/beorn7/perks v1.0.1 // indirect github.co.. 맥 벤투라 디스플레이 해상도 조정하기 2022. 12. 21. 맥 벤투라에서 디스플레이 옵션에서 확장된 해상도를 확인하기 위해서는 5개 디스플레이 옵션 위에서 마우스 우클릭을 하여 '목록 보기'를 클릭하면 됩니다. 이때 모든 해상도 보기 버튼을 누르면 hidpi가 적용되지 않은 해상도도 함께 볼 수 있습니다. RestHighLevelClient로 구현한 idempotence 데이터 적재 2022. 11. 29. SHA-256이란? http://wiki.hash.kr/index.php/SHA256 SHA256 - 해시넷 SHA-256은 SHA(Secure Hash Algorithm) 알고리즘의 한 종류로서 256비트로 구성되며 64자리 문자열을 반환한다. SHA-256은 미국의 국립표준기술연구소(NIST; National Institute of Standards and Technology)에 의해 공표된 wiki.hash.kr SHA-256 해시 함수는 어떤 길이의 값을 입력하더라도 256비트의 고정된 결과값을 출력한다. 일반적으로 입력값이 조금만 변동하여도 출력값이 완전히 달라지기 때문에 출력값을 토대로 입력값을 유추하는 것은 거의 불가능하다. 아주 작은 확률로 입력값이 다름에도 불구하고 출력값이 같은 경우가 .. ElasticsearchClient 7.17.7 기준 java client example code 2022. 11. 28. 1) host, port 주입 RestClient restClient = RestClient.builder( new HttpHost("localhost", 9200, "http"), new HttpHost("localhost", 9201, "http")).build(); BulkRequest.Builder br = new BulkRequest.Builder(); ElasticsearchTransport transport = new RestClientTransport(restClient, new JacksonJsonpMapper()); ElasticsearchClient esClient = new ElasticsearchClient(transport); 2) String으로 된 JSON 데이터 정의 Str.. 이전 1 2 3 4 5 ··· 31 다음 728x90
