분류 전체보기 728x90 반응형 카프카 커넥트의 태스크 밸런싱 로직, DistributedHerder(양치기) 그리고 IncrementalCooperativeAssignor 내부 동작 소개 2022. 3. 23. Herder; 명사 1. 양치기, 목부 카프카 커넥트는 워커, 커넥터, 태스크로 이루어져 있습니다. 워커는 카프카 커넥트 프로세스를 뜻하며 커넥터와 태스크를 실행시키기 위한 프로세스입니다. 커넥터는 태스크를 실행하는 관리도구로서 여러 태스크를 하나의 파이프라인으로 라이프 사이클을 관리합니다. 태스크는 데이터를 실질적으로 처리하는 부분이라고 볼 수 있습니다. 커넥터에는 1개 이상의 태스크가 포함되며 각 태스크는 프로듀서 또는 컨슈머 역할을 수행합니다. 일반적으로 분산모드 커넥트를 운영할 때 커넥터를 실행할 경우 태스크는 여러 워커에서 분산해서 실행됩니다. 예를 들어 5개의 워커로 이루어진 분산 모드 커넥트를 실행하고 7개의 태스크를 가진 커넥터를 실행하면 다음과 같이 할당됩니다. [worker-0] - [.. MLOps란 무엇인가? 영상 해설 2022. 3. 17. https://www.youtube.com/watch?v=xZKtofBe18I MLOps란 무엇인가 2021년 AI업계에서 많이 나온 단어, 머신러닝을 실제로 다룰때 서비스에 적용하는 과정에서 필요한 분야. 초창기라 공식적이 정의 없음. 다만, 머신러닝 -> 서비스 전달 과정에 필요한 operation 데이터 브릭스에 따르면 - ModelOps : 모델 개발에 필요한 운영 - DataOps : 데이터 관련 운영 - DevOps : 소프트웨어 관련 운영 머신러닝 모델을 서비스에 올리려는 시도가 많이 진행되고 있음. 그러나 이런 시도에 따라 몇가지 이슈가 발생됨 1) 로컬에서 개발한 모델(주피터에서 개발한 어떤 모델)을 어떻게 서비스에 사용할 수 있을까? 2) 모델의 버전관리는 어떻게하지? 3) 데이터셋 버.. 카산드라 특정 테이블에 TTL 데이터를 넣을 때 적합한 컴팩션 전략은? 2022. 2. 7. 질문 카산드라에서 특정 테이블에 일부 데이터는 TTL 2일로 설정되어 있고, 일부 데이터는 60일 TTL로 되어 있다면 가장 적합한 컴팩션 전략은 무엇인가요? 1. LeveledCompactionStrategy (LCS) 2. SizeTieredCompactionStrategy (STCS) 3. TimeWindowCompactionStrategy (TWCS) 답변 가장 적합한 전략은 TimeWindowCompactionStrategy입니다. 만에하나 동일 테이블에 여러 종류의 ttl 시간이 설정되어 있다고 하더라도 TWCS가 적합합니다. unchecked tombstone compaction을 설정함으로서 2일 이상 지난 TTL 데이터는 삭제되도록 하는 것이 좋습니다. ALTER TABLE my_tabl.. 카산드라 TimeWindowCompactionStrategy 설명 2022. 2. 7. TimeWindowCompactionStrategy TimeWindowCompactionStrategy(TWCS)는 데이터가 디스크에서 timestamp 단위로 묶일 때 유용합니다. 주로 TTL로 쓰여진 데이터를 다룰 경우 사용됩니다. 데이터가 만료되거나 TTL이 도달한 SSTable의 데이터는 대략적으로 비슷한 시간대에 삭제됩니다. 이 전략을 사용하면 이런 데이터를 완전히 삭제시킵니다. SizeTieredCompactionStrategy(STCS) 또는 LeveledCompactionStrategy(LSC)를 사용할 때 보다 디스크 사용량이 줄어들게 됩니다. TWCS의 기본 컨샙은 윈도우(window) 기준으로 sstable 파일을 생성하는 것입니다. 윈도우는 아래 2가지 주요 옵션에 의해 설정됩니다... 카산드라와 TTL, 툼스톤 그리고 관련 동작(컴팩션) 2022. 2. 4. 카산드라에서는 데이터의 TTL 또는 삭제에 의해 데이터가 바로 삭제되는 것이 아니라 툼스톤을 사용하여 데이터를 삭제합니다. 카산드라와 같은 분산 데이터베이스에서 데이터를 바로 삭제하는 것은 매우 어려운 일입니다. 그렇기 때문에 데이터를 삭제하기 전에 툼스톤이라고 불리는 플래그를 사용하여 해당 데이터가 삭제 대기로 옮긴 이후 추후에 데이터를 삭제시킵니다. 관련 동작을 알기 위해서는 우선 컴팩션이 무엇인지 알아보아야 합니다. 컴팩션(Compaction) 카산드라에서 컴팩션은 최고의 성능을 내기 위해 적재된 데이터(SSTable)를 결합하는 행위를 뜻합니다. 반면, 압축은 컴프레션이므로 컴팩션과 햇갈려서는 안됩니다. 카산드라에서 컴팩션은 다음과 같은 전략을 제공합니다. 사용방법에 따라 적합한 전략의 컴팩션을 .. 아파치 카산드라 설정 파일 및 상용 환경 셋팅 2022. 2. 4. 카산드라는 설치 방법에 따라 다른 디렉토리에 설정 파일이 있습니다. - 도커 : /etc/cassandra 디렉토리 - tarball : conf 디렉토리 - package : /etc/cassandra 디렉토리 카산드라의 기본 설정파일은 cassandra.yaml입니다. 1개의 노드로 구성할 수 있는 클러스터에 적합하게 설정되어 있습니다. 하지만 2개 이상 노드로 운영할 경우에는 다양한 추가 셋팅을 해야만 합니다. 클러스터로 구성하기 위해서는 일부 설정값을 입력해야만 합니다. - cassandra.yaml : 카산드라의 기본 셋팅 파일 - cassandra-env.sh : 카산드라에서 사용하는 환경 변수 셋팅 - cassandra-rackdc.properties or cassandra-topology... 아파치 카산드라 다이나모, 일관된 해싱, 복제 개념 살펴보기 2022. 2. 3. 다이나모 아파치 카산드라는 아마존의 다이나모 분산 키값 저장소의 기술들을 기반으로 만들어졌습니다. 다이나모 시스템은 3개의 주요 기술로 만들어집니다. 1) 파티셔닝된 데이터셋에 coordination 요청 2) Ring기반 맴버쉽 및 failure 감지 3) 로컬 퍼시스턴스 저장소 엔진 카산드라는 처음 2개의 클러스터링 구조를 기반으로 설계되었습니다. 그리고 LSM(Log Structured Merge Tree)를 기반으로 저장소 엔진을 사용합니다. - 일관된 해싱을 통한 데이터셋 파티셔닝 수행 - 버저닝된 데이터와 조정 가능한 consistency를 통한 멀티 마스터 데이터 복제 - 가십 프로토콜(gossip protocol)을 사용한 분산 클러스터 멤버쉽 추가 및 장애 감지 - 범용 하드웨어를 사용한.. 아파치 카산드라 살펴보기, 설명, 기본 개념 2022. 2. 3. 아파치 카산드라는 오픈소스이며 분산 NoSQL 데이터베이스입니다. 파티션 기반의 wide column 저장소 모델을 활용하며 consistent semantics를 지원합니다. 아파치 카산드라는 페이스북에서 SEDA(Staged event-driven architecture)를 기반으로 설계되었고 아마존의 다이나모 분산 저장소와 구글의 빅테이블 저장소 엔진 모델을 기반으로 디자인되었습니다. 다이나모와 빅테이블 두개 다 스케일러블하고 안전하며 고 가용성의 데이터 저장소 특징을 가지도록 개발되었지만 일부는 완전히 지원되지 않습니다. - 다이나모 : https://www.allthingsdistributed.com/2007/10/amazons_dynamo.html - 빅테이블 : https://static.g.. 카산드라 TTL에 따른 데이터 삭제 정리 2022. 1. 20. https://docs.datastax.com/en/cql-oss/3.3/cql/cql_using/useExpire.html Expiring data with time-to-live Use time-to-live (TTL) to expire data in a column or table. Columns and tables support an optional expiration period called TTL (time-to-live); TTL is not supported on counter columns. Define the TTL value in seconds. Data expires once it exceeds the TTL p docs.datastax.com 카산드라에서는 컬럼단위 또는 테이블 단.. kafka consumer와 seekToBeginning를 활용하여 offset reset하기 2022. 1. 17. 카프카 컨슈머 클라이언트는 seekToBeginning 함수가 있습니다. 이 함수를 사용하면 특정 파티션의 오프셋을 최소 레코드로 지정할 수 있습니다. /** * Seek to the first offset for each of the given partitions. This function evaluates lazily, seeking to the * first offset in all partitions only when {@link #poll(Duration)} or {@link #position(TopicPartition)} are called. * If no partitions are provided, seek to the first offset for all of the currently as.. 스키마 레지스트리 자바 클라이언트(프로듀서,컨슈머) 테스트 2021. 12. 16. 1. 스키마 레지스트리 설정, 실행 confluent-7.0.0/etc/schema-registry/schema-registry.properties 설정파일 listeners=http://0.0.0.0:8081 kafkastore.bootstrap.servers=PLAINTEXT://localhost:9092 kafkastore.topic=_schemas debug=false 스키마 레지스트리 실행 $ bin/schema-registry-start etc/schema-registry/schema-registry.properties [2021-12-16 21:36:27,121] INFO SchemaRegistryConfig values: access.control.allow.headers = access... Datastax의 Cassandra Sink Connector(JSON field) 적재 설정 2021. 12. 16. https://docs.datastax.com/en/kafka/doc/kafka/kafkaStringJson.html Mapping a message that contains both basic and JSON fields When the data format for the Kafka key or value is JSON, individual fields of that JSON structure can be specified in the connector mapping. When the data format for the message key or value is JSON, the connector mapping can include individual fields in t docs.datastax.co.. confluent developer certification 예시 문제 해설 2021. 12. 15. confluent developer certification sample : driver토픽의 1번 파티션에서 모든 input을 다루는 데이터. 즉, 프로듀서가 레코드를 보내면 리더 파티션이 존재하는 브로커와 통신을 한다. 그러므로 정답은 1번 파티션의 리더가 위치한 102번 브로커가 정답. 카프카 컨슈머가 range partition assignment 전략일 경우 어떻게 파티션과 컨슈머가 연결될 것인지에 대한 정답을 찾는 것이다. range partition assignment의 경우 consumer의 member id를 사전식(알파벳순)으로 정렬하여 각 토픽의 파티션을 숫자를 기준으로 컨슈머에 할당한다. 그러므로 이 경우 다음과 같이 연동된다. 그러므로 정답은 c. 토픽a의 파티션0과 토픽b의 파티.. confluent HdfsSinkConnector 파티셔너 설명 2021. 11. 25. confluent에서는 hdfs2를 위한 sink connector를 컨플루언트 커뮤니티 라이센스로 제공합니다. 해당 기능 중 파티셔너 기능에 대해 정리합니다. https://docs.confluent.io/kafka-connect-hdfs/current/overview.html#partitioners-and-storage HDFS 2 Sink Connector for Confluent Platform | Confluent Documentation Home Kafka Connectors HDFS 2 Sink Connector for Confluent Platform The Kafka Connect HDFS 2 Sink connector allows you to export data from Kafka t.. macos에서 podman으로 rest-proxy 실행하기 2021. 11. 16. rest proxy는 카프카와 연동시 프로듀서, 컨슈머의 역할을 http로 수행할 수 있는 기능을 가진 애플리케이션입니다. https://blog.voidmainvoid.net/345 카프카의 토픽 데이터를 REST api로 주고받자 - Kafka rest proxy 사용 confluent에서는 rest proxy라고 불리는 카프카 클러스터를 위한 RESTful interface application을 오픈소스로 제공하고 있습니다. 기존에 Kafka connect, Kafka client로 데이터를 전달하는 것과는 사뭇 다르게.. blog.voidmainvoid.net macos에서 rest proxy를 사용하여 카프카와 연동 테스트 수행하는 방법을 정리합니다. $ podman machine start .. 이전 1 2 3 4 5 6 7 ··· 31 다음 728x90
