Search

Kafka

Search
작성전
4
작성완료
6
0. Kafka Monitoring
작성전
0. Kafka Connector
작성전
0. Kafka Streams
작성전
0. Kafka Schema-registry
작성전
1.
개요 1-1. Kafka?
2.
구성 및 내부 동작 2-1. 구성
3.
실습 시나리오 4-1. 프로듀서 1, 컨슈머 1
4.
운영 시 주의 및 권장 사항
추후 진행 사항
1.
Monitoring tool
2.
Kafka Connector / schema-registry / Streams / KSQL
목차
작성완료

1. 개요

1.1 Kafka?

Apache Kafka는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 기능을 제공하는
오픈 소스 분산 이벤트 스트리밍 플랫폼이다.

1.2 다른 OSS와의 차별점

프로듀서와 컨슈머의 분리

메시징 전송 방식 중 메시지를 보내는 역할과 받는 역할이 완벽히 분리된 펍/섭 방식을 적용하였다
1. 개요
작성완료

2. 구성 및 내부 동작

2.1 구성

Kafka와 Zookeeper
Kafka는 위 그림과 같이 크게 프로듀서(Producer), 카프카 브로커(Broker), 컨슈머(Consumer) 그리고 쥬키퍼(Zookeeper)로 구성되어있다
프로듀서(Producer)는 카프카와 통신하면서 메시지를 보내는 역할을 하고
컨슈머(Consumer)는 카프카와 통신하면서 메시지를 가져오는 역할을 한다
카프카 브로커(Broker)는 프로듀서와 컨슈머 간에 데이터를 잘 보내고/읽어갈 수 있도록 데이터를 관리하며
주키퍼(Zookeeper)는 카프카 브로커와 통신하면서 카프카의 메타데이터 정보를 저장하고, 상태관리 등의 목적으로 사용된다
카프카는 버전업을 하면서 주키퍼와의 의존성을 끊어내었고 Kafka 3.0 부터는 주키퍼와의 의존성을 모두 끊어 독립적으로 실행될 수 있게 되었다 하지만, 현재 Production용으로 사용하기엔 무리가 있다고 한다 또한 3.0 버전부터는 Java 8에 대한 지원도 중단되었다
2. 구성 및 내부 동작
작성완료

3. 실습 시나리오

3.1 구성

1.
프로듀서 1 / 컨슈머 1
2.
프로듀서 1 / 컨슈머 그룹 1(컨슈머 2)
3.
프로듀서 1 / 컨슈머 그룹 2
4.
프로듀서 2 / 컨슈머 그룹 2
3. 실습 시나리오
작성완료

1. 개요

1.1 Kafka?

Apache Kafka는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 기능을 제공하는
오픈 소스 분산 이벤트 스트리밍 플랫폼이다.

1.2 다른 OSS와의 차별점

프로듀서와 컨슈머의 분리

메시징 전송 방식 중 메시지를 보내는 역할과 받는 역할이 완벽히 분리된 펍/섭 방식을 적용하였다
Kafka Seminar
작성완료