[MQ] Pub/Sub 구조 - RabbitMQ, Kafka, Redis

Pub/Sub 구조 - RabbitMQ, Kafka, Redis

---

1. Pub/Sub 구조

2. RabbitMQ

3. Kafka

4. Redis

---

1. Pub/Sub 구조

Pub/Sub은 발행/구독 모델로 메시지 전달 방식을 구현하는 구조입니다.

발행자(Publisher)와 구독자(Subscriber) 간의 직접적인 연결을 없애고, 메시지 브로커(Message Broker)를 통해 메시지를 주고 받습니다.

 

- 동작 방식

1. 발행

발행자는 메시지를 특정 주제(Topic)로 보냅니다.

메시지 브로커는 이 메시지를 해당 주제를 구독한 구독자들에게 전달합니다.

 

2. 구독

구독자는 관심 있는 주제(Topic)를 구독합니다.

구독한 주제에서 발행된 메시지를 메시지 브로커로부터 수신합니다.

 

이러한 구조를 사용하는 RabbitMQ, Kafka, Redis가 있습니다.

Producer/Consumer(Publisher/Subscriber) 라는 개념이 등장하고, 각 서비스에서 Pub/Sub 방식이 다릅니다.

 

2. RabbitMQ

RabbitMQ는 AMQP(Advanced Message Queuing Protocol)를 기반으로 통신하는 메시지 브로커(Message Broker)입니다.

단순한 메시지 큐 이상의 기능을 제공하며, 메시지의 송신자와 수신자 간의 중간 관리자 역할을 합니다.

 

메시지를 많은 사용자에게 전달하거나 요청에 대한 처리 시간이 길 때 등 사용합니다.

메시지 브로커를 처음 사용해보기 때문에 다른 외부 브로커와 비교하여 설치와 설정이 간단한 RabbitMQ를 사용했습니다.

 

또한, Producer/Consumer(Publisher/Subscriber), Queue, Exchange, Binding 개념이 존재합니다.

 

Producer는 메시지를 생성하고 발송하는 주체입니다. 메시지는 Exchange를 통해 Queue에 접근할 수 있습니다.

Consumer는 메시지를 수신하는 주체입니다. 메시지에 직접 접근하여 메시지를 가져옵니다.

 

Queue는 Producer에서 발송한 메시지를 보관하는 장소입니다.

Binding은 Exchange에게 메시지를 라우팅할 규칙을 지정하는 행위입니다.

 

Exchange는 Producer에게 받은 메시지를 어떤 Queue에게 발송할지 결정하는 객체입니다.

여기에는 Direct, Topic, Headers, Fanout 4개의 타입이 존재합니다.

 

- 동작 방식

1. 발행

Producer가 Exchange에 메시지 발행합니다.

 

2. 라우팅

Exchange가 Fanout, Direct, Topic, Header의 네 가지 라우팅 타입 중 하나를 선택하여 Binding 규칙에 따라 특정 Queue로 라우팅합니다. 영속화를 설정한 경우, 메시지는 큐에 저장되므로 Consumer가 연결되지 않아도 메시지가 유실되지 않습니다.

 

3. 구독

Consumer가 Queue를 구독하여 메시지를 가져갑니다.

 

3. Kafka

Kafka에서 Pub/Sub 구조는 Topic와 Partition의 조합으로 구현됩니다.

대규모 데이터를 안정적으로 처리하고 스트리밍 파이프라인이 필요한 경우 사용됩니다.

 

- 동작 방식

1. 발행

이벤트를 발행하는 Producer가 존재하며, Producer는 특정 Topic에 이벤트를 전송합니다.

이 이벤트는 Topic의 각 Partition에 분산되어 저장됩니다.

 

메시지를 디스크에 저장하며, 메시지 유실없이 특정 기간 동안 유지할 수 있습니다.

 

2. 구독

특정 Topic을 구독하고 있는 Consumer group 내의 Consumer는 각각 1개 이상의 partition으로부터 이벤트를 가져옵니다.

오프셋(offset)을 통해 메시지를 재처리하거나 원하는 시점의 데이터를 다시 가져올 수 있습니다.

 

4. Redis

Redis에서 Pub/Sub 구조는 단순 Channel 기반으로 구현됩니다.

가벼운 메시징이 필요하거나 메시지 손실이 크게 문제되지 않는 경우 사용됩니다.

 

- 동작 방식

1. 발행

Publisher가 특정 Channel에 메시지를 발행합니다.

메시지가 Channel에만 존재하며 영속성은 지원하지 않고, Subscriber가 연결되지 않은 상태에서 발행된 메시지는 유실됩니다.

 

2. 구독

Subscriber는 Channel을 구독하며, 메시지를 실시간으로 수신합니다.

---

참고 사이트

[PUB/SUB] PUB/SUB을 파헤쳐보자

 

문제가 있으면 댓글 남겨주세요 !

피드백은 언제나 환영입니다 <3