MQTT 메시지 순서 보장 패턴과 한계

소개

IoT와 분산 시스템에서 MQTT는 경량 프로토콜로 널리 쓰인다. 하지만 메시지의 순서 보장은 구현자에게 반복되는 고민거리다. 본문은 mqtt 메시지 순서 보장 방법과 mqtt ordering 문제 해결을 위한 일반적 패턴, 그리고 각 패턴의 한계를 기술적으로 정리한다. 초보자도 이해할 수 있도록 개념부터 사례까지 단계적으로 설명한다.

기본 개념

QoS와 전송 보장

MQTT는 QoS 0, 1, 2를 통해 전송 보장을 제공한다. QoS가 높을수록 중복 전송이나 재전송이 발생할 가능성이 커진다. 그러나 QoS 자체는 전송 성공 여부를 다루며, 메시지의 순서 보장은 직접 제공하지 않는다.

브로커와 클라이언트의 역할

브로커는 라우팅과 일시적 저장을 담당한다. 클라이언트는 발행(publish)과 구독(subscribe)을 수행한다. 네트워크 지연, 재연결, 브로커 재시작 등으로 인해 동일한 토픽의 메시지가 수신 순서와 발행 순서가 달라질 수 있다.

순서 보장이 어려운 이유

네트워크 변수: 패킷 손실과 재전송으로 인해 순서가 바뀔 수 있다.
브로커 정책: 클러스터링이나 로드밸런싱이 적용되면 경로별 지연 차이가 발생한다.
세션 복구: 클라이언트가 재연결하면서 미처리 메시지가 재전송된다.
QoS와 중복: QoS 1/2는 중복 전송을 허용하므로 순서 재정렬이 필요하다.

주요 패턴과 구현 방식

1. 발행 측 시퀀스 번호 추가

가장 단순한 방법은 메시지 페이로드에 연속된 시퀀스 번호를 포함하는 것이다. 수신 측에서는 번호를 보고 누락을 탐지하거나 재정렬 버퍼에 넣는다. 이 방법은 mqtt 메시지 순서 보장 방법으로 기본에 해당한다.

장단점

장점: 단순하고 구현이 쉬움.
단점: 발행자 시계가 필요하고, 번호 오버플로우나 동시 발행자 문제 처리 필요.

2. 브로커 기반 시퀀싱

브로커가 각 토픽에 대해 인크리멘트 시퀀스를 부여하는 방식이다. 브로커가 관리를 책임지므로 클라이언트는 단순히 시퀀스를 신뢰하면 된다. 다수 브로커 클러스터에서는 일관성 유지가 과제다.

장단점

장점: 발행자 부담 경감, 중앙화된 순서 보장.
단점: 브로커 장애 시 복구 복잡, 클러스터 동기화 비용 발생.

3. 타임스탬프와 동시성 해소

각 메시지에 타임스탬프를 붙인다. 수신 측에서 타임스탬프를 기준으로 정렬한다. 다만 시스템 시계 불일치(clock skew)는 별도 보정이 필요하다. 이 방식은 메시지 정렬 mqtt 패턴 중 하나로 실무에서 자주 쓰인다.

4. 재정렬 버퍼 (out-of-order 처리)

수신 측에서 버퍼를 두고 일정 범위의 시퀀스 차이를 허용한 뒤, 누락 메시지는 타임아웃 후 처리한다. 재전송 요청 기능은 MQTT 표준에 없으므로 애플리케이션 레벨에서 구현해야 한다.

구체적 예시

아래 예시는 발행자가 시퀀스 번호를 붙이고, 구독자가 재정렬 버퍼로 처리하는 간단한 패턴이다.

publish(topic, payload, qos, seq)
  msg = { 'seq': seq, 'payload': payload }
  mqtt_publish(topic, serialize(msg), qos)

on_message(topic, raw)
  msg = deserialize(raw)
  buffer.insert(msg.seq, msg)
  while buffer.has_next(expected_seq):
    deliver(buffer.pop(expected_seq))
    expected_seq += 1
  if buffer.gap_too_large():
    request_retransmit_or_timeout()

운영 시 고려 사항

1. 재시작과 영속성

클라이언트와 브로커의 저장소를 통해 세션을 유지하면 재연결 시 누락 복구가 가능하다. 다만 저장 용량과 보안은 추가 고려 대상이다.

2. 지연과 처리량 트레이드오프

완전한 순서 보장에는 지연이 따른다. 재정렬 버퍼 크기나 타임아웃을 늘리면 순서 품질이 올라가지만 처리 지연과 메모리 소비가 증가한다. 따라서 요구사항에 맞춘 균형이 필요하다.

3. 클러스터와 일관성

브로커 클러스터에서 시퀀싱을 브로커에 위임하면 일관성 모델 선택이 중요해진다. 강한 일관성은 지연과 복잡도를 높인다.

패턴 선택 기준 요약

순서 엄격성: 절대적 정렬이 필요한가, 아니면 최종 정합성으로 충분한가.
지연 허용 범위: 실시간성 우선인지 배치 처리 가능한지.
장애 복구 요구: 재전송과 영속성 필요성.
운영 복잡도: 브로커 확장성과 관리 비용.

결론

MQTT에서 메시지 순서 보장은 단일 솔루션으로 해결되기 어렵다. mqtt ordering 문제 해결은 요구사항에 따라 시퀀스 번호, 브로커 시퀀싱, 타임스탬프, 재정렬 버퍼 등을 조합하는 것이 현실적이다. 각 패턴은 지연, 중복, 복잡도와 트레이드오프가 있으므로 설계 시 우선순위를 명확히 하는 것이 중요하다.

참고 요약

간단한 정렬이 필요하면 발행 측 시퀀스 번호 적용.
중앙 통제가 가능하면 브로커 시퀀싱 고려.
시계 불일치가 우려되면 시퀀스 기반 설계가 더 안전.
운영환경에서는 재정렬 버퍼와 명확한 타임아웃 정책 필요.

목차

소개