kafka 이벤트 발행과 데이터베이스 트랜잭션 일관성 보장 방법?

Question

아래와 같은 로직을 구현한다면 await this.tm.transaction(async () => { // 1. 데이터 상태를 'done'으로 변경 entity.markAsDone(); // 2. db에 저장 await this.repository.save(entity); // 3. 카프카 이벤트 발행 await firstValueFrom( this.kafkaClient.emit('topic', eventData) ); });카프카는 외부 시스템이니까 데이터베이스 트랜잭션에 포함되지 않으니데이터베이스에서 상태를 변경했지만 발행에 실패하면 데이터 일관성에 문제가 발생할것으로 보입니다.outbox 패턴을 찾아보니 다음과 같이 구현한다고 되어 있었습니다.트랜잭션: 비즈니스 로직 + outbox 테이블 insert 를 한 묶음으로 처리별도 크론: outbox 테이블을 읽어서 Kafka emit → outbox 엔티티 상태 변경하지만 이 크론에서도 emit에 실패했는데 Outbox 엔티티 상태를 처리됨 으로 변경하면 결국 똑같은 문제가 발생하는 것 아닌가요?이런 상황에서 데이터 일관성을 보장하려면 어떻게 해야할까요?

전뚱이인데요 · Answer

데이터 일관성에서는 카프카 설계하실 때 멱등성으로 하시면 실패한 작업에 대해서 다시 요청 때리면 되는거죠 pull 한 이벤트가 사라지진 않는걸로 알고있습니다 제가 알기론 보통 실패한 이벤트는 Dead-Letter Queue(DLQ) 에 담아서 다시 쏴버리면 그만으로 알고있습니다만

감독님테스트가하고싶어요 · Answer

카프카 메세지 발행이 실패했는데 outbox 상태가 변경되면 안되지않나요?그래야 실패해도 성공할때까지 계속 돌다가, 성공하면 변경하고 끝나는게 outbox 패턴 아닌가요?

shin7688 · Answer

Kafka의 트랜잭션 처리는 메시지 생성자와 소비자 간의 트랜잭션을 지원하지만, XA 트랜잭션을 지원하지는 않습니다. Kafka는 트랜잭션을 위해 Producer와 Consumer가 각자 트랜잭션 관리자를 구현해야 합니다.엔터프라이즈 환경에서 안정적인 분산 트랜잭션 처리가 핵심 요구사항이라면 XA 트랜잭션을 공식적으로 지원하는 ActiveMQ, IBM MQ와 같은 메시지 큐를 고려하는 것이 적합합니다.

kafka 이벤트 발행과 데이터베이스 트랜잭션 일관성 보장 방법?

3개의 답변

#kafka 목록