RabbitMQ vs Kafka 메시지 브로커 선택에 대해 고민이 있습니다.

Question

안녕하세요. 메시지 큐에 대해서 많이 모르고 있는 취준생입니다 ..현재 사이드 프로젝트를 진행하고 있는데 STT를 활용한 모바일 앱을 만들고 있습니다.앱에서 사용자가 Firebase Storage에 음성 파일 업로드 Spring API Server 한테 STT 요청 Spring API Server는 Firebase Storage 업로드 확인 후 Kafka한테 upload라는 topic에 이벤트 송신 upload를 구독한 python 측 consumer는 해당 저장된 audioId와 userId 값이 있는지 확인둘 다 있다면 라이브러리를 통해 STT, 요약, 섹션 분리, 중요 키워드 추출 등 실행성공적으로 마쳤다면 다시 Kafka한테 success라는 토픽으로 이벤트 송신실패하였다면 Kafka한테 failed라는 토픽으로 이벤트 송신Spring Server는 success 토픽을 구독하고 있으며, 이벤트 수신 시 해당 섹션, STT, 퀴즈 등 관련된 정보가 있는지 확인 Spring Server는 failed 토픽을 구독하고 있으며, 이벤트 수신 시 관련된 정보 삭제 후 사용자에게 업로드 실패를 알림구현을 중요시하다보니, 그냥 많이 쓰는 Kafka를 사용하자해서 구현하였었습니다. 하지만, 나중에 다시 오니 사용자가 적고 안정적인 메시지 송수신에는 RabbitMQ가 더 적절하다는 얘기가 많더라고요..이제는 근거를 가지고 기술을 채택하고 싶은데, 처음하는지라 어떤 게 더 좋은 방식이고, 왜 더 좋은 방식인지에 대한 확신이 부족합니다. 저의 생각으로는 다음과 같습니다.안정적인 백그라운드 실행, 장기간 태스크에는 RabbitMQ가 더 적절하다.STT 과정에서 빠르게는 5분, 느리게는 20분 정도 걸립니다.사용자 수가 많지 않으니 실시간 대용량 처리에 적합한 Kafka 보단 RabbitMQ가 더 적절하다.또한, Kafka는 장애 복구 시 offset을 가지고 실패한 지점부터 다시 시작 가능한 것으로 알고 있는데, RabbitMQ는 이벤트 수신 시 queue에서 메시지를 삭제하는데 만약 실패 또는 예기치 못한 브로커 다운 시 어떻게 구현하고 있는지 궁금합니다.매일 눈팅만 하다가 처음으로 답답한 마음에 글 남깁니다. 부족한 부분이나 잘못된 부분을 지적해주시면 달게 받겠습니다.선배님들의 의견 기다리고 있겠습니다. 미리 감사합니다.

개발잡부 · Accepted Answer

kafka vs rabbitMQ 어떤게 더 나을까? 에 꽂히지 마시고,카프카에 대해 더 깊게 공부하시는게 면접때 좋습니다.사실 메세지큐를 쓴다는게, 취준생의 사이드플젝에서 쓰는거 자체가 오버엔지니어링 이거든요사용자나 트래픽이 많으면 얼마나 많겠나요때문에, 물론 단순히 토이플젝으로 했지만,일을하게 되었을때, 바로 적용할수잇게 해봤다 정도로 어필하는게 좋고,그럴라면 카프카에 대한 확실한 이해가 있어야겠죠.물론 둘다 알면 좋겠으나... 그러면 이미 둘중 어떤상황일때 장단이 있을지 알고있을테니자문자답으로 이미 정답은 알고계시겠죠

Henry7 · Answer

경험한 걸로 충분하다 생각하는데요. 두 개 다 하는 건 어떨까요. 경험을 위해서 2개를 다 적용해 보았다 라고 쓰면 되죠.

ykd · Answer

래빗mq도 가용성을 위한 클러스터 구성이 가능합니다.예기치 못한 브로커 다운에 대한 구성은.. 프로덕션 레벨에서는 클러스터 구성(레플리케이션)을 통한 특정 서버 다운되는 시나리오에 대한 가용성 확보가 끝이 아닐겁니다. 물리적 재난 상황(화재나 지진 등)을 대비한 지역적 복제가 필요할 수도 있고요. 헤비로드 상황에서 서버하나가 다운되었을 때 나머지 브로커가 부하를 감당하기에 벅찰 수 있으므로 개발자가 이를 인지하고 대응할 수 있도록 모니터링 및 필요시 직접 조치도 필요할 수 있고요.. 그밖에 메시지 컨슈머의 랙 감지 등 여러 시나리오에서 안정성을 위한 기술 사용과 파라미터 튜닝 등 여러 요소를 사용해야하는데 사실 취업준비 입장에서 토이프로젝트에 정성을 쏟아 높은 기술적 완성도를 가져가는 것은 경험적인 측면에선 더할나위 없이 좋겠지만 비용이나 현실적인 문제를 따졌을 땐 오버엔지니어링이라 볼 수도 있겠습니다.

집킨 · Answer

지금 사용하려는 용도면 그냥 레빗MQ쓰는게 좋습니다카프카는 메세지 큐잉 용도로도 사용가능하지만 기본적으로 대규모 데이터 스트림 처리를 고려한 아키텍처이기 때문에 구축도 레빗엠큐에 비해 고려해야할게 많습니다그리고 태스크는 애플리케이션의 영역이라 장기간이고 아니고는 관계없고, 레빗이나 카프카나 ack수신받으면 끝입니다레빗도 디스크에 데이터 저장해서 유실방지하는것도 가능하구요메세지를 컨슈머가 가져가고 ack응답 전에 장애발생해도 ack응답 못받으면 메세지를 삭제하지도 않습니다타임아웃되면 다른 컨슈머가 가져가서 처리하죠

Matthew Kim · Answer

안정성이라면 클러스터링 안하면 둘다 의미 없습니다. 카프카가 더 있어보이긴 하네요

RabbitMQ vs Kafka 메시지 브로커 선택에 대해 고민이 있습니다.

5개의 답변

Q&A 목록