웹소켓 기반 채팅 어플리케이션을 구현할 때 kafka를 사용하는게 맞는건가요?

Question

인터넷에서 여러 웹소켓 기반 채팅 어플리케이션 예제를 찾아봤는데 kafka를 사용해서 구현한게 많더라구요. 근데 제가 갖고있는 지식 안에서는 kafka보단 rabbitMQ를 사용하는게 더 맞지 않나 싶어 의견을 구하고자 질문 올립니다.기본적으로 웹소켓 기반 채팅 어플리케이션을 구현하기위해선 클라이언트와 백엔드가 웹소켓 세션을 맺고, 특정 웹소켓 세션에서 발생한 메시지를 동일한 채팅방 id를 갖는 다른 웹소켓 세션에서도 수신할수 있도록 브로드캐스팅해주는 과정이 필요합니다.예컨데 백엔드 서버가 3개로 스케일링되어있고, chatRoom id가 1인 클라이언트의 웹소켓 세션이 1, 2번째 서버에 존재한다면, chatRoom id가 1인 메시지는 1, 2번째 서버에게로만 라우팅되어야합니다. 3번째 서버가 해당 메시지를 받아도 사용할 일이 없으니까요. 즉, 웹소켓 기반 채팅 어플리케이션을 구현하려면 메시지 라우팅 기능이 필요합니다.rabbitMQ를 사용한다면 채팅방마다 고유의 Queue를 동적으로 생성해서 메시지를 라우팅할 수 있기에 1, 2번째 서버만 메시지를 받도록 할 수 있는 반면 kafka는 (제가 알기로는 메시지 라우팅 기능이 없는걸로 알고 있어) 3개의 백엔드 서버가 전부 chatRoom id 1 메시지를 수신해야합니다. 만약 1초에 메시지가 백만개씩 생성되는 환경이라고 한다면 이는 매우 비효율적이겠죠.만약 kafka를 사용해서 메시지 라우팅 비슷한걸 구현하고자 한다면, 채팅방마다 그에 맞는 topic partition을 설정해서 각 서버가 자신에게 맞는 partition만 구독하는 방식을 고려해볼 수 있을 것입니다. 그러나 채팅방은 동적으로 생성되고 삭제되는 반면 kafka topic partition은 동적으로 줄일 수 없기에 현실적으로 사용이 힘들어보입니다. 다른 방법으로 채팅방마다 별도의 kafka topic을 동적으로 생성하는 방법도 고려해볼 수 있으나 이또한 정상적인 kafka 사용 사례는 아니라고 생각합니다.혹시 제가 인지하지 못한 kafka 디자인 패턴이 있는걸까요?

집킨 · Answer

카프카도 같은 그룹내의 컨슈머면 라우팅이 됩니다

カワウソ · Answer

카프카와 RabbitMQ 기술의 선택의 대부분은 시스템 규모와 고가용성에 따른 운영 관리 비용으로 결정되는게 아닐까 싶은데요.대부분은 RabbitMQ로 충분한 환경이지 않을까 싶습니다. 제가 있는 곳은 레디스로도 충분하다고 봐야할 듯...

Bugfix · Answer

대규모 트레픽이 발생되는 경우가 아니고 개발 편의적인 접근성으로 본다면 rabbitMQ 가 좋을거 같습니다.각자 접하고 있는 환경에 따라서 다를거 같은데 웬만한 경우가 아니라면 대부분 rabbitMQ 범위내에서 처리가 가능 한걸로 알고 있습니다.

웹소켓 기반 채팅 어플리케이션을 구현할 때 kafka를 사용하는게 맞는건가요?

3개의 답변

Q&A 목록