Q&A
커뮤니티
지식
이벤트
더보기
OKKY
Q&A
지식
커뮤니티
이벤트
부트캠프
Jobs
Contact
Search Bar
로그인
회원가입
kafka
전체
기술
커리어
기타
카테고리
전체
최신순
질문하기
해결
5
AChEH
·
9개월
849
0
해결 5
Spring 채팅 Kafka vs. RabbitMQ
안녕하세요. 채팅 애플리케이션을 리팩토링 하는 과정에서 궁금한 점이 생겨 처음으로 질문을 남깁니다. 맨 밑으로 내려가면 질문 요약이 있습니다. 초기 설계에서 RabbitMQ를 메시지 브로커를 활용해서 스프링 기반 채팅 서버를 만들었습니다. STOMP over websocket을 통해서 클라이언트 <-> 서버 간의 메시지를 통신하고 메시지 브로커의 역할을 모두 RabbitMQ가 담담당하는 구조로 개발했습니다. 그리고 시간이 지나 카프카에
답변
3
킷캣맨
·
11개월
413
0
답변 3
kafka 이벤트 발행과 데이터베이스 트랜잭션 일관성 보장 방법?
아래와 같은 로직을 구현한다면 await this.tm.transaction(async () => { // 1. 데이터 상태를 'done'으로 변경 entity.markAsDone(); // 2. db에 저장 await this.repository.save(entity); // 3. 카프카 이벤트 발행 await firstValueFrom( this.kafkaClient.emit('
답변
8
연결고리를 찾아보자
·
11개월
804
0
답변 8
슬랙 같은 간단 채팅 프로젝트: Redis, RabbitMQ, Kafka 중 뭘 선택해야할지 모르겠습니다...
토이 프로젝트로 슬랙처럼 1:1·그룹 채팅 기능을 갖춘 간단한 프로젝트를 만들어볼려고 하는데 실시간 메시지 전송·수신, 순서 보장, 채팅 이력 조회 등이 필요한데 - Redis Pub/Sub + MongoDB - RabbitMQ - Kafka 중에서 고민하고 있는데 다들 장단점이 뚜렷하더라고요. 그래서 보통 이런 프로젝트에서는 어떤 기술을 사용하는지 궁금합니다. 처음에는 redis를 사용할까 고민했지만 순서가 보장이 안되서 어떤 분들은
해결
3
커린이
·
약 1년
983
0
해결 3
다중서버의 SpringBoot + WebSocket + stomp+ kafka 채팅시스템 구축 질문이 있습니다.
🧩 시스템 구조와 메시지 라우팅에 대한 고민현재 구축 중인 시스템은 WebSocket 서버가 다중 인스턴스로 구성되어 있으며, Kafka를 통해 채팅 메시지를 수신하고 있습니다. ✅ 현재 아키텍처Kafka는 채팅 메시지를 브로드캐스트 용도로 사용하며,→ 모든 WebSocket 서버가 Kafka를 동일한 그룹 ID로 구독하고 있습니다 (즉, 같은 메시지를 하나의 서버만 소비함). 문제는 Kafka에서 메시지를 수신한 WebSocket 서버
답변
2
그게뭔데?
·
약 1년
2.1k
0
답변 2
Kafka 공부 어떻게 할수있을까요?
안녕하세요 개인 토이프로젝트로 멀티모듈로 MSA 분산환경 구성하고 더미데이터좀 넣고 프로젝트 하면서 이것저것 테스트 하면서 카프카로 이벤트 스트리밍 환경구축도 이번에 같이 한번 해보고싶은데 spring으로 코드쳐가면서 kafka로 구축하는 인프런강의나 이런거 있을까요? 아니면 자료나 이런거있다면 추천부탁드립니다 선배님들!!!
답변
3
dyfor
·
약 1년
644
0
답변 3
Kafka 공부
선생님들 카프카를 공부해보려고합니다. 공식문서를 처음부터 보면 이해가 너무 안갈것 같아서 블로그들 보면서 개념들은 익히는 중입니다. 카프카를 공부하기 위해서 어떤 참고자료를 읽으면 좋을 지 추천해주실 수 있으신가요??그리고 조금 이해 안가는건 zookeeper를 이젠 사용 할 필요없다고하는데 그래도 zookeeper도 같이 공부하는게 좋을까요?
답변
0
xo482
·
약 1년
738
0
답변 0
kafka 수치화
안녕하세요 컴공 졸업반 학생입니다. 개인 프로젝트를 진행 중에 있는데 궁금증이 생겨 글 올립니다. 이벤트 기반 실시간 ETL 파이프라인을 만드는 프로젝트인데 여러 토픽을 지나 데이터를 가공하는 형태인데 마지막 토픽에서 현재는 RDB에 저장하고 있습니다. 동일 리소스에서 얼마나 빨라질 수 있는지 알아보고 기록하는게 그 기술을 사용하는 이유를 체감하기 좋고 이후에 포트폴리오에 수치화하여 적기 좋을 것 같아서 단일브로커 + DB 적재로 시작해 캐싱,
답변
0
xo482
·
약 1년
360
0
답변 0
카프카 수치화 질문
안녕하세요 컴공 졸업반 학생입니다. 개인 프로젝트를 진행 중에 있는데 궁금증이 생겨 글 올립니다. 이벤트 기반 실시간 ETL 파이프라인을 만드는 프로젝트인데 여러 토픽을 지나 데이터를 가공하는 형태인데 마지막 토픽에서 현재는 RDB에 저장하고 있습니다. 동일 리소스에서 얼마나 빨라질 수 있는지 알아보고 기록하는게 그 기술을 사용하는 이유를 체감하기 좋고 이후에 포트폴리오에 수치화하여 적기 좋을 것 같아서 단일브로커 + DB 적재로 시작해 캐싱,
답변
0
xo482
·
약 1년
416
0
답변 0
Kafka 수치화
안녕하세요 컴공 졸업반 학생입니다. 개인 프로젝트를 진행 중에 있는데 궁금증이 생겨 글 올립니다. 이벤트 기반 실시간 ETL 파이프라인을 만드는 프로젝트인데 여러 토픽을 지나 데이터를 가공하는 형태인데 마지막 토픽에서 현재는 RDB에 저장하고 있습니다. 동일 리소스에서 얼마나 빨라질 수 있는지 알아보고 기록하는게 그 기술을 사용하는 이유를 체감하기 좋고 이후에 포트폴리오에 수치화하여 적기 좋을 것 같아서 단일브로커 + DB 적재로 시작해 캐싱,
답변
2
Haeunggi
·
약 1년
373
0
답변 2
폐쇄망, 사설망을 연동하여 카프카 사용 시 연결 문제에 대해 질문드립니다.
안녕하세요. 이번에 카프카를 프로젝트에 도입하게 됐는데, 문제가 발생하여 질문드리게 되었습니다. 현재 폐쇄망에 있는 PC1 번과 사설망에 있는 PC2 번을 연동하고 있습니다.구조는 아래와 같습니다. PC1(폐쇄망) - 망연계 장비(폐쇄망) - 망연계 장비(사설망) - PC2(사설망) - PC3(사설망) 이 구조로 되어있습니다. PC1에서 PC2로 데이터 요청을 보낼 때 망연계 장비를 거쳐야 하기 때문에 IP 주소와 포트 번호는 망연계 장비(폐쇄망)의
해결
4
가아아암귤
·
약 1년
539
0
해결 4
docker-compose + kafka 정말 이해가 되지 않습니다. 도움 한 번 부탁드려요.
도커에 주키퍼+카프카+프로듀서 서버를 하나에 컨테이너에 올리고, docker 외부에서 컨슈머 클라이언트를 실행하여 메세지가 잘 나오는지 보는 테스트를 하고있었습니다. # docker-compose version: '3' services: zookeeper: hostname: zookeeper container_name: zookeeper image: confluentinc/cp-zookeeper:
답변
1
rheonik
·
1년 이상
353
0
답변 1
docker - kafka 내용 궁금증 질문드립니다 선배님들
zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" networks: - app-network kafka_broker1: image: wurstmeister/kafka ports: - "9092:9092" - "29092:29092" environment: KAFKA_BROKER_ID: 1
답변
2
가지맨
·
1년 이상
652
0
답변 2
MSA 트랜잭션 처리 질문
현재 카프카를 통해서 이벤트를 주고 받고있습니다. 근데 트랜잭션 처리를 어떻게 해야될지 잘 모르겠네요 알아본 결과 많이 사용하는 패턴이 SAGA패턴, outbox패턴 이렇게 있는것같은데 일단 SAGA패턴이 그나마 단순해보여서 먼저 시도해볼려고하는데 제가 이해한 SAGA패턴이 컨슈머쪽에서 처리도중 에러가 발생했을때 다시 롤백하는 이벤트를 발행 하는? 로직으로 알고있는데 일단 제가알고있는 이게 맞는지 궁굼하고 만약에 이게맞다면 그러면 모든 컨슈머로직에는
답변
3
idhdcno
·
1년 이상
816
1
답변 3
웹소켓 기반 채팅 어플리케이션을 구현할 때 kafka를 사용하는게 맞는건가요?
인터넷에서 여러 웹소켓 기반 채팅 어플리케이션 예제를 찾아봤는데 kafka를 사용해서 구현한게 많더라구요. 근데 제가 갖고있는 지식 안에서는 kafka보단 rabbitMQ를 사용하는게 더 맞지 않나 싶어 의견을 구하고자 질문 올립니다. 기본적으로 웹소켓 기반 채팅 어플리케이션을 구현하기위해선 클라이언트와 백엔드가 웹소켓 세션을 맺고, 특정 웹소켓 세션에서 발생한 메시지를 동일한 채팅방 id를 갖는 다른 웹소켓 세션에서도 수신할수 있도록 브로드캐스팅해주
해결
5
accretion
·
거의 2년
1.0k
0
해결 5
RabbitMQ vs Kafka 메시지 브로커 선택에 대해 고민이 있습니다.
안녕하세요. 메시지 큐에 대해서 많이 모르고 있는 취준생입니다 .. 현재 사이드 프로젝트를 진행하고 있는데 STT를 활용한 모바일 앱을 만들고 있습니다. 앱에서 사용자가 Firebase Storage에 음성 파일 업로드 Spring API Server 한테 STT 요청 Spring API Server는 Firebase Storage 업로드 확인 후 Kafka한테 upload라는 topic에 이벤트 송신 upload를 구독한 python 측 co
답변
0
Iskra
·
거의 2년
200
0
답변 0
debezium으로 db 동기화 하려고 하는데요
sink 커넥터의 경우pk.fields 이 옵션 때문에테이블마다 하나씩 설정하게 될 것 같은데 이게 맞는 건가요..?
해결
1
우헤헤헤헤
·
거의 2년
182
0
해결 1
카프카 에러 헨들링 질문입니다
안녕하세요 선배님들 카프카 리스너에서 메세지를 받아서 처리를 하는데 에러가 발생하면 알아서 다시 컨슘해서 시도할까요? 그리고 또 궁금한 것이 있는데 카프카 리스너에서 서비스단을 여러개 사용한다고 가정하면 서비스단이 하나의 트렌젝션이 아니라 각각이라면 3번째 서비스단에서 에러가 발생하면 1,2번째 서비스단은 반영되는 것은 당연한거겠죠?? 카프카는 처음이고 직접 구현하는 것이 아니라 질문이 다소 무지해도 이해 부탁드립니다
답변
0
빠바방
·
거의 2년
291
0
답변 0
debezium 으로 데이터베이스 동기화하는데, 스키마를 읽지 못하는 오류가 생겼습니다..!!
선배님들 ! 무료한 금요일 오후에 질문하나 드립니다 !! debezium 으로 데이터베이스 동기화를 하고 있는데,처음에 source, sink connector 를 생성하면 복제 데이터베이스에 잘 들어갑니다. 그런데 수정을 하면 io.debezium.DebeziumException: Encountered change event for table db.tb whose schema isn't known to this connector 이 오류가
해결
1
공습경보삐뽀삐뽀
·
거의 2년
291
0
해결 1
Spring 트랜잭션 아웃박스 패턴에 대해 질문있습니다
트랜잭션 아웃박스 패턴을 공부하다가 궁금한 점이 있어서 글 올립니다 아웃박스 패턴이라고 하면 메세지큐와 db의 데이터 일관성을 지키기 위해 사용되는 것으로 공부 했는데요. 그렇다면 KafkaTransactionManager 를 사용하여 db의 트랜잭션 커밋을 확인한 후 카프카의 메세지를 발행 한다면 아웃 박스 패턴을 극복 할 수 있는건가요 ? 레퍼런스는https://rudaks.tistory.com/entry/spring-kafka%EB%A5%BC-%
답변
3
coolzz
·
거의 2년
178
0
답변 3
카프카 스트림즈 애플리케이션이 죽는 경우가 발생하는지 궁금합니다.
현재 카프카를 적용한 프로젝트 개발 중에 있습니다. 카프카 스트림즈(DSL)를 자바 애플리케이션안에 자바 모듈로 구현을 한 상태입니다. 현재 카프카 브로커로 들어오는 데이터는 초당 50건~200건 가량이며 한 건 당 2000byte 정도 데이터를 받고 있습니다. 현재는 모든 데이터를 한 토픽에서 받고, 그 모든 데이터가 담긴 토픽을 목적별로(차, 청소 등..) 만든 토픽에 필터링 하고 있습니다. 필터링하는 로직이 복잡하지는 않습니다. 그런데 이
이전
1
2
3
4
5
다음
Search Bar
