카프카 스트림즈 애플리케이션이 죽는 경우가 발생하는지 궁금합니다.

Question

현재 카프카를 적용한 프로젝트 개발 중에 있습니다.카프카 스트림즈(DSL)를 자바 애플리케이션안에 자바 모듈로 구현을 한 상태입니다. 현재 카프카 브로커로 들어오는 데이터는 초당 50건~200건 가량이며 한 건 당 2000byte 정도 데이터를 받고 있습니다. 현재는 모든 데이터를 한 토픽에서 받고, 그 모든 데이터가 담긴 토픽을 목적별로(차, 청소 등..) 만든 토픽에 필터링 하고 있습니다. 필터링하는 로직이 복잡하지는 않습니다. 그런데 이런 상황에서 운영 중에 만약에 ,카프카 스트림즈가 부하가 많아질 경우나 네트워크 등 다른 이슈로 스트림즈 애플리케이션이 죽지는 않을까 하는 걱정이 있습니다. 질문입니다.혹시 이렇게 자바 코드로 작성한 스트림즈 애플리케이션이 죽는 상황이 있나요? (부하 또는 기타 문제로...)있을 경우 대비를 한다면 스트림즈 애플리케이션을 자바 코드가 아닌 따로 프로젝트를 만들어(WAS를 따로 생성) 운영을 해야할까요?스트림즈 애플리케이션이 죽는 경우는 어느정도의 부하(초당 몇 바이트정도인지.. 보통..)가 있어야 죽는 경우가 발생하나요? (CPU성능, 메모리 등 PC스펙이 충분하다고 할 경우에요..)만약 WAS를 따로 만들어서 운영해야 한다면, WAS를 보통 여러 개 정도 두나요? 아니면WAS를 1개만 만들고 WAS 내 스트림즈 스레드를 여러 개로 만들어서 운영하나요? 아니면 여러개 WAS에 여러개 스레드를 띄우나요?

Throwaway · Answer

메모리 딸리면 죽겠죠

roggue2 · Answer

정기적인 메모리 초기화가 답일듯요

집킨 · Answer

이건 이렇게 예측하는건 의미가 없고 실제로 운영환경과 동일한 스펙에서 부하 테스트를 해봐야 합니다 apm 켜놓구요

카프카 스트림즈 애플리케이션이 죽는 경우가 발생하는지 궁금합니다.

3개의 답변

#kafka 목록