kafka 수치화

Question

안녕하세요 컴공 졸업반 학생입니다.개인 프로젝트를 진행 중에 있는데 궁금증이 생겨 글 올립니다.이벤트 기반 실시간 ETL 파이프라인을 만드는 프로젝트인데 여러 토픽을 지나 데이터를 가공하는 형태인데 마지막 토픽에서 현재는 RDB에 저장하고 있습니다.동일 리소스에서 얼마나 빨라질 수 있는지 알아보고 기록하는게 그 기술을 사용하는 이유를 체감하기 좋고 이후에 포트폴리오에 수치화하여 적기 좋을 것 같아서단일브로커 + DB 적재로 시작해 캐싱, 배치, 스레드 등을 추가하면서 진행하고 있습니다.최종적으로는 멀티브로커+HDFS 구조를 구현할 생각입니다.현재 컨슈머그룹별 lag, TPS와 리소스 사용률 (CPU/RAM)을 측정하며 진행하고 있는데 다른 중요한 측정 항목이 또 있을까요?모니터링은 Grafana로 진행하고 있습니다

kafka 수치화

0개의 답변

Q&A 목록