초기 사용자 0명일 때 "잘 돌아가는지" 판단하는 지표, 다들 뭘 보시나요

사내 툴만 만들다가 처음으로 외부 사용자 대상 서비스를 붙였는데, 배포 직후에 제일 당황스러웠던 게 대시보드였습니다. 에러율 0%, p95 응답 180ms, 큐 적체 없음. 전부 초록불인데 이게 좋은 신호인지 아무 일도 안 일어난다는 뜻인지 구분이 안 되더군요. 트래픽이 없으면 에러도 없으니까요.

사내 툴은 사용자가 이미 정해져 있어서 이런 고민이 없었습니다. 안 쓰면 옆자리에서 바로 말해주고요. 외부 서비스는 아무도 아무 말을 안 해줍니다.

그래서 로그를 다시 봤더니, 정작 봐야 했던 건 “가입 후 첫 결과물까지 걸린 시간”과 “중간에 어디서 창을 닫았는가” 쪽이었습니다. 인프라 지표가 아니라 퍼널 지표인데, 이걸 제대로 쌓으려면 이벤트 스키마를 처음부터 다시 설계해야 하더군요. 지금은 임시로 페이지 진입