log 저장 환경 질문입니다. logstash, elastic search

Question

spring boot 프로젝트에서 front에서 모든 요청에 대한 정보를 저장하여 추후 분석하려고 log 저장 환경을 구축하려고 하는데logstash 없이 각 요청마다 저장할 값을 프론트로 받아 db나 elastic search에 저장할 생각이었습니다.그런데 찾아보니 front에서 spring boot 서버가 아닌 바로 자바 환경에 logstash만 설치한 서버로 전송하여거기서 필터링한 값을 elastic search 서버로 보내 저장하고spring boot에서 elastic search에 저장된 값을 검색하거나 분석할 수 있을 것 같더군요.spring boot에 logstash를 설치하여 프론트로부터 받아 로그도 쌓고 저장, spring boot에 elastic search 역시연동하여 처리하는 것과따로 하는것.어떤방식으로 처리해야할 지 결정이 되지 않아로그 환경세팅에 대한 조언을 구해봅니다.

JohnMark · Answer

프론트단에서 추후 분석에 필요한 데이터를. 충분히 포함하는경우 logstash 가 있는 서버로 바로 전송하여도 괜찮습니다만, 비용적인 측면에서는 서버에서 logstash로 전송하는것이 좋습니다. 아니면 로그를 파일로 떨구고 이를 filebeat로 상태를 감시하고 logstash로 전송하는.방법도 있습니다. Logstash를 안거치고 바로 elasticsearch에 로그를 때려박아도 되긴하지만 분명 추후에 데이터 필터링과 로그 데이터 변환 등의 작업이 필요할껍니다(client ip를 가지고 geoip db를 통해 접속 지역 정보를 구한다거나, user agent 값을 통해 기기구분 통계등을 낸다거나). 이를 위해서는 logstash 서버로 로그를 전송하고, logstash에서 input filter ouput 단계를 거쳐 elasticsearch에 저장하는 것이 좋습니다.

밤과라임 · Answer

&#64;JohnMark답변 감사합니다 logstash - elasticsearch 로 구성하겠습니다.찾아보니 말씀하신 filebeat도 앞에 배치하는 경우도 있던데 이것에 대한 장 단점이 있을까요??아주 방대하거나 복잡한 분류가 아니라 단순한 편입니다.

JohnMark · Answer

filebeat 는 file 형태의 로그를 수집하기 위한 agent 프로그램입니다. 로그를 파일로 떨궈 관리하신다면 filebeat를 사용하면 되고, 파일로 관리하지않고 단순히 콘솔에만 출력하신다면 application level에서 해당 로그를 바로 logstash로 전송하면 됩니다. 장단점의 대한 내용은 로그를 파일로 관리하느냐 혹은 콘솔 출력만 하느냐와 같은 주제의 경우에 대한 장단점밖에는 없을 것 같습니다.

밤과라임 · Answer

&#64;JohnMark답변감사합니다. 기록하고 추후 분석하는것은 logstash에서 elastic search로 전송하니 따로 파일로 관리할 필요는없어보이네요.많음 도움 되었습니다

밤과라임 · Answer

&#64;JohnMark추가 질문이 있습니다.elasticsearch 7.x는 자바 8 지원을 안할것이라고 하는데elasticsearch 변경된 것들을 보니 openjdk를 포함하고 있어자바 설치가 필요 없다고 하더라고요.srping boot로 backend 작업을 하고 로그를 모은다고 할때 spring boot프로젝트와 logstash, elastic search를 한 aws서버에 두려고 했는데나누는 것이 좋을까요?그럼 spring boot, logstash 를 한 서버, elasticsearch를 한 서버로 두는게 나을까요?그리고 자바1.8 환경에 엘라스틱서치 버전은 7.x대는 피하고 6.x대로 사용해야하는지 궁금합니다.elasticsearch 제어는 spring boot에 연동해서 할 생각입니다.

log 저장 환경 질문입니다. logstash, elastic search

5개의 답변

Q&A 목록