spring boot로 웹, rest 서버 개발중인데, 특정 경로의 1개만 동시 요청이 확연하게 많습니다..이럴경우 서버 설계를 어케 해야할까요?

Question

안녕하세요, 신입 서버 개발자로서 회사에 사수도 안계셔서 물어볼곳도 없고,혼자 몇일간 끙끙 앓아 도저히 감이 안잡히는 내용을 여쭤보려합니다..spring boot로 웹서버 및 rest 서버 개발중인데, 특정 경로의 요청 1개만 동시 요청이 확연하게 많습니다..이 요청에는 db에 있는 토큰과 요청 토큰이 동일한지 비교하는 코드와 aws dynamodb로 데이터를 초당 insert하는 코드로 구성되어있습니다..이 경로의 요청은 1초당 약 72회, 7초당 500회정도 호출될 예정이구요. 문제는 다른 rest api 코드나 웹 서버 코드는 위처럼 요청이 잦지 않을예정입니다만위에 언급한 특정 경로 요청만 호출이 초당으로 다량 발생할 예정인데,현재 nginx &#43; tomcat8 ec2 웹서버에 모두 동일하게 작성되어져 있습니다.. 그래서 호출이 잦은 특정 경로만 따로 분리를 해야하는가 고민이 드는데,그냥 맘편한게 aws lambda로 위 잦은 요청 코드만 분리시키면될지, 하지만 이럴겨웅 또 람다에 대한 비용이 추가로 발생하게 될까봐, 다른 분리 방법이 있을지 고민입니다 ㅠㅠ이럴경우 서버 분리, 설계를 어케 해야할까요..어느분이든 의견 달아주시면 정말 감사하겠습니다.

zepinos · Accepted Answer

어짜피 지금 7초당 500회로 테스트 돌렸을 때 연결 자체가 안되기 시작한다면, 현재 하드웨어 그대로 유지한 상태에서 특정 경로 하나만 따로 빼면...그 경로로의 연결은 여전히 먹통이 될텐데, 먹통이 되어도 다른 경로로의 연결은 필요해서 그런건가요? 그렇다면 더 마이크로하게 나누는게 맞지만, 경로에 따라 다른 서버를 바라보게 해서 먹통되는 경로와 다른 경로를 격리해서 서비스 하는건 가능하죠.즉, 해당 1개의 경로는 연관성이 떨어져서 별도로 빼서 먹통이 되어도 문제없게 만들면 되는게 하나의 방법 같습니다. 그리고 이건 nginx 의 reverse proxy 에서 location 에 특정 경로를 별도로 선언해서 다른 서버를 호출하게 하는 걸로도 처리 가능합니다. 결국 worker 가 부족한건 응답이 느려서인데, 연결을 맺고 끊는 것 자체가 부하라서...tomcat 보다 더 빠른 undertow/wildfly 로의 변경도 고려를 해보시라고 적었던 겁니다.

zepinos · Answer

api gateway 같은 걸로도 분산은 가능할텐데요...한 경로에 몰려서 다른 경로를 처리할 수 없는게 아니라면 상관없지 않을까요? 그리고 nginx 로 reverse proxy 을 구성했다면 거기서 분산처리해도 될꺼 같은데요...아마도 가중치도 줄 수 있을꺼고... 그것보다 tomcat 8 대신에 undertow 같은 WAS 변경 검토는 해보셨나요? 외장 WAS 라면 Wildfly 가 좀 애매하긴 하지만요.

argjdu · Answer

&#64; zepinos님답글 감사합니다 ㅠㅠ 지금 일단 jmeter로 7초당 500회로 테스트 돌리고 있는데, 30초가 넘어가면 서버 자체에서 nginx의 worker_connections가 부족하다고 뜨기도하고, 소켓 연결이 이미 사용중이여서 연결을 못하겠다는둥, 프로세스 자원이 부족하다고 에러가 계속 떠버립니다.그렇다고 이 경로만을 위해 현재 서버 자체의 프로세스나 worker_connections을 늘리기엔 낭비인것 같아 이 경로만 분리시킬수 있는 방법이 있을지 고민이였습니다. api gateway를 사용하면 해당 경로만 설정 자체도 다르게 분리시킬수 있는건가요..??

antop · Answer

더 마이크로하게 나눠야 것네요 ㅠㅠ

argjdu · Answer

&#64; zeplinos 상세한 답변 감사드립니다! 하나의 경로때문에 별도 서버를 두거나 서버를 바꾸기에 시행착오가 많을것같아 제대로 알아보고 바꿔보던지 해야겠습니다ㅠㅠ 조언 다시 한번 감사드립니다

spring boot로 웹, rest 서버 개발중인데, 특정 경로의 1개만 동시 요청이 확연하게 많습니다..이럴경우 서버 설계를 어케 해야할까요?

5개의 답변

Q&A 목록