웹서버 접근시 connection timeout이 발생합니다.

Question

AWS EC2에 톰캣 설치해서 사용중입니다. 몇달간 문제없이 사용하고 있었는데, 얼마 전부터 페이지에 접근이 됐다 안됐다 하더라구요. 그래서 EC2에 들어가서 보니 아래와 같이 SYN_RECV 상태의 커넥션이 많은 것을 확인할 수 있었습니다. [root&#64;E001 XXXX]# netstat -an | grep SYN tcp 0 0 10.0.1.106:8080 IP_A:55747 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_A:55746 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_D:56051 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_C:62000 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_C:61998 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_C:61996 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_A:55750 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_A:55749 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_A:55748 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_B:61483 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_B:61485 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_B:61482 SYN_RECV tcp 0 0 10.0.1.106:8080 IP_C:61997 SYN_RECV 저 IP들은 회사 PC IP들입니다.(참고로 사내에서 모든 PC는 공인IP를 부여받아 사용중입니다.) 전 SYN FLOODING ATTACK이 아닐까 의심했는데, 시스템 로그에는 SYN COOKIE가 사용되었다는 로그가 없습니다. 시스템 설정값은 아래와 같구요. net.ipv4.tcp_syn_retries &#61; 2 net.ipv4.tcp_synack_retries &#61; 2 net.ipv4.tcp_syncookies &#61; 1 EC2 인스턴스에서 패킷을 잡아보았을때 해당 PC로 SYN, ACK를 보낸 패킷은 있는데, ACK 패킷을 받은 흔적은 보이지 않습니다.(tcpdump 에서 tcp패킷만 캡쳐했습니다.) 해당 PC에 바이러스 검사를 해보면 별다른 이상은 없구요.. EC2는 보안정책으로 사내 PC만 접근이 가능하도록 제한되어있는 상태입니다. 뭘 더 확인해봐야할지 모르겠습니다... 도움 부탁드립니다.

esrse · Accepted Answer

중간에 있는 NAT 해주는 장비가 좀 의심스럽긴 합니다.거기서 iptables같은 걸로 NAT해주는 걸로 추측되는데..뭔가 설정이 잘못된 건 아닐지.일단 서버에서 netstat한 결과를 봤을 때 10.x.x.x는 사설ip라서 회사PC에서 직접 접근은 못합니다.그래서 서버 앞단에 NAT를 해주는 게 있을 거라고 추측합니다.서버 앞단에 nginx같은 리버스 프록시가 있었다면 netstat 결과에서 5번째 컬럼은 회사PC주소가 아니라 nginx서버 주소가 있었어야 했을테니까요.NAT를 어떻게 해주고 있는지는 잘 모르겠지만.. 아무튼 중간에서 패킷을 계속 트래킹해주는 게 동작하고 있는 와중인데.. 혹시 이 장비의 설정에 문제가 있어서 패킷 트래킹이 제대로 안되는 수가 있지 않을까 의심이 됩니다. 트래킹을 하기 위해서는 메모리를 사용을 할 텐데 트래킹용 설정 사이즈가 너무 작고, 8080으로 오가는 커넥션의 수는 많다면, 트래킹정보 데이터가 메모리 제한 사이즈를 넘어가버려서 트래킹이 실패하는 수도 있을 것입니다.

esrse · Answer

딱히 syn flooding 로그가 안 남았다는 거죠? ACK를 받지 못해서 서버가 PC로 SYN&#43;ACK를 두차례 재전송하는 것도 확인하셨나요?그리고 클라이언트단에서는 SYN SENT 상태인 것을 확인하셨나요? 아니면 ESTABLISHED 상태인가요? SYN SENT 상태라면 클라이언트가 SYN을 보냈는데 SYN&#43;ACK을 못받았다는 거고, ESTABLISHED상태라면 클라이언트가 서버가보낸 SYN&#43;ACK까지는 받았다는 거거든요.전자면 서버가 보낸 SYN&#43;ACK가 네트워크 중간에서 유실되는 걸 거고,.. 후자면 클라가보낸 ACK가 유실되는 거겠죠. 서버는 10.x.x.x 주소를 쓰는 걸로봐선, 서버앞에 서버용 공인IP를 할당해둔 뭔가가 있는 거 같네요? 아마 NAT를 이용한 포워딩 역할을 해주는 뭔가 있는 거 같은데..혹시 그 장비에 로그 같은 거 없나요? 아니면 여러대 띄워져있으면 걔중 한대가 좀 맛이 갔다든지.. psOKKY의 새댓글 알림이 유실되는 경우가 많아서, 제가 이 글에 달릴지도 모르는 새글을 노티받지 못할 수 있습니다.

귀신님 · Answer

&#64;esrse 답변 감사합니다. 1. 넵 syn flooding 로그는 남지 않았습니다. 2. 재전송이면 TCP Retransmission 패킷 말씀하시는거 맞으실까요? 캡쳐한 패킷에 동일한 sequence number로 나가는 패킷이 확인됩니다.그리고 클라이언트쪽에서도 SYN_SENT 상태로 남아있습니다. 3. AWS EC2 인스턴스여서 네트워크가 저렇게 표시되는 듯하네요.. 딱히 로그가 남는게 없을거 같긴한데..한번 다시 살펴봐야겠네요....

귀신님 · Answer

&#64;esrse 음..클라이언트쪽에서 패킷을 떠보니 SYN, ACK패킷이 아예 도달하지 않고 있네요... 그런데 이상하게도 22번 포트로 SSH 통신을 하는데는 문제가 없는데.. 왜 8080 통신에만 해당 현상이 생기는지 이해가 도저히 안되네요 ㅠ SYN, ACK 패킷이 드랍되면 22번 포트에도 드랍되어야 하는게 아닌지.....

귀신님 · Answer

&#64;esrse 답변 감사합니다. NAT도 AWS에서 자동으로 생성되고, 자동으로 관리해주는 놈이다보니.. 더이상 어떻게 확인할 방법이 없군요.. ㅎ... ㅎㅎ ㅠ HTTP 통신 횟수를 좀 줄이는 방향으로 소스를 한번 수정해봐야겠네요... 감사합니다!

웹서버 접근시 connection timeout이 발생합니다.

5개의 답변

#synflood 목록