Apppaq
40
2020-05-23 14:46:07 작성 2020-05-23 14:47:18 수정됨
4
138

ec2 cpu사용률이 갑자기 100%까지 치솟습니다..



t2.micro 인스턴스를 하나 돌리고 있습니다.

해당 서버는 5분에 한 번씩, 셀레니움을 통해 3개의 사이트를 크롤링한 후,

데이터를 s3로 보내주는 작업을 합니다.

5분에 한 번씩 작업하는 것은 crontab으로 스케줄링했고, 크롤링 코드는 python이고,

셀레니움이 사용하는 브라우저는 크롬headless모드 이며,

크롤링하는 데이터 양은 적습니다.

s3에 저장하면 7kb정도 밖에 안되는 데이터입니다.


문제는, 몇시간에 한번씩 순식간에 cpu사용률이 100%로 치솟습니다.

혹시 어디 메모리누수가 생기고 있나 싶어서, 2시간에 한번씩 reboot하도록 스케줄링 해뒀는데,

16시간 정도만에 또 cpu 100%를 찍고 꺼져버렸네요.

차트에 보이는 것처럼 cpu 사용률 5%정도를 계속 유지하다가,

어느 순간 3분만에 100%를 찍고 서버가 맛가버리는걸 보니, 누수 문제는 아닌거 같은데

혹시 예상되는 문제 아시는 분은 알려주시면 감사하겠습니다 ㅠ

0
0
  • 답변 4

  • Fegeterika
    5
    2020-05-23 15:13:27 작성 2020-05-23 15:14:05 수정됨
    1
  • Apppaq
    40
    2020-05-23 15:28:01

    올려주신 링크 잘봤습니다!

    daily job이 있을 수도 있군요.

    많은 도움이 됐습니다.

    링크까지 찾아와주신 것 감사드립니다.

    0
  • 엥더맨
    83
    2020-05-23 15:48:31

    약간 다른 이야기지만 cronjob을 이용하여 작성자님 처럼 무언가를 스케줄링해서 동작시키고 싶으시면 AWS의 Lambda도 추천드립니다.

    1
  • Apppaq
    40
    2020-05-23 19:59:53

    답변 감사합니다!

    람다도 생각해봤는데,

    크롤링하기 전에 서버 언어셋팅을 한국어로 바꿔놓아야 원하는대로 크롤링이 되서,

    람다로는 불가능하더라고요 ㅎ 좋은 의견 감사합니다.

    0
  • 로그인을 하시면 답변을 등록할 수 있습니다.