dhrgml830
1k
2021-06-17 09:32:26
0
154

nodejs 이런게 가능할까요??


안녕하세요. nodejs 질문이있어요.

어느 사이트를 크롤링하는데 

1초에 약 10회 크롤링하면 IP 밴당해서 30초간 크롤링이 안됩니다.

저는 1초에 약 100회정도 크롤링하고싶습니다. 

nodejs fetch를 사용하여 크롤링을하고있는데

proxy서버를 사용하여 IP를변조하면 1초에 100번크롤링도 가능할가요??

0
  • 답변 0

  • 로그인을 하시면 답변을 등록할 수 있습니다.