네이버쇼핑 크롤링 aws

Question

네이버 쇼핑 크롤링 하는데 로컬에서는 되는데 aws 클라우드 환경에서만 안되네요 며칠전 부터인가

다른계정 다른 vpc에도 똑같은 이슈이던데 307에러로

저 말고 다른분들도 계시는지여

톰소여 · Answer

가능한가요?

User-agent: *

Disallow: /

User-agent: Yeti

Disallow: /v1

Disallow: /my

Disallow: /cart

Allow: /

안막았다고 해도 과도하게 크롤링하면 막힙니다.

예상입니다만.. 대부분 같은 ip 대역(ip4중에서 3자리까지..)으로 총 크롤링을 계산하기 때문에..

aws에서 다른 pc들이 크롤링하면 도매급으로 같이 묶여버리지만 집에서 하면 별도로 계산 되기 때문에 안 묷이겠죠.

고등어통조림 · Answer

네이버쇼핑 api도 있지 않나요?

2개의 답변