node.js로 네이버 스마트스토어 상세페이지 크롤링할려고 해요..

Question

node.js의 puppeteer를 이용해서 스마트 스토어를 크롤링 하는건 성공했는데, 속도가 지못... 그리고 프록시 써줘야 하는 이슈도 있고.. 해서 puppeteer는 일단 놔두고, axios를 이용해서 http호출을 하려고 하는데, 어렵네요.일단 headers에 accept, accept-encoding, 등등 쿠키 빼고 다 넣고 해봤는데, 503에러가 뜨네요.혹시 방법 없을까요?

캐티 · Answer

프록시 설정을 하면 되지 않겠나요.Oxylabs - High Quality Proxy Service to Gather Data at Scale

node.js로 네이버 스마트스토어 상세페이지 크롤링할려고 해요..

1개의 답변

Q&A 목록