구글 크롤링 하다가 503 에러 먹었는데 해결방법이 있나요?

Question

python 코딩 중인데 검색어 결과 가져와야 하는게 있어서 빨리 가져올려고 데이터 양 늘리다가 503 Error를 먹었습니다.request를 이용한거라서 다른걸로 다시 해볼려다가 urllib3를 써도 안되고 fake-useragent로 헤더 봐꿔줘도 안되네요 이거 에러 하루정도 시간 지나면 저절로 풀리나요?아이피를 바꿔주면 된다는데 회사 공유기 사용중이라서... 방법이 없을까요..??

kenu,전독시 · Answer

https://developers.google.com/custom-search/docs/overview

Yonggggg · Answer

답변감사합니다. 그런데 google search api 는 갯수 제한이 걸려있는걸로 알고있습니다.저는 한번만 사용하면 되는데 검색 데이터가 약 2~3만개 사이입니다. 하나하나 검색해서 검색된 값(각 검색어마다 한페이지만) 가져오면 되는데(최종적으로 get 하는 데이터양은 총 20~30만개), 다른 방법이 없을까요??

구글 크롤링 하다가 503 에러 먹었는데 해결방법이 있나요?

2개의 답변

Q&A 목록