떠도는 랭킹사이트 질문입니다

Question

어떤 사이트를 만들어볼까 하다가크롤링으로 순위매겨주는 사이트를 만들까 했습니다.유튜브를 크롤링 하려했으나robots.txt 존재를 알기되었고 모든유저에 disallow로 되어있더군여그래서 정식적으로 api를 사용하려했으나제가 찾는 api는 없었습니다.관련 자료를 찾는중에 저와 같은 생각의 웹사이트가 존재했고 자동화가아니고서야 불가능한 양이었습니다.이런분들은 api를 잘 찾는것인가요 크롤링 robots.txt를 무시하고 크롤링하는건가요

yjj8353 · Accepted Answer

보통 API를 제공하고 있다면 해당 사이트에 문서를 제공합니다.API가 없다면 robots.txt를 무시하고 크롤링 하고 있을 가능성이 높습니다.robots.txt도 어디까지나 권고사항일 뿐이지 강제로 크롤링을 차단하는 건 아닙니다.

떠도는 랭킹사이트 질문입니다

1개의 답변

Q&A 목록