MelRanG
639
2020-04-08 11:35:51
3
243

크롤링 robts.txt질문입니다.


사용자가 검색하면 3가지플랫폼에서 데이터를 긁어와서 통합한 정보를 보여주는 사이트를 만들생각입니다.


한 사이트가

아래의 첫번째의 경우 api에 접근불가능인데 이러면 검색데이터에 접근자체도 안되는건가요?


그 아래의 경우 design은 허용되있는데 이 사이트의경우는 검색데이터에 접근가능한건가요?? 따로allow표시가 없어서요 ㅠ

User-agent: *
Disallow: /payment/
Disallow: /api/
User-agent: *
Disallow: /design/
0
  • 답변 3

  • 원푠듯
    290
    2020-04-08 11:52:48

    따로 disallow로 지정되어 있지 않다면, disallow를 제외한 모든 링크의 크롤링을 허용한다는 의미입니다.


    그리고 robots.txt의 규칙은 권고입니다. 대부분의 검색 엔진 크롤러들이 이 규칙을 따를 뿐이죠.

  • Initializing
    722
    2020-04-08 11:55:11

    robots.txt 는 로봇 배제 표준입니다. 정확하게 범위를 정하고자 쓰도록 권장하지만 배제되지 않으면 오픈됩니다.

  • MelRanG
    639
    2020-04-08 12:04:11

    감사합니다!

  • 로그인을 하시면 답변을 등록할 수 있습니다.