니르바나
2k
2021-02-22 10:40:34
3
99

네이버 웹마스터 robots.txt 조회가 되고 접근허용했는데 차단되고 있다고 나오는 경험 해보신분?


서비스 최종배포전에 체크해야할 사항들을 체크하고 있는데,

포털 노출을 위해서 robots.txt 를 아래와 같이 루트페이지만 수집가능하도록 해놨습니다.
사진과같이 로봇 메타 태그에슨 검색 결과에 노출할 수 있다고 되어있는데,
robots.txt에서는 조회한 페이지가 네이버 검색로봇의 접근을 차단하고 있다고하네요.

왜 그런걸까요? 단순 네이버 웹마스터 오류일까요?

서비스 주소는 http://onepaper.biz 이고 robots.txt 설정 파일은 아래와 같습니다.
18일에 웹마스터에 사이트 인증했으며, 그 이전에 도메인 등록은 해뒀으나 구글콘솔이나 네이버웹마스터에는 사이트 인증 없이 개발만 하고 있었습니다.

시간이 지나면 노출이 될것 같기도한데 robots.txt 파일에서 검색허용을 해주었는데 저렇게 뜨니까. 뭔가 찝찝하네요~

User-agent: *
Disallow: /
Allow: /$
0
  • 답변 3

  • 니르바나
    2k
    2021-02-22 13:44:18

    웃기네요..;;

    연관 없을것 같은 것들 몇개 고쳤는데 되네요.

    이거 다 지워도 될거같은데;;

    왜그런지는 모르겠습니다.


    ssl 인증 하는 부분에 TSLv1 추가해준것,

    nginx http는 https로 다 리다이렉트 걸어놨는데,

    http에서도 robots.txt가 조회되도록 고친것.


    html meta 정보에서 robot index follow 추가해준것 이 외에는 없는데 사실 이거랑 관련이 없다고 판단되는데 왜 되는지는 모르겠습니다.. 황당하네요. 네이버 / 구글 검색 봇 자체 문제인지;;


    지금 적용한 내용 다지우고 다시 웹페이지 최적화 확인해보니 여전히 수집할 수 있는걸로 나오네요.

  • 니르바나
    2k
    2021-02-22 13:51:32

    아 웃기네요.

    일단 robots.txt 파일 자체가 문제 맞았구요.


    이유는 준비중인 서비스 로그인해야만 이용 가능하도록 구현해놨습니다.

    그러다보니 메인페이지 접속하더라도 로그인하지 않으면 로그인페이지로 리다이렉트 되도록 해놨는데요.

    그 과정에서 robots.txt는 루트페이지를 허용해뒀더라도 리다이렉트 된 대상은 루트페이지가 아니라 수집 거절이 뜬것 같구요.

    그리고

    User-agent: *

    Allow: /

    로 고쳤음에도 정보 수집이 안된다는 메시지를 받았었는데 그건, 검증 탭의 robots.txt 메뉴에서 robotst.xt 정보 수집요청을 안해서 그런거였네요.

    황당하네요.

    그런 내용도 없었고, 웹페이지 최적화 메뉴도 웹사이트에 데이터 호출을 하는데 그때 robots.txt를 당연히 체크하는게 아닌가 싶었는데 그런게 아니였네요.

  • 니르바나
    2k
    2021-03-02 09:01:18

    그리고 최적화 메뉴 결과에서는 정상적으로 수집되는걸로 나오는데,

    몇일뒤에 수집결과에는 제대로 수집안되는걸로 나오면 일주일 정도 더 기다려보세요.


    최적화 결과가 정상이면 수집도 정상적으로 될겁니다.

    다만, 로봇이 수집해야할 자료들이 너무나도 많고, 수집 후에 바로 처리되는 형태는 아닌듯합니다.

    수집을 여러 로봇들이 동시에 산발적으로 할텐데, 그걸 처리해주는 단계에서 딜레이가 있는듯합니다.

    그래서 실제 robots.txt를 수정하거나 자신의 사이트를 수정했더라도 수집이 안되는 경우도 있고, 수정한 내용이 반영되는 것도 좀 느린것 같습니다.


    이부분은 거의 동시에 구글과 네이버에 검색을 위한 메타정보를 추가했었는데, 구글은 지난주에 이미 대부분의 내용이 반영된 반면, 네이버는 2~3주 전의 정보를 가지고와서 검색에 반영해놨네요.

    아마도 이부분은 봇이 한번 더 사이트 수집을 끝내는 단계에서 업데이트가 될 것으로 판단됩니다.

  • 로그인을 하시면 답변을 등록할 수 있습니다.