웃기네요..;;

연관 없을것 같은 것들 몇개 고쳤는데 되네요.

이거 다 지워도 될거같은데;;

왜그런지는 모르겠습니다.

ssl 인증 하는 부분에 TSLv1 추가해준것,

nginx http는 https로 다 리다이렉트 걸어놨는데,

http에서도 robots.txt가 조회되도록 고친것.

html meta 정보에서 robot index follow 추가해준것 이 외에는 없는데 사실 이거랑 관련이 없다고 판단되는데 왜 되는지는 모르겠습니다.. 황당하네요. 네이버 / 구글 검색 봇 자체 문제인지;;

지금 적용한 내용 다지우고 다시 웹페이지 최적화 확인해보니 여전히 수집할 수 있는걸로 나오네요.

아 웃기네요.

일단 robots.txt 파일 자체가 문제 맞았구요.

이유는 준비중인 서비스 로그인해야만 이용 가능하도록 구현해놨습니다.

그러다보니 메인페이지 접속하더라도 로그인하지 않으면 로그인페이지로 리다이렉트 되도록 해놨는데요.

그 과정에서 robots.txt는 루트페이지를 허용해뒀더라도 리다이렉트 된 대상은 루트페이지가 아니라 수집 거절이 뜬것 같구요.

그리고

User-agent: *

Allow: /

로 고쳤음에도 정보 수집이 안된다는 메시지를 받았었는데 그건, 검증 탭의 robots.txt 메뉴에서 robotst.xt 정보 수집요청을 안해서 그런거였네요.

황당하네요.

그런 내용도 없었고, 웹페이지 최적화 메뉴도 웹사이트에 데이터 호출을 하는데 그때 robots.txt를 당연히 체크하는게 아닌가 싶었는데 그런게 아니였네요.

그리고 최적화 메뉴 결과에서는 정상적으로 수집되는걸로 나오는데,

몇일뒤에 수집결과에는 제대로 수집안되는걸로 나오면 일주일 정도 더 기다려보세요.

최적화 결과가 정상이면 수집도 정상적으로 될겁니다.

다만, 로봇이 수집해야할 자료들이 너무나도 많고, 수집 후에 바로 처리되는 형태는 아닌듯합니다.

수집을 여러 로봇들이 동시에 산발적으로 할텐데, 그걸 처리해주는 단계에서 딜레이가 있는듯합니다.

그래서 실제 robots.txt를 수정하거나 자신의 사이트를 수정했더라도 수집이 안되는 경우도 있고, 수정한 내용이 반영되는 것도 좀 느린것 같습니다.

이부분은 거의 동시에 구글과 네이버에 검색을 위한 메타정보를 추가했었는데, 구글은 지난주에 이미 대부분의 내용이 반영된 반면, 네이버는 2~3주 전의 정보를 가지고와서 검색에 반영해놨네요.

아마도 이부분은 봇이 한번 더 사이트 수집을 끝내는 단계에서 업데이트가 될 것으로 판단됩니다.