이 경우에는 robots.txt 가 없는건가요?

Question

robots.txt 파일을 만들고 ( 올바른 위치에 만들었습니다 )

url에 www.example.com/robots.txt 이런식으로 치면 계속 메인으로 리다이렉트가 됩니다.

그래서 다른걸로 테스트를 해보니

www.example.com/gwegweg.txt <-- ( 존재하지않는 txt파일) 메인으로 리다이렉트,

www.example.com/wgwegwe.jsp <-- (존재하지않는 jsp파일) 없는 페이지

www.example.com/aa.jsp <-- (존재하는 jsp파일) jsp파일 출력

이렇게 뜨는데 그럼 robots.txt 도 없는 파일인걸까요?

(위에 URL들은 다 예시입니다. )

분명 위치도 맞고 이름도 맞는데 왜 나타나지 않는걸까요..?

리다이렉트는 되더라도 robots.txt파일은 존재하는건가요 ?

siva6 · Answer

bot이 읽을 수 없으면 없는게 됩니다.

하루하루1 · Answer

siva6

robots.txt파일에 접속되지 않는 이유가 따로 있을까요..?

쿠잉 · Answer

아파치 쓰시면 .htaccess 내용을 한번 보세요

3개의 답변