애드센스 "색인이 생성되었으나 robots.txt에 의해 차단됨" 해결하기

"robots.txt에 의해 차단됨" 메세지 해결하기

이것을 오류라고 해야하나? 애드센스와 함께 하는 시간이 매번 새롭다.
뜸금없이 이런 메일이 와서 깜짝 놀랬다.
"색인이 생성되었으나 robots.txt에 의해 차단됨" 이거 도대체 무슨 뜻인지?
색인이 되었는데 차단이 되었다구???

애드센스 사용하는 사람들은 한번씩은 받은 메일이지 않을까 싶다.
구글로부터 메일이 올때마다 깜짝깜짝 놀라게 된다.

애드센스 robots.txt에 의해 차단됨

차단되었다는 뜻이 너무 무겁게 다가온다.
도대체 뭔가 또 문제인 것일까? 누가 내 블로그를 공격한것인가?
별별 생각이 다 든다.
메일에 링크된 색인 생성 범위 문제 해결하기 버튼을 누르면 아래사진과 같은 문제가 되는 사이트에 대한 창이 뜬다.

애드센스 robots.txt에 의해 차단됨

robots.txt는 웹사이트에 웹 크롤러같은 로봇들의 접근을 제어하기 위한 규약이라고 한다. 아직 권고안이라 꼭 지킬 의무는 없다.
크롤러들은 주로 검색엔진들의 인덱싱 목적으로 사용되는데, 웹사이트들 입장에서도 더 많은 검색 노출을 원하는게 일반적이므로 딱히 막을 이유는 없다. 다만 서버의 트레픽이 한정돼있거나 검색엔진에의 노출을 원하지 않는 경우, 이 robots.txt에 안내문형식으로 특정 경로에 대한 크롤링을 자제해 줄 것을 권고하는 것이다.
지킬 의무가 없다고 하나 지켜주는게 상식이며, 마찬가지로 서버 주인 입장에서는 원치않는 크롤링이 들어오는데도 계속해서 서비스를 제공할 의무 또한 없으므로 크롤러의 아이피를 차단하면 그만이다.

애드센스 robots.txt에 의해 차단됨

다시 티스토리로 돌아와서 유효성 검사 상태를 클릭해서 보면 최종 크롤링 링크를 볼 수 있는데 주로 /manage 와 /manage/entry/post 사이트가 차단되어 있다.
manage가 들어가 있는 사이트는 티스토리 관리자에 해당하는 사이트라고 볼 수 있다. 티스토리에서 의도적으로 검색이 안되게끔 막아 놓은 것이다.
다시 말해서 robots.txt 즉, 검색봇이 관리자사이트로 진입하지 못하도록 막아주고 있다는 뜻이다.

티스토리가 제대로 운영되고 있다는 뜻이기때문에 "색인이 생성되었으나 robots.txt에 의해 차단됨" 이라는 메일 오면 그냥 가볍게 무시해주면 된다.

---

🦄 함께 읽으면 좋은 글

블로그 광고 수익을 높이는 방법

티스토리 당신의 선택은? 무료스킨 or 유료스킨, 애드핏 or 애드센스

구글 애드센스 성공하는 방법
애드센스 무효트래픽에 대하여 알아보자!
티스토리 vs 네이버블로그 나와 맞는 블로그는 무엇일까?
초보 블로그가 선택하는 티스토리 그리고 황금키워드
블로그 홍보 + 이웃증가 어플 아임노마드
쿠팡파트너스 가입하는 방법 (블로그 수입창출)
티스토리 오류 다음 검색 누락 글 누락 (블로그 통누락 말고)
티스토리 오류 "데이터를 불러오지 못했습니다"

티스토리 "일시적인 문제로 글을 생성할 수 없습니다" 해결