구블, 구글 블로거, 블로그스팟 Robots.txt 설정하는 방법 정리
블로그 스팟의 장점은 티스토리 보다도 더욱 자유롭게 설정할 수 있다. 참 아이러니하다. 뭐하나 제대로 수정할 수 없는 네이버 블로그가 한국에서는 1위를 차지하고 그 다음은 티스토리 이지만 티스토리도 가만 뜯어 볼려고하면 할 수 없는 것이 몇가지가 있다.
반면에 워드프레스는 개설만 해놓고 만져보지 않아서 모르겠지만 블로그 스팟은 거진 생각 한것은 다 뜯을 수 있다는 것이 너무 좋다.
티스토리는 검색봇 수정을 할 수가 없고
티스토리의 디폴트 값은 다음과 같다.
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: bingbot
Crawl-delay: 30
뭐.. 딱히 문제 될것은 없다. 위 설정을 해석해보자면
관리자 모드나 검색은 색인 되지 않게 하고
User-agent: Mediapartners-Google 부분은 구글 애드센스 정책 관련 된 부분이기에 허용 해주었고
bing에서 제공하는 크롤링은 30초 딜레이 건정도 밖에 없지만,
다만 문제가 있다면 아는 사람들에게만 보일 수가 있는 폐쇠적인 사이트를 만들기 위해서는 봇의 방문을 거절하는 것도 필요한데, 그런것은 지원하지 않는 다는 것이다.
*비공개는 자기 밖에 못보니 말이다.
다만 구글 블로그스팟에서는 자유롭게 봇을 설정할 수 있다.
크롤러 및 색인 생성에 들어가서 맞춤 robots.txt를 수정하면 된다.
User-agent: *
Disallow: / (또는 Allow:)
이는 모든 봇의 검색을 거절하는 것으로 더 이상 웹상에 나의 페이지가 노출 되지 않는다.
요즘은 AI가 내 웹페이지를 학습하기를 원하지 않는다면 해당 봇을 추가할 수도 있다.
User-agent: *
Disallow: (또는 Allow:/)
이는 제한없이 모든 봇을 허용한다.
[구글 로봇은 허용함, 네이버 로봇은 거부함]
User-agent: Googlebot
Disallow:
User-agent: Yeti
Disallow: /
아래는 각 사이트들의 봇이다.
구글: Googlebot
구글 이미지 : googlebot-image
네이버 : User-Agent: Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
야후 : Slurp
야후 이미지 : Yahoo-MMCrawler
MSN : MSNBot
다음 : Daumoa
Chat-GPT: GPTBot
이렇게 된다.
다른 방법으로는 메타 테그를 추가 하는 방법도 있다.
이렇게 head 태그 사이에 집어 넣어도 된다.