생활

티스토리 블로그에서 검색봇(크롤러) 허용 설정 방법

파란하늘999 2025. 12. 19. 00:05

티스토리 블로그는 기본적으로 검색봇 허용 상태입니다. 별도의 복잡한 설정 없이도 구글, 네이버 등의 검색엔진 크롤러가 방문하고 수집할 수 있도록 설계되어 있어요. (티스토리에서 제공하는 robots.txt 파일이 자동으로 적용됨)

하지만 검색 노출을 더 원활하게 하려면 아래 설정을 확인하고 적용하세요. 이는 검색봇이 블로그를 제대로 크롤링하고 인덱싱(검색 결과에 노출)하도록 돕습니다.

1. 기본 필수 확인: 블로그와 글 공개 설정

  • 티스토리 블로그는 공개 상태로 만들어야 검색봇이 접근할 수 있습니다.
  • 블로그 공개 설정:
    • 블로그 관리자 페이 들어가기.
    • 좌측 메뉴 관리 > 기본에서 "블로그 공개 여부"를 공개로 설정.
  • 개별 글 공개 설정:
    • 글 작성/편집 시 하단 공개 설정을 반드시 공개로 선택하세요.
    • 보호/비공개로 설정하면 검색봇이 수집하지 않습니다.
  • 확인 방법: 구글에 site:your-blog.tistory.com 검색해보세요. 글이 나오면 허용 상태입니다.

2. 검색엔진 등록 (크롤링 속도 향상, 강력 추천)

티스토리는 robots.txt를 직접 수정할 수 없지만(티스토리 시스템이 자동 관리), 아래 도구에 블로그를 등록하면 검색봇이 더 적극적으로 방문합니다.

  • 구글 서치 콘솔 등록 (구글 검색 노출 최적화):
    • https://search.google.com/search-console 접속.
    • 블로그 URL 등록 후 소유권 확인 (티스토리 플러그인 사용 추천).
    • 티스토리 관리 > 플러그인 > Google Search Console에서 계정 연결.
    • 사이트맵 자동 제출 (sitemap.xml, rss 추가).
    • 등록 후 새 글 URL을 직접 색인 요청하면 빠르게 노출.
  • 네이버 서치 어드바이저 등록 (네이버 검색 노출 최적화):
    • https://searchadvisor.naver.com 접속.
    • 블로그 URL 등록 후 소유권 확인 (메타 태그 등록).
    • 티스토리 관리 > 플러그인 > 메타 태그 등록에 네이버 제공 태그 추가.
    • 사이트맵(RSS) 제출.
    • robots.txt 수집 요청 (네이버가 자동으로 티스토리 robots.txt 인식).
  • 다음(Daum) 검색: 티스토리는 카카오 운영이라 별도 등록 없이 자동 노출됩니다.

3. robots.txt 관련 오해 바로잡기

  • 티스토리에서 robots.txt 파일을 직접 업로드하거나 수정할 수 없습니다.
    (스킨 편집 > 파일 업로드로 올려도 루트에 적용되지 않음)
  • 티스토리가 자동으로 제공하는 robots.txt 내용 예시
    (블로그URL/robots.txt 접속 시 확인 가능):
    User-agent: *
    Disallow: /admin
    Disallow: /manage
    ... (관리자 페이지 차단, 본문은 허용)
    Allow: /
    • 본문 콘텐츠는 허용, 관리자 페이지는 차단하는 기본 설정.
  • 네이버/구글에서 "robots.txt 오류"가 뜨면 무시해도 됩니다. (티스토리 기본 설정이 정상 작동 중)
  • 추가로 전체 허용을 원하면 메타 태그 사용:
    • 스킨 편집 > HTML 편집 > <head> 부분에 추가:
      <meta name="robots" content="index, follow">
      (기본적으로 이미 허용 상태라 필수 아님)

추가 팁: 검색 노출 빨리 되게 하려면

  • 글 발행 후 구글 서치 콘솔/네이버 서치 어드바이저에서 URL 직접 제출/색인 요청.
  • 좋은 콘텐츠 작성 + 키워드 최적화.
  • 새 블로그는 1~4주 정도 크롤링 대기 시간이 있을 수 있음.

이 설정만 제대로 하면 검색봇이 자유롭게 방문합니다!

 

블로그 성장에 도움이 되길 바래요. 😊

 

 

※ 아래 사이트는 수동 셋팅 방법입니다. 참고하세요.

https://developer-eun-diary.tistory.com/86

 

티스토리 블로그 Robots.txt 변경하기

블로그를 열심히 써도 아무도 안 오길래.. 블로그 검색 누락을 확인해봤더니 전부 누락..! 😤 블로그 검색 누락을 확인하고 싶다면 밑에 링크 들어가기! 더보기 http://blogutil24.com/BlogCollectionFAction.

developer-eun-diary.tistory.com

 

 

반응형