robots.txt 파일 작성 예시와 실무 적용 가이드

robots.txt 파일은 검색엔진 크롤러가 사이트 내 특정 페이지나 디렉터리에 접근하는 것을 허용하거나 차단하기 위해 사용하는 텍스트 파일입니다. 기본적으로 사이트 루트 디렉터리에 위치해야 하며, 텍스트 편집기(메모장, TextEdit 등)로 작성 후 UTF-8 인코딩으로 저장해야 합니다.

robots.txt 기본 작성 예시

User-agent: *
Disallow: /forbidden/
Sitemap: https://www.example.com/sitemap.xml

• User-agent: 크롤러 이름(예: Googlebot) 또는 * (모든 크롤러)
• Disallow: 접근을 차단할 경로
• Sitemap: 사이트맵 위치 명시(검색엔진이 사이트 구조를 더 잘 이해하도록 도움)

실무 적용 가이드

1. 작성 시 주의사항

   • 반드시 텍스트 파일(.txt)로 저장
   • 워드 프로세서 사용 금지(예: MS 워드) — 예상치 못한 문자 삽입 위험
   • UTF-8 인코딩 권장

2. 파일 위치

   • 사이트 루트 디렉터리에 업로드 (예: https://www.example.com/robots.txt)
   • 하위 디렉터리에 두면 적용되지 않음

3. 규칙 작성 예시

   • 모든 크롤러 접근 차단

     User-agent: *
     Disallow: /
     

   • 특정 크롤러만 허용, 나머지 차단

     User-agent: Googlebot
     Disallow:
     
     User-agent: *
     Disallow: /
     

   • 특정 디렉터리만 차단

     User-agent: *
     Disallow: /private/
     

4. 테스트 및 검증

   • 구글 서치 콘솔 등에서 robots.txt 테스트 도구를 활용해 규칙이 의도대로 작동하는지 확인

5. 사이트맵 포함

   • 사이트맵 경로를 명시하면 크롤러가 사이트 구조를 효율적으로 파악 가능

robots.txt 파일은 크롤러가 사이트를 과도하게 요청해 서버에 부담을 주는 것을 방지하고, 검색엔진에 노출시키고 싶지 않은 페이지를 관리하는 데 필수적입니다.