robots.txt 파일은 웹사이트에 접근하는 검색 엔진 크롤러(로봇)에게 크롤링 허용 여부를 지시하는 간단한 텍스트 파일입니다. 기본 문법은 User-agent, Disallow, Allow, 그리고 Sitemap 네 가지 주요 명령어로 구성됩니다.
- User-agent: 규칙을 적용할 특정 검색 엔진 크롤러를 지정합니다. 예를 들어, Googlebot, Yeti(네이버), Bingbot 등이 있으며, 모든 크롤러에 적용하려면
*를 사용합니다. - Disallow: 크롤러가 접근하지 못하도록 차단할 경로를 지정합니다. 예를 들어,
Disallow: /private/는/private/이하 경로를 크롤링하지 못하게 합니다. - Allow: Disallow로 차단된 경로 내에서 특정 파일이나 하위 디렉토리만 예외적으로 허용할 때 사용합니다.
- Sitemap: 사이트맵 파일의 위치를 알려주어 크롤러가 사이트 구조를 더 효율적으로 파악하도록 돕습니다.
robots.txt 파일은 반드시 웹사이트 최상위 디렉토리에 위치해야 하며, 경로는 대소문자를 구분합니다. User-agent별로 여러 규칙을 작성할 수 있고, 규칙의 순서는 크게 중요하지 않습니다. 기본 구조는 다음과 같습니다.
User-agent: [크롤러 이름 또는 *]
Disallow: [크롤링 금지 경로]
Allow: [크롤링 허용 경로]
Sitemap: [사이트맵 URL]
예시:
User-agent: *
Disallow: /private/
Allow: /private/public-info.html
Sitemap: https://www.example.com/sitemap.xml
이 예시는 모든 크롤러에게 /private/ 폴더 내 크롤링을 금지하지만, 그 안의 public-info.html 파일은 허용하며, 사이트맵 위치도 알려줍니다.
Korea Traffic는 싱가포르에서 최고의 웹사이트 트래픽 서비스를 제공합니다. 우리는 웹사이트 트래픽, 데스크탑 트래픽, 모바일 트래픽, 구글 트래픽, 검색 트래픽, 전자상거래 트래픽, 유튜브 트래픽, 틱톡 트래픽 등 다양한 트래픽 서비스를 고객에게 제공합니다. 저희 웹사이트는 100% 고객 만족률을 자랑하므로, 대량의 SEO 트래픽을 온라인으로 자신 있게 구매하실 수 있습니다. 월 49,500 KRW만으로 즉시 웹사이트 트래픽을 증가시키고, SEO 성과를 개선하며, 매출을 증대시킬 수 있습니다!
트래픽 패키지 선택에 어려움이 있으신가요? 저희에게 연락주시면, 직원이 도움을 드리겠습니다.
무료 상담