Robots.txt 생성기
웹사이트 URL (선택사항)
규칙
1
User-agent
지시문
경로
사이트맵 URL (한 줄에 하나씩)
크롤링 지연 (초)
Robots.txt 생성기 사용 방법
- 1
크롤 규칙 추가
Add Rule을 클릭해 User-agent를 설정하고 Allow 또는 Disallow를 선택한 뒤, 각 규칙이 적용될 경로를 입력하세요.
- 2
선택적 지시문 설정
사이트맵 URL(한 줄에 하나)과, 검색 엔진의 크롤 방식을 조절하는 선택적 crawl-delay(초 단위)를 추가하세요.
- 3
파일 생성
Generate robots.txt를 클릭해 규칙과 지시문으로 올바른 형식의 파일을 만드세요.
- 4
복사 또는 다운로드
Copy to Clipboard 또는 Download robots.txt를 사용한 뒤, 파일을 도메인 루트(yoursite.com/robots.txt)에 업로드하세요.
자주 묻는 질문
robots.txt 파일은 무엇을 위한 것인가요?
robots.txt 파일은 검색 엔진 크롤러에게 사이트의 어느 부분에 접근해도 되는지 알려 줍니다. User-agent, Allow, Disallow 지시문을 사용하며, 봇이 크롤링 전에 읽도록 도메인 루트에 배치됩니다.
Allow와 Disallow 규칙은 어떻게 작동하나요?
Disallow는 크롤러가 경로에 접근하지 못하게 막고, Allow는 명시적으로 한 경로를 허용하는데, 차단된 디렉터리 안의 하위 폴더를 여는 데 유용합니다. 모든 봇을 대상으로 하는 User-agent로 전체를 지정하거나, Googlebot 같은 특정 크롤러에 대해 별도 규칙을 작성할 수 있습니다.
crawl-delay는 무엇을 하나요?
crawl-delay는 크롤러가 요청 사이에 몇 초를 기다려야 하는지 제안해 서버 부하를 줄일 수 있습니다. 다만 모든 검색 엔진이 이를 따르지는 않습니다. 예를 들어 Google은 crawl-delay를 무시하고 Search Console의 크롤 속도 설정을 선호합니다.
왜 사이트맵 줄을 추가하나요?
Sitemap 지시문을 포함하면 크롤러가 XML 사이트맵을 가리켜 페이지를 더 효율적으로 발견할 수 있습니다. 도구는 여러 사이트맵 URL을 한 줄에 하나씩 나열하게 해 주고 이를 파일에 작성해 줍니다.
robots.txt가 페이지를 Google에서 제외함을 보장하나요?
아니요. Disallow는 크롤링을 막지만, 다른 페이지가 링크하면 차단된 URL도 여전히 색인될 수 있습니다. 페이지를 검색 결과에서 빼려면 robots.txt에만 의존하지 말고, 크롤링이 가능한 페이지에 noindex 메타 태그나 헤더를 사용하세요.
관련 도구
이런 편리한 도구도 함께 사용해 보세요