Robots.txt 생성기이란?

검색 엔진 크롤러가 웹사이트에 접근하는 방식을 제어하는 올바른 형식의 robots.txt 파일을 생성합니다. User-Agent 규칙 추가, 허용/차단 경로 설정, 크롤 지연 시간 설정, 사이트맵 참조 포함을 파일을 직접 작성하지 않고도 할 수 있습니다.

사용 방법

1. User-Agent 규칙(예: Googlebot, Bingbot 또는 모든 크롤러를 위한 *)을 추가하고 허용 또는 차단할 경로를 지정하세요.
2. 선택적으로 크롤 지연 값을 설정하고 사이트맵 URL을 추가하세요.
3. 생성된 robots.txt 파일을 복사하거나 다운로드하여 사이트 루트 디렉토리에 업로드하세요.

결과

모든 크롤러에 사이트 접근을 허용하되 /admin/과 /api/ 경로는 차단하고, https://example.com/sitemap.xml에 사이트맵을 지정하는 규칙을 만드세요.

관련 도구