Robots.txt 생성기
비주얼 에디터로 웹사이트용 robots.txt 파일을 만드세요. 검색 엔진 봇이 크롤링할 페이지를 제어할 수 있습니다.
빠른 프리셋
User-agent:
Crawl-delay:초 (선택 사항)
에이전트 블록 #1
User-agent:
Crawl-delay:초 (선택 사항)
에이전트 블록 #2
User-agent:
Crawl-delay:초 (선택 사항)
에이전트 블록 #3
생성된 robots.txt
# Generated by ToolBox Hub User-agent: * Disallow: /admin/ Disallow: /private/ Allow: / User-agent: Googlebot Allow: / User-agent: Bingbot Allow: /
이 내용을 robots.txt 파일로 저장하고 웹사이트 루트 디렉터리에 위치시키세요.
사용 방법
비주얼 에디터로 웹사이트용 robots.txt 파일을 만드세요. 검색 엔진 봇이 크롤링할 페이지를 제어할 수 있습니다.
- 1프리셋(모든 봇 허용, 모든 봇 차단, SEO 친화적)을 선택해 즉시 시작 설정을 불러오세요.
- 2각 User-agent 블록에서 봇 이름을 변경하고, Allow 또는 Disallow 경로 규칙을 추가하고, 선택적으로 Crawl-delay를 설정하세요.
- 3'User-agent 블록 추가' 버튼으로 블록을 더 추가하여 특정 봇에 다른 규칙을 적용하세요.
- 4선택적으로 사이트맵 URL을 입력하여 Sitemap 지시문을 출력에 포함시키세요.
- 5'복사' 버튼을 클릭해 생성된 robots.txt를 클립보드에 복사한 후 웹사이트 루트 디렉터리에 robots.txt로 저장하세요.
주요 기능
- 모든 봇 허용, 모든 봇 차단, SEO 친화적(Google + Bing) 3가지 빠른 프리셋
- 각각 Allow/Disallow 규칙과 Crawl-delay를 가진 복수 User-agent 블록 추가
- 주요 봇(Googlebot, Bingbot, AhrefsBot 등) 자동완성 제안
- Sitemap 지시문을 위한 선택적 사이트맵 URL 필드
- 입력 즉시 업데이트되는 실시간 robots.txt 미리보기 — 원클릭 복사