로그인 무료로 시작

robots.txt 생성기
크롤러가 가져갈 내용을 관리하세요

문법을 외우지 않고도 robots.txt 파일을 만드세요: 프리셋으로 시작해 크롤러를 막을 폴더를 추가하고, 사이트맵을 적고, AI 크롤러를 어떻게 할지 정하세요.

  • 무료
  • 가입 불필요
  • 바로 쓰는 프리셋
  • Sitemap 줄
  • AI 크롤러 차단(선택)

시작점

모든 작업이 브라우저에서 실행됩니다 — 입력한 내용은 저희에게 전송되지 않습니다.

작동 방식

robots.txt 생성기 사용 방법

  1. 시작점 선택

    모두 허용, 모두 차단, 또는 일반적인 웹사이트 설정으로 시작하세요.

  2. 규칙 추가

    Disallow할 경로, Allow할 예외, 사이트맵 URL을 적으세요.

  3. 파일 업로드

    robots.txt를 다운로드해 도메인 루트(예: example.com/robots.txt)에 두세요.

FAQ

robots.txt 생성기: 자주 묻는 질문

다른 질문이 있으신가요? 문의하기.

robots.txt는 어디에 두나요?

적용할 호스트의 루트에 둡니다: https://example.com/robots.txt. 하위 도메인마다 별도 파일이 필요하며, 크롤러는 하위 폴더의 robots.txt 파일을 무시합니다.

Disallow로 페이지를 Google에서 제외할 수 있나요?

아니요. Disallow는 크롤링을 막을 뿐 색인을 막지는 않습니다: 차단된 URL도 다른 사이트에서 링크하면 검색 결과에 나타날 수 있습니다. 페이지를 검색에서 제외하려면 크롤링을 허용하고 noindex robots 메타 태그를 추가하세요.

robots.txt로 AI 크롤러를 차단할 수 있나요?

대부분의 AI 기업은 자사 크롤러가 robots.txt를 따른다고 밝히므로, GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot 같은 사용자 에이전트를 Disallow할 수 있습니다. 다만 이는 요청일 뿐 강제가 아닙니다: 파일을 무시하는 크롤러는 막을 수 없습니다.

더 많은 무료 도구

함께 쓰면 좋은 도구

모든 무료 도구
Open Graph 미리보기 URL이 Facebook, LinkedIn, X, WhatsApp에서 공유될 때 어떻게 보이는지 확인하세요. 소셜 카드 미리보기 제목, 설명, 이미지를 입력하고 공유 카드를 미리 보세요. 메타 태그 생성기 제목, 설명, robots, canonical, Open Graph, Twitter 태그를 생성하세요. UTM 생성기 어떤 URL에든 utm_source, utm_medium, utm_campaign을 추가하세요. 리디렉션 검사기 URL의 리디렉션 체인을 따라가며 각 단계의 상태 코드와 시간을 확인하세요. QR 코드 생성기 로고, 색상, 프레임을 넣은 QR 코드. 가입 불필요, 워터마크 없음, 만료 없음.

단축 링크로 공유하세요

방금 점검한 페이지에 Letlink 단축 링크를 달고, 누가 클릭하는지, 어디서 오는지, 어떤 기기를 쓰는지 확인하세요.

Letlink 무료로 시작하기 도구로 돌아가기

최종 업데이트 Letlink 팀이 만들었습니다.