Войти Начните бесплатно

Генератор robots.txt
управляйте тем, что сканируют краулеры

Создайте файл robots.txt, не запоминая синтаксис: начните с шаблона, добавьте папки, закрытые для краулеров, укажите карту сайта и решите, что делать с ИИ-краулерами.

  • Бесплатно
  • Без регистрации
  • Готовые шаблоны для старта
  • Строки Sitemap
  • Блокировка ИИ-краулеров по желанию

Начать с

Работает полностью в вашем браузере — ничего из введённого не отправляется нам.

Как это работает

Как пользоваться инструментом «Генератор robots.txt»

  1. Выберите отправную точку

    Разрешите всё, запретите всё или начните с типичной настройки сайта.

  2. Добавьте правила

    Укажите пути для запрета, исключения для разрешения и URL карты сайта.

  3. Загрузите файл

    Скачайте robots.txt и разместите его в корне домена, например example.com/robots.txt.

FAQ

Генератор robots.txt: вопросы и ответы

Что-то ещё? Спросите нас.

Где должен лежать robots.txt?

В корне хоста, к которому он относится: https://example.com/robots.txt. Каждому поддомену нужен свой файл, а файлы robots.txt в подпапках краулеры игнорируют.

Убирает ли Disallow страницу из Google?

Нет. Disallow запрещает сканирование, а не индексацию: заблокированный URL всё равно может появиться в результатах, если на него ссылаются другие сайты. Чтобы убрать страницу из поиска, разрешите сканирование и добавьте мета-тег robots с noindex.

Может ли robots.txt заблокировать ИИ-краулеры?

Большинство ИИ-компаний заявляют, что их краулеры соблюдают robots.txt, поэтому вы можете запретить агенты вроде GPTBot, ClaudeBot, CCBot, Google-Extended и PerplexityBot. Это просьба, а не принуждение: краулеров, которые игнорируют файл, он не остановит.

Ещё бесплатные инструменты

Другие инструменты, которые могут пригодиться

Все бесплатные инструменты
Предпросмотр Open Graph Посмотрите, как выглядит URL, когда им делятся в Facebook, LinkedIn, X и WhatsApp. Предпросмотр карточки для соцсетей Введите заголовок, описание и изображение и посмотрите карточку публикации. Генератор мета-тегов Создайте теги title, description, robots, canonical, Open Graph и Twitter. Генератор UTM-меток Добавьте utm_source, utm_medium и utm_campaign к любому URL. Проверка редиректов Отследите цепочку редиректов URL: каждый шаг, код ответа и время. Генератор QR-кодов QR-коды с вашим логотипом, цветами и рамкой. Без регистрации, без водяных знаков, бессрочно.

Поделитесь с помощью короткой ссылки

Разместите короткую ссылку Letlink на только что проверенной странице и узнайте, кто по ней кликает, откуда приходит и с какого устройства.

Попробуйте Letlink бесплатно Вернуться к инструменту

Последнее обновление от команды Letlink.