Влезте Започнете безплатно

Генератор на robots.txt
контролирайте какво обхождат роботите

Създайте файл robots.txt, без да запомняте синтаксиса: започнете от шаблон, добавете папките, до които роботите нямат достъп, посочете картата на сайта и решете какво да правите с AI роботите.

  • безплатно
  • Без записване
  • Шаблони за начало
  • Редове Sitemap
  • Блокиране на AI роботи по избор

Започнете от

Работи изцяло във вашия браузър — нищо от въведеното не се изпраща към нас.

Как работи

Как да използвате Генератор на robots.txt

  1. Изберете отправна точка

    Разрешете всичко, блокирайте всичко или започнете от типична настройка за уебсайт.

  2. Добавете правилата си

    Посочете пътищата за забрана, изключенията за разрешаване и URL адреса на картата на сайта.

  3. Качете файла

    Изтеглете robots.txt и го поставете в корена на домейна си, напр. example.com/robots.txt.

FAQ

Генератор на robots.txt: въпроси и отговори

Нещо друго? Попитайте ни.

Къде се поставя robots.txt?

В корена на хоста, за който се отнася: https://example.com/robots.txt. Всеки поддомейн се нуждае от собствен файл, а роботите игнорират файловете robots.txt в подпапки.

Изключва ли Disallow страница от Google?

Не. Disallow спира обхождането, а не индексирането: блокиран URL адрес все пак може да се появи в резултатите, ако други сайтове сочат към него. За да изключите страница от търсенето, разрешете обхождането и добавете мета таг robots с noindex.

Може ли robots.txt да блокира AI роботи?

Повечето AI компании твърдят, че техните роботи спазват robots.txt, така че можете да забраните потребителски агенти като GPTBot, ClaudeBot, CCBot, Google-Extended и PerplexityBot. Това е молба, а не принуда: роботите, които игнорират файла, не се спират от него.

Още безплатни инструменти

Други инструменти, които може да ви трябват

Всички безплатни инструменти
Преглед на Open Graph Вижте как изглежда URL адрес, когато се споделя във Facebook, LinkedIn, X и WhatsApp. Преглед на карта за социални мрежи Въведете заглавие, описание и изображение и прегледайте картата за споделяне. Генератор на мета тагове Генерирайте тагове title, description, robots, canonical, Open Graph и Twitter. Генератор на UTM параметри Добавете utm_source, utm_medium и utm_campaign към всеки URL адрес. Проверка на пренасочвания Проследете веригата от пренасочвания на URL адрес: всяка стъпка, статус код и време. Генератор на QR кодове QR кодове с вашето лого, цветове и рамка. Без регистрация, без воден знак, без срок на валидност.

Споделете с кратка връзка

Поставете кратка връзка от Letlink на страницата, която току-що проверихте, и вижте кой кликва, откъде идва и от какво устройство.

Опитайте Letlink безплатно Обратно към инструмента

Последна актуализация от екипа на Letlink.