robots.txt生成ツール
クローラーが取得する内容を管理
構文を覚えなくてもrobots.txtファイルを作成できます：プリセットから始め、クローラーを除外したいフォルダを追加し、サイトマップを記載して、AIクローラーへの対応を決めましょう。
- Free
- 登録不要
- すぐ使えるプリセット
- Sitemap行
- AIクローラーのブロック（任意）
開始点
すべてブラウザ内で動作 — 入力内容が当社に送信されることはありません。
仕組み
robots.txt生成ツールの使い方
-
出発点を選ぶ
すべて許可、すべてブロック、または一般的なWebサイトの設定から始めます。
-
ルールを追加
Disallowするパス、Allowする例外、サイトマップのURLを記載します。
-
ファイルをアップロード
robots.txtをダウンロードし、ドメインのルート（例：example.com/robots.txt）に配置します。
robots.txtはどこに置きますか？
適用するホストのルートです：https://example.com/robots.txt。サブドメインごとに個別のファイルが必要で、サブフォルダ内のrobots.txtファイルはクローラーに無視されます。
DisallowでページをGoogleから除外できますか？
いいえ。Disallowが止めるのはクロールであり、インデックスではありません：ブロックされたURLでも、他のサイトからリンクされていれば検索結果に表示されることがあります。ページを検索から除外するには、クロールを許可したうえでnoindexのrobotsメタタグを追加してください。
robots.txtでAIクローラーをブロックできますか？
多くのAI企業は自社のクローラーがrobots.txtに従うとしているため、GPTBot、ClaudeBot、CCBot、Google-Extended、PerplexityBotなどのユーザーエージェントをDisallowできます。ただしこれはお願いであって強制ではありません：ファイルを無視するクローラーは止められません。
その他の無料ツール
こちらのツールもおすすめ
Open Graphプレビュー
URLがFacebook、LinkedIn、X、WhatsAppで共有されたときの見え方を確認。
ソーシャルカードプレビュー
タイトル、説明文、画像を入力して、共有カードをプレビュー。
メタタグ生成ツール
タイトル、説明文、robots、canonical、Open Graph、Twitterのタグを生成。
UTM生成ツール
任意のURLにutm_source、utm_medium、utm_campaignを追加。
リダイレクトチェッカー
URLのリダイレクトチェーンをたどり、各ホップのステータスコードと時間を表示。
QRコード生成ツール
ロゴ、色、フレーム付きのQRコード。登録不要、透かしなし、有効期限なし。
最終更新日 Letlinkチームが提供しています。