robots.txtジェネレーター

有効なrobots.txtを作成します。クローラーの許可/ブロック、ワイルドカード付きのDisallow、Allowの例外、Crawl-delay、サイトマップURL、AI学習ボットのブロックに対応しています。

すべてのクローラーへの既定ルール（User-agent: *）

ブロックするパス（1 行に 1 つ）

パスは / で始めます。* は任意の文字列、$ は URL の末尾を表します。

許可するパス（1 行に 1 つ）

ブロックしたフォルダー内の例外。より具体的なルールが優先されます。

Crawl-delay（秒、任意）

Bing と Yandex は従いますが、Google は無視します。

サイトマップ URL（1 行に 1 つ）

AI 学習・AI 検索のクローラーもブロックする（GPTBot、ClaudeBot、Google-Extended、CCBot、PerplexityBot など）

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sessionid=

Sitemap: https://example.com/sitemap.xml

robots.txt はサイトのルート（https://example.com/robots.txt）に置く必要があります。行儀のよいクローラーにクロールしないよう依頼するだけで、ページを隠したり検索結果から外したりはできません。その場合は noindex や認証を使ってください。構文は RFC 9309 に準拠しています。

robots.txtジェネレーターとは？

このジェネレーターは、RFC 9309に従ってrobots.txtファイルを作成します。クローラーのアクセスを許可するか、Disallowするパス（*や$のワイルドカード対応）とAllowの例外、任意のCrawl-delay、サイトマップURLを指定でき、GPTBot、ClaudeBot、Google-Extended、CCBot、PerplexityBotなどのAI学習・AI検索クローラーをブロックするグループも追加できます。

robots.txtジェネレーターの使い方

既定のルールを選びます。一覧のパス以外のクロールを許可するか、サイト全体をブロックするかです。
DisallowのパスとAllowの例外を、1行に1つ、それぞれ / で始めて入力します。
必要に応じてCrawl-delayとサイトマップURLを追加します。
AI学習やAI検索をオプトアウトしたい場合は、「Also block AI … crawlers」にチェックを入れます。
robots.txtをコピーまたはダウンロードして、サイトのルートにアップロードします。

例

入力

Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml

出力

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sessionid=

Sitemap: https://example.com/sitemap.xml

robots.txtジェネレーターを使うべき場面

クローラーが管理画面、カート、検索、パラメーター付きURLに時間を無駄にしないようにする、サイトマップへ誘導する、AIクローラーをオプトアウトする、といった場合に使います。robots.txtは助言的なもので、ページを隠したり、インデックス済みのURLを削除したりはしません（それにはnoindexや認証を使います）。悪意のあるボットはこれを無視します。

robots.txtジェネレーターの仕組み

ツールは、AllowとDisallowの行を持つ User-agent: * グループ（何もブロックしない場合は、グループを有効に保つため空の Disallow:）、続いてAIのユーザーエージェントを Disallow: / で並べた任意のグループ、最後にSitemap行を書き出します。/ や * で始まらない行は、クローラーが無視するため警告されます。Crawl-delayは、数値の場合にのみ追加されます。