Robots.txt生成ツールとは？

検索エンジンのクローラーによるウェブサイトへのアクセスを制御する、適切な形式のrobots.txtファイルを生成します。ユーザーエージェントルール、許可・拒否パス、クロール遅延、サイトマップ参照の追加が、手動でファイルを記述することなく行えます。

使い方

1. ユーザーエージェントルール（Googlebot、Bingbot、またはすべてを指す*）を追加し、許可または拒否するパスを指定します。
2. 必要に応じてクロール遅延の値を設定し、サイトマップURLを追加します。
3. 生成されたrobots.txtファイルをコピーまたはダウンロードし、サイトのルートにアップロードしてください。

結果

すべてのクローラーにサイトへのアクセスを許可しつつ、/admin/と/api/パスをブロックし、サイトマップをhttps://example.com/sitemap.xmlに設定するルールを作成します。

関連ツール