Robots.txtジェネレーター
ウェブサイトURL（任意）
ルール
1
User-agent
ディレクティブ
パス
サイトマップURL（1行に1つ）
クロール遅延（秒）
Robots.txtジェネレーター の使い方
- 1
クロールルールを追加する
「Add Rule」をクリックして User-agent を設定し、Allow か Disallow を選んで、各ルールを適用するパスを入力します。
- 2
任意のディレクティブを設定する
サイトマップの URL を(1行に1つ)追加し、検索エンジンのクロールを制御するため、任意で crawl-delay を秒単位で設定します。
- 3
ファイルを生成する
「Generate robots.txt」をクリックして、ルールとディレクティブから正しく整形されたファイルを作成します。
- 4
コピーまたはダウンロードする
「Copy to Clipboard」または「Download robots.txt」を使い、ファイルをドメインのルート (yoursite.com/robots.txt) にアップロードします。
よくある質問
robots.txt ファイルは何のためにありますか?
robots.txt ファイルは、サイトのどの部分にアクセスしてよいか・いけないかを検索エンジンのクローラーに伝えます。User-agent、Allow、Disallow のディレクティブを使い、ボットがクロール前に読むよう、ドメインのルートに置きます。
Allow ルールと Disallow ルールはどう機能しますか?
Disallow はクローラーを特定のパスからブロックし、Allow は明示的に1つを許可します。これは、ブロックされたディレクトリ内のサブフォルダーを開放するのに便利です。すべてのロボット向けの User-agent ですべてのボットを対象にしたり、Googlebot のような特定のクローラー向けに別々のルールを書いたりできます。
crawl-delay は何をしますか?
crawl-delay は、クローラーがリクエストの間に待つべき秒数を提案し、サーバーの負荷を軽減できます。ただし、すべての検索エンジンがこれを尊重するわけではありません。たとえば Google は crawl-delay を無視し、Search Console のクロール頻度設定を優先します。
サイトマップの行を追加するのはなぜですか?
Sitemap ディレクティブを含めると、クローラーに XML サイトマップを示せるため、ページをより効率的に発見できます。ツールでは複数のサイトマップ URL を1行に1つずつ列挙でき、それらをファイルに書き込みます。
robots.txt はページが Google に表示されないことを保証しますか?
いいえ。Disallow はクロールを防ぎますが、他のページからリンクされていれば、ブロックされた URL もインデックスされることがあります。ページを検索結果から確実に除外するには、robots.txt だけに頼らず、クロール可能なページで noindex メタタグやヘッダーを使ってください。
関連ツール
こちらの便利なツールもどうぞ