サイトマップURL抽出ツール
サイトマップURL抽出ツール の使い方
- 1
サイトマップを用意する
サイトマップの生の XML を XML ボックスに貼り付けるか、サイトマップの URL を入力して自動取得します。
- 2
URL を抽出する
貼り付けた XML には「Extract URLs」を、URL からサイトマップをダウンロードして解析するには「Fetch and Extract」をクリックします。
- 3
結果を確認する
<loc> タグ内で見つかったすべてのリンクが、総数とともに結果エリアに一覧表示されます。
- 4
コピーまたはダウンロードする
「Copy to Clipboard」または「Download as Text File」を使って、抽出した URL リストを保存します。
XMLサイトマップを扱う：抽出と監査
XMLサイトマップとは何か
XMLサイトマップは、検索エンジンに知らせたい URL を列挙した構造化ファイルで、urlset 要素で囲まれ、各ページが url エントリーとなっています。各エントリーで唯一必須の子要素は loc タグで、これはページの絶対 URL を保持します。lastmod、changefreq、priority といった任意のタグは、更新の新しさや重要度についてのヒントを提供します。検索エンジンはサイトマップを、命令ではなく発見の手助けや一連の提案として扱うため、URL を列挙してもクロールやインデックス登録が強制されるわけではありませんが、その URL が格段に見つけやすくなることは確かです。
実際の URL はすべて loc タグの中にあるため、すべての loc タグの中身を抽出すれば、サイトが検索エンジンに知らせているページの、整理された完全な一覧が得られます。その一覧は、幅広い SEO 作業や移行作業の出発点となります。本ツールが生成するのは、まさにそれです。
サイトマップインデックスファイルと入れ子のサイトマップ
大規模なサイトは、単一でフラットなサイトマップを使うことはめったにありません。代わりに、サイトマップインデックスファイルを使います。これは sitemapindex 要素で、その各エントリーがページではなく別のサイトマップファイルを指しています。典型的な構成では、1つのインデックスが、投稿・ページ・商品・画像それぞれ別々のサイトマップを参照していることがあります。インデックスファイルから URL を抽出すると、返ってくる loc タグは個々のページではなく子サイトマップの URL なので、実際のページ URL にたどり着くには、各子サイトマップから順に抽出する必要があるかもしれません。
見ているのがインデックスなのか末端のサイトマップなのかを見分けることが、作業の半分を占めます。抽出した URL がすべて .xml または .xml.gz で終わっているなら、それはインデックスを手にしているということなので、もう1段階掘り下げるべきです。通常の HTML ページを指しているなら、実際のコンテンツにたどり着いています。
50,000 URL と 50 MB の上限
サイトマッププロトコルは、単一のサイトマップファイルを 50,000 URL かつ非圧縮で 50 MB に制限しています。どちらかの上限を超えるサイトは、URL を複数のサイトマップファイルに分割し、それらをサイトマップインデックスで結びつけなければなりません。これが、大規模サイトがそもそもインデックスファイルを使う主な理由です。これらの上限を知っておくと、抽出した内容の妥当性を確認するのに役立ちます。単一のサイトマップが 50,000 をはるかに超える URL を返しているならそれは不正な形式ですし、大きなサイトが小さなサイトマップを1つしか公開していないなら、おそらく不完全でページが欠けています。
これらの上限は、監査のやり方も形づくります。URL の一覧をすべて引き出したときに、件数が 50,000 のようなきりのいい数字に怪しいほど近ければ、それはサイトが上限に達しており、まだ抽出していないサイトマップの中に残りの URL が取り残されているという強い手がかりです。
gzip 圧縮されたサイトマップ
サイズの上限内に収め、帯域幅を節約するために、多くのサイトマップは .xml.gz という拡張子で gzip 圧縮されて配信されます。gzip 圧縮されたサイトマップは、ふつうの XML サイトマップを圧縮しただけのもので、検索エンジンはそれを意識させずに解凍します。本ツールで取得する場合はサーバーがダウンロードを処理しますが、.gz ファイルを手作業で調べる場合は、解凍されるまでは読める XML ではなくバイナリの文字化けが見えるでしょう。内容を直接貼り付けるときは、生の圧縮バイトではなく、解凍した XML を貼り付けてください。
圧縮はもっぱら転送を最適化するためのもので、内部の構造は何も変えません。いったん解凍すれば、gzip 圧縮されたサイトマップも他のものと同じ urlset、url、loc の各要素を持ち、同じ抽出ロジックが当てはまります。
サイトマップの URL 抽出がこれほど役立つ理由
サイトが公開しているすべての URL のフラットな一覧は、実務的な SEO 作業の土台です。サイト移行の際には、旧サイトのサイトマップを抽出して完全なリダイレクトマップを作り、どの URL も 404 にならないようにします。コンテンツ監査では、その一覧をクローラーやスプレッドシートに取り込み、ページごとにステータスコードやタイトル、語数を確認できます。インデックス登録の確認では、送信した URL と Search Console がインデックス済みと報告するものを比べることができ、その差から Google がどのページを無視しているかがわかります。
この一覧は、一括処理ツールへの入力にもなります。抽出した URL を、Screaming Frog のようなクローラー、リンクチェッカー、パフォーマンス監査ツール、あるいは各 URL の HTTP ヘッダーを調べるスクリプトに流し込めます。やみくもにクロールするのではなく、正規のサイトマップの一覧から始めることで、サイトが公開しようとしているまさにそのページを監査していると確信できます。
抽出時によくある落とし穴
最もよくある驚きは、インデックスファイルを抽出して、そのサイトにはわずかなページしかないと思い込むことです。実際には、その数少ない URL は子サイトマップで、それぞれ数千ページを含んでいるのです。結論を出す前に、結果がサイトマップなのか実際のページなのかを必ず確認してください。2つ目の落とし穴は、サイトマップが網羅的だと思い込むことです。多くのコンテンツ管理システムは、特定の種類のページ、ページ送りされたアーカイブ、最近公開されたコンテンツを省いたサイトマップを生成します。そのため、サイトマップはサイトの URL の下限であって、完全な全数調査ではありません。
その他の注意点としては、実際の変更を反映していない古い lastmod の日付、もはや 200 を返さないサイトマップ内の URL（整理されないまま放置された孤立ページや削除済みページ）、そしてサイトが https に移行しているのにサイトマップが http の URL を列挙しているといったプロトコルやホストの不一致があります。URL の抽出は簡単な部分です。価値が生まれるのは、その一覧をサーバーが実際に返すものと突き合わせて確認するときです。
抽出を SEO のワークフローに組み込む
整った再現可能なワークフローは、次のようになります。まずサイトマップを見つけます。たいていは robots.txt からリンクされているか、慣例的な /sitemap.xml のパスにあります。次に URL を抽出し、実際のページにたどり着くまでインデックスファイルを掘り下げます。そして一覧をテキストファイルにエクスポートし、使用している監査ツールや移行ツールに取り込みます。本ツールは貼り付けた XML の解析と URL からのサイトマップ取得の両方ができるため、生のサイトマップから使える URL 一覧まで、コードを一切書かずに数秒で進めます。
抽出は一度きりではなく、定期的に実行しましょう。今日の URL 一覧を先月のものと比較すると、新しく公開されたページ、ひそかに削除されたページ、サイトの構造的な変化が浮かび上がります。これらはいずれも、SEO の健全性とコンテンツ管理の両方にとって有用な早期の手がかりです。
よくある質問
サイトマップ URL 抽出ツールはどのようにリンクを見つけますか?
XML を貼り付けることも、URL からサイトマップを読み込むこともできますか?
XML が無効だったり、URL がなかったりした場合は?
抽出した URL をエクスポートできますか?
ツールは無料ですか?データのプライバシーは守られますか?
関連ツール
こちらの便利なツールもどうぞ