Ekstraktor URL Sitemap
Cara menggunakan Ekstraktor URL Sitemap
- 1
Sediakan sitemap Anda
Tempel XML mentah sitemap Anda ke dalam kotak XML, atau masukkan URL sitemap untuk mengambilnya secara otomatis.
- 2
Ekstrak URL
Klik 'Extract URLs' untuk XML yang ditempel, atau 'Fetch and Extract' untuk mengunduh dan mengurai sitemap dari URL-nya.
- 3
Tinjau hasilnya
Setiap tautan yang ditemukan di dalam tag <loc> dicantumkan di area hasil beserta total jumlahnya.
- 4
Salin atau unduh
Gunakan 'Copy to Clipboard' atau 'Download as Text File' untuk menyimpan daftar URL yang diekstrak.
Bekerja dengan Sitemap XML: Ekstraksi dan Audit
Apa itu sitemap XML
Sitemap XML adalah file terstruktur yang mencantumkan URL yang ingin Anda perkenalkan kepada mesin pencari, dibungkus dalam elemen urlset di mana setiap halaman menjadi satu entri url. Satu-satunya elemen anak yang wajib ada di setiap entri adalah tag loc, yang memuat URL absolut halaman tersebut; tag opsional seperti lastmod, changefreq, dan priority memberikan petunjuk tentang kebaruan dan tingkat kepentingan. Mesin pencari memperlakukan sitemap sebagai alat bantu penemuan sekaligus kumpulan saran, bukan perintah, sehingga mencantumkan sebuah URL tidak memaksanya untuk di-crawl atau diindeks, tetapi memang membuat URL tersebut jauh lebih mudah ditemukan.
Karena tag loc adalah tempat setiap URL sebenarnya berada, mengekstrak isi dari seluruh tag loc memberi Anda inventaris yang bersih dan lengkap tentang halaman-halaman yang dipromosikan sebuah situs kepada mesin pencari. Inventaris itulah titik awal untuk beragam tugas SEO dan migrasi, dan persis itulah yang dihasilkan oleh ekstraktor ini.
File indeks sitemap dan sitemap bersarang
Situs berukuran besar jarang menggunakan satu sitemap datar tunggal. Sebagai gantinya mereka memakai file indeks sitemap, yaitu elemen sitemapindex yang setiap entrinya menunjuk ke file sitemap lain alih-alih ke sebuah halaman. Konfigurasi yang umum bisa berupa satu indeks yang merujuk ke beberapa sitemap terpisah untuk postingan, halaman, produk, dan gambar. Ketika Anda mengekstrak URL dari file indeks, tag loc yang Anda peroleh adalah URL dari sitemap turunan, bukan URL halaman individual, sehingga Anda mungkin perlu mengekstrak setiap sitemap turunan satu per satu untuk mencapai URL halaman yang sebenarnya.
Mengenali apakah yang Anda lihat itu sebuah indeks atau sitemap daun (leaf) sudah merupakan separuh perjuangan. Jika semua URL hasil ekstraksi berakhiran .xml atau .xml.gz, berarti Anda sedang memegang sebuah indeks dan perlu menelusuri satu tingkat lebih dalam. Jika URL-nya menunjuk ke halaman HTML biasa, berarti Anda sudah sampai pada konten yang sebenarnya.
Batas 50.000 URL dan 50 MB
Protokol sitemap membatasi satu file sitemap maksimal 50.000 URL dan 50 MB dalam keadaan tidak terkompresi. Situs yang melampaui salah satu batas tersebut harus memecah URL-nya ke beberapa file sitemap dan mengikatnya menjadi satu dengan indeks sitemap, dan inilah alasan utama situs besar menggunakan file indeks. Mengetahui batas-batas ini membantu Anda memeriksa kewajaran hasil ekstraksi: jika satu sitemap mengembalikan jauh lebih dari 50.000 URL berarti sitemap itu cacat, dan jika sebuah situs besar hanya menampilkan satu sitemap kecil kemungkinan sitemap itu tidak lengkap dan ada halaman yang terlewat.
Batas-batas atas ini juga membentuk cara Anda melakukan audit. Ketika Anda menarik daftar URL lengkap dan jumlahnya mendarat secara mencurigakan di dekat angka bulat seperti 50.000, itu adalah sinyal kuat bahwa situs telah mencapai batasnya dan ada URL tambahan yang tertahan di sitemap yang belum Anda ekstrak.
Sitemap terkompresi gzip
Untuk tetap berada di bawah batas ukuran sekaligus menghemat bandwidth, banyak sitemap disajikan dalam bentuk terkompresi gzip dengan ekstensi .xml.gz. Sitemap ber-gzip sebenarnya hanyalah sitemap XML biasa yang telah dikompresi; mesin pencari mendekompresinya secara transparan. Ketika Anda mengambilnya melalui alat ini, server yang menangani unduhannya, tetapi jika Anda memeriksa file .gz secara manual Anda akan melihat karakter biner yang tak terbaca alih-alih XML yang mudah dibaca sampai file itu didekompresi. Jika menempel konten secara langsung, tempel XML yang sudah didekompresi, bukan byte terkompresi mentahnya.
Kompresi murni merupakan optimasi pada saat transfer dan sama sekali tidak mengubah struktur di dalamnya. Setelah didekompresi, sitemap ber-gzip memiliki elemen urlset, url, dan loc yang sama seperti sitemap lainnya, dan logika ekstraksi yang sama berlaku.
Mengapa mengekstrak URL sitemap sangat berguna
Daftar datar berisi setiap URL yang dipublikasikan sebuah situs adalah tulang punggung pekerjaan SEO praktis. Saat melakukan migrasi situs, Anda mengekstrak sitemap situs lama untuk menyusun peta pengalihan (redirect) yang lengkap sehingga tidak ada URL yang berakhir menjadi 404. Untuk audit konten, daftar tersebut menjadi masukan bagi crawler atau spreadsheet tempat Anda dapat memeriksa kode status, judul, dan jumlah kata halaman demi halaman. Untuk pemeriksaan pengindeksan, Anda dapat membandingkan URL yang Anda kirim dengan apa yang dilaporkan Search Console sebagai terindeks, dan selisihnya menunjukkan halaman mana yang diabaikan Google.
Daftar ini juga menjadi masukan bagi perkakas massal. Anda dapat mengalirkan URL hasil ekstraksi ke sebuah crawler seperti Screaming Frog, ke pemeriksa tautan, ke alat audit performa, atau ke skrip yang menyelidiki header HTTP setiap URL. Memulai dari daftar sitemap kanonis, alih-alih melakukan crawling secara membabi buta, memastikan Anda mengaudit persis halaman-halaman yang memang ingin ditampilkan oleh situs.
Kesalahan umum saat mengekstrak
Kejutan yang paling sering terjadi adalah mengekstrak file indeks lalu mengira situs hanya memiliki segelintir halaman, padahal sebenarnya URL yang sedikit itu adalah sitemap turunan yang masing-masing memuat ribuan halaman. Selalu periksa apakah hasil Anda berupa sitemap atau halaman yang sebenarnya sebelum menarik kesimpulan. Jebakan kedua adalah menganggap sitemap sudah mencakup segalanya: banyak sistem manajemen konten menghasilkan sitemap yang menghilangkan jenis halaman tertentu, arsip berpaginasi, atau konten yang baru saja dipublikasikan, sehingga sitemap merupakan batas bawah dari URL sebuah situs, bukan sensus yang lengkap.
Jebakan lainnya mencakup tanggal lastmod basi yang tidak mencerminkan perubahan nyata, URL di dalam sitemap yang tidak lagi mengembalikan 200 (halaman yatim atau yang sudah dihapus tetapi tidak pernah dibersihkan), serta ketidakcocokan protokol atau host ketika sitemap mencantumkan URL http padahal situs sudah pindah ke https. Mengekstrak URL adalah bagian yang mudah; nilainya muncul dari memeriksa silang daftar tersebut dengan apa yang benar-benar disajikan oleh server.
Menempatkan ekstraksi dalam alur kerja SEO
Alur kerja yang rapi dan dapat diulang terlihat seperti ini: temukan sitemap, biasanya ditautkan dari robots.txt atau berada di jalur konvensional /sitemap.xml; ekstrak URL-nya, menelusuri setiap file indeks sampai Anda mencapai halaman yang sebenarnya; ekspor daftarnya ke sebuah file teks; lalu masukkan ke alat audit atau migrasi apa pun yang Anda gunakan. Karena ekstraktor ini dapat sekaligus mengurai XML yang ditempel dan mengambil sitemap berdasarkan URL, Anda dapat beralih dari sitemap mentah menjadi daftar URL yang siap pakai dalam hitungan detik tanpa menulis kode apa pun.
Jalankan ekstraksi secara berkala, bukan hanya sekali. Membandingkan daftar URL hari ini dengan daftar bulan lalu akan memunculkan halaman yang baru dipublikasikan, halaman yang diam-diam dihapus, dan perubahan struktural pada situs, yang semuanya merupakan sinyal awal yang berguna baik bagi kesehatan SEO maupun tata kelola konten.
Pertanyaan yang sering diajukan
Bagaimana sitemap URL extractor menemukan tautan?
Bisakah saya menempel XML atau memuat sitemap dari URL?
Bagaimana jika XML saya tidak valid atau tidak memiliki URL?
Bisakah saya mengekspor URL yang diekstrak?
Apakah alat ini gratis dan apakah data saya privat?
Alat terkait
Lanjutkan dengan alat praktis ini