เครื่องสร้าง Robots.txt
URL เว็บไซต์ (ไม่บังคับ)
กฎ
1
User-agent
คำสั่ง
เส้นทาง
URL ของไซต์แมพ (หนึ่งบรรทัดต่อหนึ่ง URL)
ความล่าช้าในการคลอล (วินาที)
วิธีใช้ เครื่องสร้าง Robots.txt
- 1
เพิ่มกฎการรวบรวมข้อมูล
คลิก "เพิ่มกฎ" แล้วกำหนด User-agent เลือก Allow หรือ Disallow และป้อนพาธที่แต่ละกฎควรนำไปใช้
- 2
ตั้งคำสั่งเสริม
เพิ่ม URL ของ sitemap (หนึ่ง URL ต่อบรรทัด) และ crawl-delay เป็นวินาทีหากต้องการ เพื่อควบคุมว่าเครื่องมือค้นหาจะรวบรวมข้อมูลเว็บไซต์ของคุณอย่างไร
- 3
สร้างไฟล์
คลิก "สร้าง robots.txt" เพื่อสร้างไฟล์ที่จัดรูปแบบถูกต้องจากกฎและคำสั่งของคุณ
- 4
คัดลอกหรือดาวน์โหลด
ใช้ "คัดลอกไปยังคลิปบอร์ด" หรือ "ดาวน์โหลด robots.txt" จากนั้นอัปโหลดไฟล์ไปยังรากของโดเมนของคุณ (yoursite.com/robots.txt)
คำถามที่พบบ่อย
ไฟล์ robots.txt มีไว้ทำอะไร
ไฟล์ robots.txt บอกบ็อตรวบรวมข้อมูลของเครื่องมือค้นหาว่าส่วนใดของเว็บไซต์ที่เข้าถึงได้หรือไม่ได้ มันใช้คำสั่ง User-agent, Allow และ Disallow และวางไว้ที่รากของโดเมนเพื่อให้บ็อตอ่านก่อนรวบรวมข้อมูล
กฎ Allow และ Disallow ทำงานอย่างไร
Disallow บล็อกบ็อตจากพาธ ขณะที่ Allow อนุญาตพาธอย่างชัดเจน ซึ่งมีประโยชน์สำหรับการเปิดโฟลเดอร์ย่อยภายในไดเรกทอรีที่ถูกบล็อก คุณกำหนดเป้าหมายบ็อตทั้งหมดด้วย User-agent สำหรับทุกบ็อต หรือเขียนกฎแยกสำหรับบ็อตเฉพาะอย่าง Googlebot ได้
crawl-delay ทำอะไร
crawl-delay แนะนำว่าบ็อตควรรอกี่วินาทีระหว่างคำขอ ซึ่งช่วยลดภาระเซิร์ฟเวอร์ได้ โปรดทราบว่าเครื่องมือค้นหาบางตัวไม่ทำตาม เช่น Google ละเลย crawl-delay และเลือกใช้การตั้งค่าอัตราการรวบรวมข้อมูลใน Search Console แทน
ทำไมต้องเพิ่มบรรทัด sitemap
การใส่คำสั่ง Sitemap จะชี้บ็อตไปยัง XML sitemap ของคุณเพื่อให้ค้นพบหน้าของคุณได้อย่างมีประสิทธิภาพมากขึ้น เครื่องมือให้คุณระบุ URL ของ sitemap หลายรายการ หนึ่งรายการต่อบรรทัด และเขียนลงในไฟล์ให้คุณ
robots.txt รับประกันว่าหน้าจะไม่อยู่ใน Google ไหม
ไม่ Disallow ป้องกันการรวบรวมข้อมูล แต่ URL ที่ถูกบล็อกยังถูกจัดทำดัชนีได้หากหน้าอื่นลิงก์มาหา หากต้องการให้หน้าไม่อยู่ในผลการค้นหา ให้ใช้ meta tag หรือเฮดเดอร์ noindex บนหน้าที่รวบรวมข้อมูลได้ แทนการพึ่ง robots.txt เพียงอย่างเดียว
เครื่องมือที่เกี่ยวข้อง
ทำงานต่อด้วยเครื่องมือที่มีประโยชน์เหล่านี้