เครื่องสร้าง Robots.txt
1
User-agent
คำสั่ง
เส้นทาง
ความล่าช้าในการคลอล (วินาที)
วิธีใช้ เครื่องสร้าง Robots.txt
- 1
เพิ่มกฎการรวบรวมข้อมูล
คลิก "เพิ่มกฎ" แล้วกำหนด User-agent เลือก Allow หรือ Disallow และป้อนพาธที่แต่ละกฎควรนำไปใช้
- 2
ตั้งคำสั่งเสริม
เพิ่ม URL ของ sitemap (หนึ่ง URL ต่อบรรทัด) และ crawl-delay เป็นวินาทีหากต้องการ เพื่อควบคุมว่าเครื่องมือค้นหาจะรวบรวมข้อมูลเว็บไซต์ของคุณอย่างไร
- 3
สร้างไฟล์
คลิก "สร้าง robots.txt" เพื่อสร้างไฟล์ที่จัดรูปแบบถูกต้องจากกฎและคำสั่งของคุณ
- 4
คัดลอกหรือดาวน์โหลด
ใช้ "คัดลอกไปยังคลิปบอร์ด" หรือ "ดาวน์โหลด robots.txt" จากนั้นอัปโหลดไฟล์ไปยังรากของโดเมนของคุณ (yoursite.com/robots.txt)
robots.txt ทำงานอย่างไรจริง ๆ: คู่มือเชิงปฏิบัติ
robots.txt คืออะไร และต้องวางไว้ที่ไหน
robots.txt เป็นไฟล์ข้อความธรรมดาที่ใช้ Robots Exclusion Protocol ซึ่งเป็นมาตรฐานที่ทำตามโดยสมัครใจ มันบอกบ็อตรวบรวมข้อมูลว่าไม่ควรร้องขอส่วนใดของเว็บไซต์ของคุณ ไฟล์นี้ต้องถูกเสิร์ฟจากตำแหน่งเดียวที่แน่นอน คือรากของโดเมนของคุณ ที่ yoursite.com/robots.txt หาก robots.txt ถูกวางไว้ในไดเรกทอรีย่อย เช่น yoursite.com/blog/robots.txt มันจะถูกละเลยไปเฉย ๆ แต่ละโดเมนย่อยและแต่ละโปรโตคอลมีขอบเขตของตัวเอง ดังนั้น blog.yoursite.com จึงต้องมีไฟล์ของตัวเองแยกจากไฟล์ของ yoursite.com
การปฏิบัติตามอยู่บนพื้นฐานของความสมัครใจ Googlebot, Bingbot และบ็อตรวบรวมข้อมูลกระแสหลักอื่น ๆ ทำตาม robots.txt แต่สแกรปเปอร์ที่มุ่งร้ายและบ็อต AI จำนวนมากอาจไม่ทำ อย่าถือว่า robots.txt เป็นมาตรการความปลอดภัยเด็ดขาด มันเป็นกลไกแห่งมารยาทสำหรับบ็อตที่ประพฤติดี ไม่ใช่กุญแจล็อกเนื้อหาส่วนตัว อะไรก็ตามที่อ่อนไหวจริง ๆ ต้องใช้การยืนยันตัวตน ไม่ใช่บรรทัด Disallow
คำสั่งสี่อย่างที่คุณใช้งานจริง
robots.txt ถูกจัดระเบียบเป็นกลุ่ม แต่ละกลุ่มเริ่มต้นด้วยบรรทัด User-agent หนึ่งบรรทัดหรือมากกว่าที่ระบุชื่อบ็อตที่กฎจะนำไปใช้ ตามด้วยกฎ Allow และ Disallow คำสั่ง User-agent: * กำหนดเป้าหมายทุกบ็อตที่ไม่มีกลุ่มเฉพาะเจาะจงกว่า ส่วน Disallow: /admin/ บล็อกพาธหนึ่ง และ Disallow ที่ว่างเปล่า (Disallow: ที่ไม่มีอะไรตามหลัง) หมายถึงอนุญาตทุกอย่าง Allow ถูกใช้เพื่อแกะข้อยกเว้นออกจากการบล็อกในวงกว้าง เช่น การอนุญาตไฟล์หนึ่งภายในโฟลเดอร์ที่โดยรวมถูกห้ามไว้
คำสั่ง Sitemap มีความพิเศษ คือเป็นอิสระจากกลุ่ม User-agent ใด ๆ และปรากฏที่ไหนก็ได้ในไฟล์ โดยตามธรรมเนียมจะอยู่ด้านบนหรือด้านล่าง มันควรชี้ไปยัง URL แบบสมบูรณ์เต็มของ XML sitemap ของคุณ เช่น https://yoursite.com/sitemap.xml และคุณระบุบรรทัด sitemap หลายบรรทัดได้หากมีมากกว่าหนึ่งรายการ นี่คือวิธีที่ประหยัดที่สุดในการช่วยให้เครื่องมือค้นหาค้นพบ URL ทั้งหมดของคุณ
ข้อแตกต่างสำคัญ: การรวบรวมข้อมูลกับการจัดทำดัชนี
นี่คือประเด็นที่ถูกเข้าใจผิดมากที่สุดเกี่ยวกับ robots.txt และการเข้าใจผิดก่อให้เกิดความเสียหายจริง robots.txt ควบคุมการรวบรวมข้อมูล ไม่ใช่การจัดทำดัชนี การ Disallow URL หนึ่งจะหยุดบ็อตไม่ให้ดึงเนื้อหาของมัน แต่ไม่ได้ลบ URL นั้นออกจากผลการค้นหา หากหน้าอื่นลิงก์มายัง URL ที่ถูกบล็อก Google ยังจัดทำดัชนีมันเป็นลิงก์เปล่าได้ โดยมักแสดงพร้อมหมายเหตุที่ไม่ช่วยอะไรว่าไม่มีคำอธิบายเพราะหน้าถูกบล็อกโดย robots.txt
ที่แย่กว่านั้น การบล็อกหน้าใน robots.txt ทำให้ Google ไม่มีวันเห็นแท็ก noindex บนหน้านั้น เพราะมันรวบรวมข้อมูลหน้าเพื่ออ่านแท็กไม่ได้ ดังนั้นวิธีที่ถูกต้องในการลบหน้าออกจากการค้นหาจึงตรงกันข้ามกับที่หลายคนคิด นั่นคือ ปล่อยให้มันรวบรวมข้อมูลได้และเพิ่มแท็ก meta noindex หรือเฮดเดอร์ X-Robots-Tag ควรบล็อกใน robots.txt ก็ต่อเมื่อเป้าหมายของคุณคือการประหยัดงบประมาณการรวบรวมข้อมูล ไม่ใช่เพื่อซ่อนหน้าจากดัชนี
ไวลด์การ์ดและการจับคู่รูปแบบ
บ็อตรวบรวมข้อมูลสมัยใหม่รองรับอักขระรูปแบบสองตัว เครื่องหมายดอกจัน (*) จับคู่กับลำดับอักขระใด ๆ และเครื่องหมายดอลลาร์ ($) ยึดการจับคู่ไว้กับท้าย URL ดังนั้น Disallow: /*.pdf$ จึงบล็อกทุก URL ที่ลงท้ายด้วย .pdf และ Disallow: /*?sort= บล็อก URL ใด ๆ ที่มีพารามิเตอร์การจัดเรียง ซึ่งเป็นวิธีทั่วไปในการกันหน้าซ้ำจากการนำทางแบบเจาะลึกออกจากการรวบรวมข้อมูล พาธถูกจับคู่แบบนำหน้า ดังนั้น Disallow: /private จึงบล็อกทั้ง /private, /private/ และ /private-files เหมือนกัน
รูปแบบมีพลังแต่ก็ใช้เกินขอบเขตได้ง่าย ทดสอบกฎที่ไม่ธรรมดาก่อนนำไปใช้งานจริง เครื่องหมายดอกจันที่วางผิดที่เพียงตัวเดียวอาจบล็อกมากกว่าที่ตั้งใจไว้มาก Google Search Console มีเครื่องมือทดสอบ robots.txt ที่แสดงว่า URL ที่กำหนดได้รับอนุญาตหรือถูกบล็อกโดยกฎของคุณ ซึ่งคุ้มค่าที่จะใช้กับอะไรก็ตามที่ซับซ้อนกว่าไฟล์พื้นฐานที่สุด
crawl-delay และอัตราการรวบรวมข้อมูล
คำสั่ง Crawl-delay ขอให้บ็อตรอเป็นจำนวนวินาทีระหว่างคำขอที่ติดต่อกัน ซึ่งช่วยลดภาระบนเซิร์ฟเวอร์ขนาดเล็กหรือเปราะบางได้ ข้อแม้คือการรองรับไม่สม่ำเสมอ Bing และ Yandex ทำตาม Crawl-delay แต่ Google ละเลยมันโดยสิ้นเชิง Google กำหนดอัตราการรวบรวมข้อมูลโดยอัตโนมัติแทน และในอดีตเคยเปิดให้ปรับค่าด้วยตนเองใน Search Console หากความกังวลของคุณคือ Googlebot กระหน่ำเซิร์ฟเวอร์โดยเฉพาะ Crawl-delay จะไม่ช่วยอะไรเลย คุณต้องใช้การจำกัดอัตราฝั่งเซิร์ฟเวอร์หรือการตั้งค่าใน Search Console แทน
สำหรับเว็บไซต์ส่วนใหญ่ คุณไม่ควรตั้งค่า crawl delay เลย การชะลอบ็อตยังชะลอความรวดเร็วในการค้นพบและจัดทำดัชนีเนื้อหาใหม่และที่อัปเดตด้วย เก็บไว้ใช้กับปัญหาด้านขีดความสามารถที่แท้จริงเท่านั้น และตั้งค่าให้พอประมาณ
ข้อผิดพลาดทั่วไปที่ทำลาย SEO อย่างเงียบ ๆ
ข้อผิดพลาดที่ร้ายแรงที่สุดคือการส่งไฟล์สเตจจิงที่มี Disallow: / อยู่ใต้ User-agent: * ขึ้นไปใช้งานจริง บรรทัดเดียวนั้นบล็อกทั้งเว็บไซต์ของคุณจากบ็อตทุกตัว และมันเกิดขึ้นเป็นประจำเมื่อเว็บไซต์เผยแพร่จริงแล้วไม่มีใครเปลี่ยน robots.txt ของฝั่งพัฒนาออก หลังการเปิดตัวหรือการย้ายเว็บไซต์ใด ๆ สิ่งแรกที่ต้องตรวจสอบคือ robots.txt ของระบบโปรดักชันไม่มี Disallow แบบครอบคลุมทั้งหมด
ข้อผิดพลาดคลาสสิกอันดับสองคือการบล็อกไดเรกทอรี CSS และ JavaScript Google เรนเดอร์หน้าเหมือนเบราว์เซอร์ และหากดึงสไตล์ชีตและสคริปต์ของคุณไม่ได้ มันอาจเห็นหน้าที่แตกหักไม่มีสไตล์ และตัดสินว่าเป็นหน้าที่มีประสบการณ์บนมือถือแย่หรือเนื้อหาบาง ปล่อยให้บ็อตเข้าถึงทรัพยากรของคุณได้ ความพลาดที่พบบ่อยอื่น ๆ ได้แก่ การใช้ robots.txt เพื่อพยายามถอนหน้าออกจากดัชนี (ให้ใช้ noindex แทน) การลืมว่าไฟล์นี้แยกแยะตัวพิมพ์ใหญ่เล็กในพาธ และการวางไฟล์ไว้ที่อื่นนอกเหนือจากรากของโดเมน
ค่าเริ่มต้นที่เหมาะสมสำหรับเว็บไซต์ส่วนใหญ่
เว็บไซต์จำนวนมากได้ประโยชน์สูงสุดจาก robots.txt ที่ตั้งใจให้ผ่อนปรน คือกลุ่มเดียวของ User-agent: * พร้อม Disallow ที่ว่างเปล่าเพื่อให้ทุกอย่างรวบรวมข้อมูลได้ บวกกับบรรทัด Sitemap ที่ชี้ไปยัง XML sitemap ของคุณ จากเส้นฐานที่เปิดกว้างนั้น คุณจึงค่อยเพิ่มกฎ Disallow แบบแคบเฉพาะสำหรับสิ่งที่ไม่ควรถูกรวบรวมข้อมูลจริง ๆ เช่น หน้าผลการค้นหาภายใน พื้นที่ผู้ดูแลระบบ URL ของตะกร้าและการชำระเงิน และ URL ซ้ำที่มีพารามิเตอร์
ต้านทานสิ่งล่อใจที่จะออกแบบเกินจำเป็น robots.txt ที่สั้น ถูกต้อง และคุณเข้าใจอย่างถ่องแท้ ปลอดภัยกว่าไฟล์ยาวที่คัดลอกมาจากที่อื่นพร้อมกฎที่คุณอธิบายไม่ได้มาก หลังจากสร้างของคุณแล้ว ให้ดึงมันในเบราว์เซอร์เพื่อยืนยันว่าถูกเสิร์ฟเป็นข้อความธรรมดาที่ราก จากนั้นตรวจสอบความถูกต้องของพาธสำคัญในเครื่องมือทดสอบก่อนที่จะพึ่งพามัน
คำถามที่พบบ่อย
ไฟล์ robots.txt มีไว้ทำอะไร
กฎ Allow และ Disallow ทำงานอย่างไร
crawl-delay ทำอะไร
ทำไมต้องเพิ่มบรรทัด sitemap
robots.txt รับประกันว่าหน้าจะไม่อยู่ใน Google ไหม
เครื่องมือที่เกี่ยวข้อง
ทำงานต่อด้วยเครื่องมือที่มีประโยชน์เหล่านี้