เกี่ยวกับเครื่องมือนี้
สร้างไฟล์ robots.txt ที่เป็นไปตามมาตรฐานจากกฎการรวบรวมข้อมูลของคุณ ไฟล์ถูกสร้างขึ้นภายในเบราว์เซอร์ของคุณ
คำถามที่พบบ่อย
robots.txt ควรวางไว้ที่ไหน?
ไว้ที่ราก (root) ของโดเมน เช่น https://example.com/robots.txt เพื่อให้ crawler ค้นพบได้
Disallow ทำงานอย่างไร?
เป็นการขอให้ crawler ที่ปฏิบัติตามกฎไม่เข้าถึงเส้นทางที่ระบุไว้ ใส่หนึ่งเส้นทางต่อหนึ่งบรรทัด โดยขึ้นต้นด้วยเครื่องหมายทับ (/)