नियम RFC 9309, यानी Robots Exclusion Protocol में तय किए गए हैं। उन्हें साइट के टॉप-लेवल पाथ में /robots.txt नाम की फ़ाइल में होना चाहिए, पूरा नाम छोटे अक्षरों में।[1] नियमों का हर ग्रुप User-agent लाइनों से एक या ज़्यादा क्रॉलर का नाम लेता है और Disallow लाइनों से वे पाथ बताता है जिन्हें वे नहीं ला सकते।[1]
robots.txt एक अनुरोध है, ताला नहीं। RFC कहता है कि ये नियम एक्सेस ऑथराइज़ेशन का कोई रूप नहीं हैं।[1] किसी व्यक्ति की ओर से काम करने वाले फ़ेचर अलग तरह से बर्ताव कर सकते हैं: Perplexity कहता है कि उसका Perplexity-User फ़ेचर आम तौर पर robots.txt को नज़रअंदाज़ करता है, क्योंकि पेज किसी यूज़र ने माँगा है।[2]
संबंधित
स्रोत
- RFC 9309: Robots Exclusion Protocol, 6 नवंबर 2026 को पढ़ा गया
- Perplexity: Perplexity crawlers, 6 नवंबर 2026 को पढ़ा गया
6 नवंबर 2026 को अपडेट किया गया। कुछ ग़लत या पुराना है? connect@odeist.com पर ईमेल करें (विषय: सुधार: robots.txt)।
फ़्री में शुरू करें 7 दिन फ़्री, कार्ड की ज़रूरत नहीं।