Robots.txt जनरेटर क्या है?
सर्च इंजन क्रॉलर आपकी वेबसाइट को कैसे एक्सेस करें, इसे नियंत्रित करने के लिए सही फॉर्मेट में robots.txt फ़ाइलें जनरेट करें। यूज़र-एजेंट नियम जोड़ें, अनुमत/प्रतिबंधित पथ सेट करें, क्रॉल डिले निर्धारित करें, और साइटमैप रेफरेंस शामिल करें — बिना फ़ाइल मैनुअली लिखे।
उपयोग कैसे करें
- यूज़र-एजेंट नियम जोड़ें (जैसे Googlebot, Bingbot, या सभी के लिए *) और बताएँ कि कौन से पथ अनुमत या प्रतिबंधित हैं।
- वैकल्पिक रूप से क्रॉल डिले वैल्यू सेट करें और अपना साइटमैप URL जोड़ें।
- जनरेट की गई robots.txt फ़ाइल को कॉपी या डाउनलोड करें और अपनी साइट के रूट पर अपलोड करें।
परिणाम
ऐसे नियम बनाएँ जो सभी क्रॉलर को आपकी साइट पर अनुमति दें लेकिन /admin/ और /api/ पथों को ब्लॉक करें, साइटमैप https://example.com/sitemap.xml पर।
संबंधित उपकरण
स्ट्रक्चर्ड डेटा जेनरेटर
SEO के लिए JSON-LD स्कीमा मार्कअप बनाएँ
वेबपेज से PDF
वेबपेज को PDF के रूप में सेव करें
प्राइवेसी पॉलिसी जनरेटर
अपनी वेबसाइट के लिए प्राइवेसी पॉलिसी बनाएं
सेवा की शर्तें जनरेटर
सेवा की शर्तों का दस्तावेज़ बनाएँ
कुकी सहमति जनरेटर
कुकी सहमति बैनर कोड बनाएं
CSS मिनिफायर
फ़ाइल का आकार कम करने के लिए CSS कोड को संक्षिप्त करें