ما هو مولّد Robots.txt؟

أنشئ ملفات robots.txt منسّقة بشكل صحيح للتحكم في كيفية وصول زواحف محركات البحث إلى موقعك. أضف قواعد وكيل المستخدم ومسارات السماح/الحظر وتأخير الزحف ومراجع خريطة الموقع — كل ذلك دون كتابة الملف يدوياً.

كيفية الاستخدام

1. أضف قواعد وكيل المستخدم (مثل Googlebot أو Bingbot أو * لجميع الزواحف) وحدّد المسارات المسموح بها أو المحظورة.
2. اختيارياً، عيّن قيم تأخير الزحف وأضف رابط خريطة الموقع.
3. انسخ أو حمّل ملف robots.txt الناتج وارفعه إلى الجذر الرئيسي لموقعك.

النتيجة

أنشئ قواعد تسمح لجميع الزواحف بالوصول إلى موقعك لكنها تحظر المسارات /admin/ و/api/، مع خريطة موقع على https://example.com/sitemap.xml.

أدوات ذات صلة