ما هو مولّد Robots.txt؟

أنشئ ملفات robots.txt منسّقة بشكل صحيح للتحكم في كيفية وصول زواحف محركات البحث إلى موقعك. أضف قواعد وكيل المستخدم ومسارات السماح/الحظر وتأخير الزحف ومراجع خريطة الموقع — كل ذلك دون كتابة الملف يدوياً.

أضف عدداً غير محدود من كتل user-agent، واحدة لـ * (كل الزواحف) وأخرى مخصّصة لـ Googlebot وBingbot وAhrefsBot وGPTBot وغيرها. كل كتلة تقبل عدة مسارات Allow وDisallow وقيمة Crawl-delay اختيارية بالثواني. روابط Sitemap تُكتب أسطراً مستقلة في نهاية الملف. النتيجة هي النص نفسه الذي يُوضع على /robots.txt في نطاقك.

كيفية الاستخدام

1. أضف قواعد وكيل المستخدم (مثل Googlebot أو Bingbot أو * لجميع الزواحف) وحدّد المسارات المسموح بها أو المحظورة.
2. اختيارياً، عيّن قيم تأخير الزحف وأضف رابط خريطة الموقع.
3. انسخ أو حمّل ملف robots.txt الناتج وارفعه إلى الجذر الرئيسي لموقعك.

متى تستخدم

• حجب زواحف تدريب الذكاء الاصطناعي (GPTBot، ClaudeBot، CCBot، Google-Extended) عن المحتوى.
• إخفاء مسارات الإدارة، البحث الداخلي، بيئة الاختبار، أو الصفحات المكرّرة عن فهرسة محركات البحث.
• نقل الموقع وتوجيه الزواحف إلى Sitemap جديد، أو منع الفهرسة كلياً مؤقتاً أثناء إعادة البناء.

النتيجة

أنشئ قواعد تسمح لجميع الزواحف بالوصول إلى موقعك لكنها تحظر المسارات /admin/ و/api/، مع خريطة موقع على https://example.com/sitemap.xml.

الأسئلة الشائعة

هل يمنع robots.txt الزواحف فعلاً، أم هو طلب فقط؟

إنه بروتوكول طوعي. الزواحف المعروفة (جوجل، بِنْغ، مشاريع الأرشفة الكبرى) تلتزم به. سكربتات الاستخراج وبعض زواحف الذكاء الاصطناعي في المنطقة الرمادية تتجاهله. للتحكم الفعلي بالوصول استخدم المصادقة على الخادم، أو الحجب على الحافة حسب IP وuser-agent.

ما الفرق بين Disallow و noindex؟

Disallow يمنع الزحف نفسه، فلا يقوم جوجل بجلب الصفحة. noindex (وسم meta أو ترويسة HTTP) يخبر جوجل ألا يعرض الصفحة في النتائج حتى لو زحف إليها. إذا منعت الزحف فلن يرى جوجل وسم noindex، ولذلك قد تظل تلك الروابط تظهر في النتائج.

أين أرفع ملف robots.txt بالضبط؟

يجب أن يكون في جذر النطاق ويُقدَّم عبر https://example.com/robots.txt. كل مجلد فرعي أو نطاق فرعي يحتاج ملفه الخاص. في Next.js ضعه في /public/robots.txt، وفي Vercel ملف ثابت في جذر المشروع يكفي.

كيف أمنع ChatGPT وClaude من التدرّب على موقعي؟

أضف User-agent: GPTBot وUser-agent: ClaudeBot وUser-agent: CCBot وUser-agent: anthropic-ai وUser-agent: Google-Extended، يلي كلاً منها Disallow: /. لاحظ أن Google-Extended يستثنيك من التدريب فقط، فيما يواصل Googlebot الاعتيادي فهرسة الصفحة.

هل لا يزال Crawl-delay يُحترم من جوجل؟

لا. يتجاهله جوجل ويعتمد بدلاً منه إعدادات معدل الزحف في Search Console. أما Bing وYandex وYahoo فما زالوا يحترمونه. القيمة التي تضعها هنا تبقى في الملف وتفيد تلك الزواحف، وجوجل ببساطة يتجاوز السطر.

أدوات ذات صلة