مولّد robots.txt — إدارة السماح والمنع وروبوتات الذكاء الاصطناعي
يحدد robots.txt الصفحات التي يمكن لجوجل الزحف إليها وفهرستها، وقاعدة مكتوبة خطأً قد تُخفي موقعك كاملًا من نتائج البحث. أنشئ ملف robots.txt داخل متصفحك. الخطوات: اختر User-agent، أضف مسارات Allow / Disallow وسطر Sitemap لكل مجموعة، ثم انسخ النتيجة النصية مع شرح قواعد الصياغة وكتابة User-agent الخاصة بروبوتات الذكاء الاصطناعي المحدثة. يعمل محليًا — لا يُرفع أي شيء. مثال: حظر GPTBot مع إبقاء Googlebot مفعّلًا بالكامل.
حدد الروبوتات التي تريد تضمينها، ثم أضف المسارات لكل مجموعة.
كيف يعمل
اختر الزاحف المستهدف، أضف مسارات Allow و Disallow لكل مجموعة، واختياريًا سطر Sitemap، ثم اضغط «توليد». تجمع الصفحة الملف النصي وفق تخطيط RFC 9309: سطر User-agent لكل مجموعة، أسفله سطور Allow/Disallow، سطر فارغ بين المجموعات، وسطر Sitemap في النهاية. انسخ النتيجة إلى جذر موقعك /robots.txt.
قواعد صياغة مهمة
قواعد robots.txt بادئات مسار وليست أنماطًا، والزاحف يطبق آخر مجموعة تطابقه في الملف. هذه القواعد التي يتبعها المولّد.
- ترتيب المجموعات: سطر User-agent يبدأ مجموعة لهذا الزاحف، وسطر فارغ ينهيها. آخر مجموعة تطابق الزاحف هي التي تسري.
- مطابقة البادئة: Allow و Disallow يطابقان بادئات مسار، لا نصوصًا جزئية ولا تعابير نمطية؛ * و $ فقط حرفان خاصان (RFC 9309).
- Disallow: / يحظر ذلك الوكيل من الموقع كله؛ Disallow بقيمة فارغة يسمح بكل شيء لذلك الوكيل.
- Sitemap امتداد وليس جزءًا من RFC 9309. لا يفرّق في حالة الأحرف ويمكن وضعه في أي مكان، لكن جرت العادة وضعه في النهاية.
مثال
مثال: Googlebot بإعداد Allow: / (مفعّل بالكامل)، GPTBot بإعداد Disallow: / (محظور)، وسطر Sitemap يشير إلى /sitemap.xml. الناتج يعكس هذا التخطيط: مجموعة لكل زاحف، سطر فارغ بين المجموعات، وsitemap أخيرًا.
مناسب لـ
- المواقع الجديدة: أنشئ robots.txt أوليًا يبقي محركات البحث مفعّلة ويخفي مسارات تجريب خاصة.
- التحكم بروبوتات الذكاء الاصطناعي: احظر GPTBot أو ClaudeBot أو Google-Extended أو CCBot أو PerplexityBot من التدريب أو استخراج الملخصات دون المساس بـ Googlebot.
- الاكتشاف: اربط robots.txt بسطر Sitemap ليجد الزاحف خريطة موقعك.
Frequently asked questions
ماذا يحدث عند كتابة Disallow: / ؟
يخبر ذلك الزاحف بعدم جلب أي رابط تحت جذر الموقع. إذا حصل Googlebot على Disallow: / فقد تختفي صفحاتك من نتائج جوجل. لمسار تجريبي استخدم Disallow: /private/ بدلًا منه.
كيف أحظر روبوتات الذكاء الاصطناعي مثل GPTBot؟
أنشئ مجموعة بسطر User-agent للزاحف (مثل GPTBot أو ClaudeBot أو Google-Extended أو CCBot أو PerplexityBot) وأضف Disallow: /. راجع وثائق الزاحف الرسمية، فروبوتات الذكاء الاصطناعي تحدّث أسماء المستخدمين ونطاقات IP بين الحين والآخر.
أين يجب وضع سطر Sitemap؟
الموضع لا يؤثر في قراءة محركات البحث له، لكن جرت العادة وضعه في نهاية الملف. يلحقه المولّد في النهاية عند تزويده برابط.
هل يُرفع ملف robots.txt إلى أي مكان؟
لا. الملف يُولَّد في متصفحك ولا يُرسل إلى خادم أبدًا. أغلق التبويب فلن يُحفظ شيء.
Related tools
استفسارات أو ملاحظات
هل هناك غموض أو خلل أو نقص؟ اكتب رسالة أدناه — نقرأ كل ملاحظة عن هذه الأدوات.