مولّد Robots.txt

أنشئ ملف robots.txt صالحاً: اسمح أو احظر الزواحف وامنع مسارات بأحرف بدل وأضف استثناءات Allow وCrawl-delay وروابط خرائط الموقع واحظر روبوتات تدريب الذكاء الاصطناعي.

القاعدة الافتراضية لكل الزواحف (User-agent: *)

المسارات المحظورة (مسار في كل سطر)

تبدأ المسارات بـ /. يطابق * أي أحرف، ويشير $ إلى نهاية العنوان.

المسارات المسموح بها (مسار في كل سطر)

استثناءات داخل المجلدات المحظورة؛ والقاعدة الأكثر تحديدًا هي التي تُطبَّق.

Crawl-delay (بالثواني، اختياري)

يحترمه Bing وYandex، ويتجاهله Google.

عناوين خرائط الموقع (عنوان في كل سطر)

حظر زواحف تدريب الذكاء الاصطناعي والبحث بالذكاء الاصطناعي أيضًا (GPTBot وClaudeBot وGoogle-Extended وCCBot وPerplexityBot…)

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sessionid=

Sitemap: https://example.com/sitemap.xml

يجب وضع robots.txt في جذر الموقع (https://example.com/robots.txt). هو مجرد طلب من الزواحف الملتزمة بعدم الزحف؛ ولا يخفي الصفحات ولا يمنع ظهورها في نتائج البحث، فلذلك استخدم noindex أو المصادقة. تتبع الصياغة RFC 9309.

ما هو مولّد Robots.txt؟

يبني هذا المولّد ملف robots.txt وفق RFC 9309. اختر هل يُسمح للزواحف بالوصول إلى الموقع، واسرد المسارات الممنوعة (بأحرف البدل * و$) واستثناءات Allow، وأضف Crawl-delay اختيارياً وروابط خرائط موقعك، واختيارياً أضف مجموعة تحظر زواحف تدريب وبحث الذكاء الاصطناعي مثل GPTBot وClaudeBot وGoogle-Extended وCCBot وPerplexityBot.

كيفية استخدام مولّد Robots.txt

اختر القاعدة الافتراضية: السماح بالزحف عدا المسارات المدرجة، أو حظر الموقع كله.
أدخل مسارات Disallow واستثناءات Allow، واحداً في كل سطر وكل منها يبدأ بـ /.
أضف Crawl-delay عند الحاجة وروابط خرائط موقعك.
فعّل «Also block AI … crawlers» إن أردت الانسحاب من تدريب الذكاء الاصطناعي وبحثه.
انسخ robots.txt أو نزّله وارفعه إلى جذر موقعك.

مثال

الإدخال

Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml

الإخراج

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sessionid=

Sitemap: https://example.com/sitemap.xml

متى تستخدم مولّد Robots.txt

استخدمه لمنع الزواحف من إضاعة الوقت على روابط الإدارة والسلة والبحث والمعاملات، أو لتوجيهها إلى خريطة موقعك، أو للانسحاب من زواحف الذكاء الاصطناعي. robots.txt استشاري: لا يخفي الصفحات ولا يزيل الروابط المفهرسة – استخدم noindex أو المصادقة لذلك – وتتجاهله الروبوتات الخبيثة.

كيف يعمل مولّد Robots.txt

تكتب الأداة مجموعة User-agent: * بسطور Allow وDisallow لديك (وDisallow: فارغاً عند عدم حظر شيء، وهذا يُبقي المجموعة صالحة)، ثم مجموعة اختيارية تسرد وكلاء المستخدم للذكاء الاصطناعي مع Disallow: /، ثم سطور Sitemap. تُوسم السطور التي لا تبدأ بـ / أو * لأن الزواحف تتجاهلها. ولا يُضاف Crawl-delay إلا إذا كان رقماً.