مولد ملف Robots.txt
توليد ملف Robots.txt احترافي لإرشاد عناكب البحث وتحديد الصفحات التي ترغب في أرشفتها أو حجبها.
Robots.txt Settings
الرابط الصديق (Slug) المولد للـ SEO:
أداة توليد ملف Robots.txt لتهيئة وتوجيه عناكب بحث جوجل والمدققين للتحكم في زحف وأرشفة موقعك الإلكتروني.
ملف Robots.txt هو ملف نصي بسيط يوضع في المجلد الرئيسي لموقعك لإخبار عناكب محركات البحث بالصفحات والمجلدات المسموح بزيارتها أو المحجوب زحفها، مما يوفر ميزانية الزحف (Crawl Budget) ويحمي الصفحات الإدارية من الفهرسة.
كيفية الاستخدام
اختر القواعد الافتراضية، أضف روابط خرائط المواقع (Sitemaps)، حدد مسارات المنع (Disallow) أو السماح (Allow)، ثم اضغط "توليد" وحمل الملف مباشرة.
المميزات والفوائد
- توليد سريع لملف Robots.txt متوافق مع معايير محركات البحث العالمية
- إمكانية إعداد قواعد مخصصة لمختلف الروبوتات (Googlebot, Bingbot, Yandex)
- تحسين إدارة ميزانية الزحف وحجب لوحات التحكم والصفحات الحساسة
- خيارات نسخ فوري وتحميل مباشر كملف .txt جاهز
الأسئلة الشائعة عن الأداة
أين يجب وضع ملف Robots.txt؟
يجب رفع الملف الناتج إلى المجلد الرئيسي لموقعك (Root Directory) مباشرة، بحيث يكون رابطه: yourdomain.com/robots.txt.
هل يمنع Robots.txt ظهور الصفحة تماماً في نتائج البحث؟
هو يمنع الزحف فقط، ولكن إذا كانت هناك روابط خارجية تشير لصفحتك فقد تتم فهرستها. لمنع الأرشفة التامة، يُفضل استخدام وسم `noindex` في الصفحة نفسها.