مولد Robots.txt أونلاين – إنشاء ملف robots.txt للموقع
أنشئ ملف robots.txt للموقع بطريقة واضحة، مع قوالب جاهزة للمواقع العامة وBlogger، وإمكانية إضافة قواعد Allow وDisallow ورابط Sitemap ثم نسخ الملف أو تنزيله مباشرة.
مولد Robots.txt للمواقع
اختر قالبًا جاهزًا أو عدّل القواعد يدويًا، وستتحدث النتيجة تلقائيًا.
إعدادات robots.txt
* تعني أن مجموعة القواعد موجهة لجميع برامج الزحف المطابقة.
/ هنا إلا إذا كنت تقصد منع الزحف إلى كامل الموقع لهذه المجموعة.
الملف الناتج
طريقة إنشاء ملف robots.txt
اختر القالب الأقرب إلى موقعك، ثم أدخل رابط النطاق وراجع المسارات المسموح بها والمحظورة. بعد ذلك تأكد من رابط Sitemap وانسخ النص أو نزّل ملف robots.txt الجاهز.
- اختر قالب موقع عام أو Blogger أو الوضع المخصص.
- أدخل رابط الموقع الرئيسي.
- راجع User-agent ومسارات Allow وDisallow.
- تأكد من رابط Sitemap.
- انسخ الملف أو نزّله ثم انشره بالطريقة التي يدعمها موقعك.
لا تغيّر القواعد عشوائيًا في موقع قائم، خصوصًا إذا كان يحصل على زيارات من البحث. خطأ صغير مثل Disallow: / قد يمنع الزحف إلى كامل الموقع.
ما هو ملف robots.txt؟
robots.txt هو ملف نصي يضع تعليمات لبرامج الزحف حول المسارات التي يُسمح أو لا يُسمح لها بالزحف إليها. يُستخدم عادة على مستوى النطاق، ويمكن أيضًا وضع رابط Sitemap داخله لتسهيل اكتشاف خريطة الموقع.
- User-agent: يحدد برنامج الزحف الذي تنطبق عليه المجموعة.
- Allow: يسمح بالزحف إلى مسار محدد ضمن القواعد.
- Disallow: يطلب عدم الزحف إلى مسار محدد.
- Sitemap: يعرّف رابط خريطة الموقع.
ملف robots.txt لا يعطي ضمانًا بأن الصفحة لن تظهر في نتائج البحث، ولا يحمي الملفات الخاصة من الوصول المباشر.
قالب Robots.txt مناسب لـ Blogger
يوفر المولد قالب Blogger بسيطًا يسمح بالزحف إلى الموقع ويمنع مسار /search في القالب الجاهز، ويضيف /sitemap.xml اعتمادًا على رابط النطاق الذي تكتبه.
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://example.com/sitemap.xmlاستخدم هذا كنقطة بداية فقط، لأن إعدادات Blogger والمحتوى والبنية قد تختلف من موقع إلى آخر.
ما معنى Disallow: / ؟
عندما تكون القاعدة تحت User-agent: * فإن Disallow: / تطلب من برامج الزحف المطابقة عدم الزحف إلى أي مسار في الموقع. لذلك يعرض المولد تنبيهًا واضحًا عند استخدامها.
هل robots.txt يمنع فهرسة الصفحة؟
ليس دائمًا. منع الزحف يختلف عن طلب عدم الفهرسة. إذا كنت تريد إدارة فهرسة صفحة، فاستخدم إعدادات مناسبة مثل noindex عندما تكون مدعومة ويمكن لمحرك البحث الوصول إلى الصفحة وقراءتها، بدل الاعتماد على robots.txt وحده.
أين أضع ملف robots.txt؟
في المواقع التي تدير ملفاتها مباشرة يكون المسار المعتاد في جذر النطاق مثل https://example.com/robots.txt. أما المنصات المستضافة مثل Blogger فقد توفر إعدادًا خاصًا لملف robots.txt بدل رفع ملف فعلي إلى الخادم.
ما هو ملف robots.txt؟
robots.txt هو ملف نصي يوجد عادةً في جذر الموقع ويعطي تعليمات لبرامج الزحف حول المسارات التي يُسمح لها بطلبها أو التي تريد منعها من الزحف.
إذا كان موقعك على https://example.com فعادةً يكون الملف على:
https://example.com/robots.txt.
ما معنى User-agent؟
User-agent يحدد روبوت الزحف الذي ستطبق عليه القواعد التالية. استخدام النجمة * يعني أن القواعد موجهة بشكل عام إلى جميع برامج الزحف التي تفهم هذه التعليمات.
User-agent: *ما معنى Disallow؟
Disallow يستخدم لتحديد مسار لا تريد من الروبوت المحدد الزحف إليه.
User-agent: *
Disallow: /private/
لا تستخدم Disallow: / على موقع حي تريد ظهوره في محركات البحث، لأنها تطلب منع الزحف إلى الموقع كاملًا.
ما معنى Allow؟
Allow يسمح باستثناء مسار معين من قاعدة منع أوسع عندما تحتاج إلى السماح بالزحف إلى جزء محدد.
User-agent: *
Disallow: /folder/
Allow: /folder/public-page.htmlما معنى Sitemap داخل robots.txt؟
يمكنك إضافة رابط خريطة الموقع داخل robots.txt لمساعدة برامج الزحف على العثور على Sitemap.
Sitemap: https://example.com/sitemap.xmlاستخدم الرابط الكامل لخريطة الموقع وتأكد من أنه يعمل فعليًا قبل إضافته.
مثال بسيط لموقع يسمح بالزحف
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xmlهذا المثال لا يحدد مسارًا محظورًا ويضيف عنوان Sitemap. لا تنسخ أي مثال إلى موقعك قبل التأكد من أنه يناسب بنية موقعك.
ما الفرق بين robots.txt وnoindex؟
| الأداة | وظيفتها |
|---|---|
| robots.txt | التحكم في الزحف إلى مسارات الموقع |
| Meta Robots noindex | طلب عدم فهرسة الصفحة عندما يتمكن محرك البحث من قراءة التوجيه |
| Sitemap | مساعدة محركات البحث على اكتشاف عناوين الصفحات |
لا تستخدم robots.txt كبديل مباشر عن noindex. إذا منعت الزحف إلى صفحة، فقد لا يستطيع الروبوت الوصول إليها لقراءة توجيه noindex الموجود داخلها.
هل robots.txt يحمي الملفات الخاصة؟
لا. ملف robots.txt متاح للعامة، لذلك لا تستخدمه لحماية كلمات مرور أو ملفات سرية أو بيانات حساسة.
المحتوى الخاص يجب حمايته عبر نظام صلاحيات أو تسجيل دخول مناسب، وليس بمجرد كتابة مساره في robots.txt.
هل يجب منع صفحات كثيرة لتحسين SEO؟
لا. لا تضف قواعد منع عشوائية لمجرد تقليل الزحف. كل Disallow يجب أن يكون له سبب واضح، لأن قاعدة خاطئة قد تمنع محركات البحث من الوصول إلى صفحات أو ملفات مهمة.
robots.txt في Blogger
Blogger يوفر إعدادًا مخصصًا لملف robots.txt، لكن لا تحتاج إلى تغييره فقط لأنك تريد “تحسين SEO”. إذا كان الملف الافتراضي مناسبًا، فقد يكون تركه كما هو أفضل من إضافة قواعد غير مفهومة.
قبل تفعيل robots.txt مخصص في Blogger، راجع كل مسار وتأكد من أنك لا تحجب المقالات أو الصفحات الثابتة التي تريد ظهورها في Google.
هل أضيف Sitemap إلى robots.txt؟
يمكن إضافة رابط Sitemap، ويمكن أيضًا إرسال خريطة الموقع مباشرة عبر أدوات مشرفي المواقع مثل Google Search Console.
إذا كنت تحتاج إلى إنشاء ملف XML من قائمة روابط، يمكنك استخدام مولد XML Sitemap.
أخطاء خطيرة يجب تجنبها
- استخدام
Disallow: /على موقع منشور بالخطأ. - نسخ robots.txt من موقع آخر دون فهم المسارات.
- منع صفحات مهمة تريد فهرستها.
- الاعتقاد أن robots.txt وسيلة لحماية البيانات السرية.
- الخلط بين منع الزحف ومنع الفهرسة.
- كتابة رابط Sitemap غير صحيح.
- إجراء تعديلات متكررة دون سبب تقني واضح.
كيف أراجع الملف قبل استخدامه؟
- حدد الروبوت الذي تستهدفه كل مجموعة قواعد.
- راجع كل مسار في Disallow حرفيًا.
- تأكد من أن الصفحات المهمة غير محجوبة.
- تحقق من رابط Sitemap.
- انسخ الملف فقط بعد فهم جميع القواعد الموجودة فيه.
الخصوصية
يعمل المولد بالكامل داخل المتصفح. رابط الموقع والمسارات التي تدخلها تُستخدم فقط لبناء النص وعرضه ونسخه أو تنزيله.
أسئلة شائعة عن robots.txt
هل يجب أن يحتوي كل موقع على robots.txt؟
ليس شرطًا أن يحتاج كل موقع إلى قواعد مخصصة، لكن الملف مفيد عندما تريد توجيه الزحف أو تعريف Sitemap بوضوح.
هل Disallow يخفي الصفحة عن المستخدمين؟
لا. robots.txt يوجّه الزواحف فقط ولا يمنع المستخدم من فتح رابط عام إذا كان يعرفه.
هل يمكن إضافة أكثر من Sitemap؟
صيغة robots.txt تسمح بإضافة أكثر من سطر Sitemap، لكن هذه النسخة من الأداة تولد رابطًا أساسيًا واحدًا ويمكنك إضافة أسطر أخرى في خانة التعليمات الإضافية.
هل القالب الجاهز مناسب لكل موقع Blogger؟
هو نقطة بداية بسيطة وليس إعدادًا إلزاميًا لكل مدونة. راجع احتياجات موقعك قبل النشر.
هل Disallow يحذف الصفحة من Google؟
ليس بالضرورة. منع الزحف لا يساوي تلقائيًا إزالة عنوان الصفحة من الفهرس.
هل يمكن استخدام robots.txt بدون Sitemap؟
نعم، لكن إضافة رابط Sitemap قد تساعد برامج الزحف على العثور على خريطة الموقع بسهولة.
هل يمكن وضع تعليقات داخل robots.txt؟
نعم، يمكن استخدام الرمز # لإضافة تعليقات توضيحية داخل الملف.
هل يجب إنشاء robots.txt معقد لموقع صغير؟
غالبًا لا. إذا كانت كل صفحات الموقع عامة وتريد لمحركات البحث الوصول إليها، فقد يكون إعداد بسيط كافيًا.
هل المولد يرفع robots.txt إلى موقعي تلقائيًا؟
لا، الأداة تنشئ النص فقط. يجب نسخه إلى إعدادات موقعك أو ملف robots.txt بالطريقة التي يدعمها نظامك.